#!/usr/bin/env bash
# Groot-280B-A16B-261023 lokal ausprobieren – macOS
# Automatisch erzeugt von Tokenstrom (tokenstrom.de).
# Aufruf: bash try_mac.sh            # Ollama (Standard)
#        MODE=hf bash try_mac.sh    # Python/transformers
set -e
cd "$(dirname "$0")"
echo "== Groot-280B-A16B-261023 =="
echo "WARNUNG: Groß (491,4 Mrd. Parameter, MoE): komplett auf der Grafikkarte braucht es viel VRAM, mit MoE-Offloading reicht eine normale Grafikkarte plus viel Arbeitsspeicher (siehe Tabelle). Colab Free reicht nicht."

if [ "${MODE:-ollama}" = "ollama" ]; then
  echo "== Ollama =="
  if ! command -v ollama >/dev/null 2>&1; then
    if command -v brew >/dev/null 2>&1; then brew install ollama; else
      echo "Bitte zuerst die Ollama-App installieren: https://ollama.com/download/mac"; exit 1; fi
  fi
  curl -s http://localhost:11434/api/tags >/dev/null 2>&1 || (ollama serve >/dev/null 2>&1 &)
  sleep 3
  MODEL="${MODEL:-}"
  MODEL="${MODEL:-hf.co/GrootTeam/Groot-280B-A16B-261023-GGUF}"
  echo "Lade $MODEL herunter (beim ersten Mal dauert das je nach Größe einige Minuten) ..."
  ollama pull "$MODEL"
  echo ""
  echo "Fertig! Tippe jetzt deine Frage ein und drücke Enter. Beenden mit /bye"
  exec ollama run "$MODEL"
fi

echo "== Python / Hugging Face =="
python3 -m venv .venv-groot-280b-a16b-261023
source .venv-groot-280b-a16b-261023/bin/activate
pip install -q -U pip
pip install -q -U torch transformers accelerate pillow scipy

python3 demo.py