#!/usr/bin/env bash
# Qwen3.8-Flash-Next GSQ-RCO Coder (Pruned GGUF) lokal ausprobieren – Linux
# Automatisch erzeugt von Tokenstrom (tokenstrom.de).
# Aufruf: bash try_linux.sh
set -e
cd "$(dirname "$0")"
echo "== Qwen3.8-Flash-Next GSQ-RCO Coder (Pruned GGUF) =="
if command -v nvidia-smi >/dev/null 2>&1; then nvidia-smi --query-gpu=name,memory.total --format=csv,noheader;
else echo "Keine NVIDIA-GPU gefunden – läuft auf CPU (langsam)"; fi
echo "WARNUNG: Groß (115.9 Mrd. Parameter): braucht auch quantisiert ~71.0 GB VRAM/RAM. Colab Free (T4, 15 GB) reicht nicht."

if true; then
  echo "== Ollama =="
  if ! command -v ollama >/dev/null 2>&1; then
    command -v zstd >/dev/null 2>&1 || sudo apt-get install -y zstd 2>/dev/null || sudo dnf install -y zstd 2>/dev/null || true
    curl -fsSL https://ollama.com/install.sh | sh
  fi
  curl -s http://localhost:11434/api/tags >/dev/null 2>&1 || (ollama serve >/dev/null 2>&1 &)
  sleep 3
  MODEL="${MODEL:-}"
  MODEL="${MODEL:-hf.co/Skyrion/Qwen3.8-Flash-Next-GSQ-RCO-Coder-GGUF-Pruned}"
  echo "Lade $MODEL herunter (beim ersten Mal dauert das je nach Größe einige Minuten) ..."
  ollama pull "$MODEL"
  echo ""
  echo "Fertig! Tippe jetzt deine Frage ein und drücke Enter. Beenden mit /bye"
  exec ollama run "$MODEL"
fi