#!/usr/bin/env bash
# ERNIE-5.5-Flash-Base lokal ausprobieren – Linux
# Automatisch erzeugt von Tokenstrom (tokenstrom.de).
# Aufruf: bash try_linux.sh
set -e
cd "$(dirname "$0")"
echo "== ERNIE-5.5-Flash-Base =="
if command -v nvidia-smi >/dev/null 2>&1; then nvidia-smi --query-gpu=name,memory.total --format=csv,noheader;
else echo "Keine NVIDIA-GPU gefunden – läuft auf CPU (langsam)"; fi
echo "WARNUNG: Groß (286,2 Mrd. Parameter, MoE): komplett auf der Grafikkarte braucht es viel VRAM, mit MoE-Offloading reicht eine normale Grafikkarte plus viel Arbeitsspeicher (siehe Tabelle). Colab Free reicht nicht."

echo "== Python / Hugging Face =="
python3 -m venv .venv-ernie-5-5-flash-base
source .venv-ernie-5-5-flash-base/bin/activate
pip install -q -U pip
if command -v nvidia-smi >/dev/null 2>&1; then
  pip install -q -U torch --index-url https://download.pytorch.org/whl/cu124
  pip install -q -U transformers accelerate bitsandbytes
else
  pip install -q -U torch --index-url https://download.pytorch.org/whl/cpu
  pip install -q -U transformers accelerate
fi

python3 demo.py