177-Milliarden-Modell läuft auf einem MacBook Air mit 16 GB RAM

Die Gruppe Ternii hat das MoE-Modell Qwen3.8-Flash-Next mit 177 Milliarden Parametern so stark gepackt, dass es auf einem MacBook Air M5 mit 16 GB Speicher läuft, mit rund 12 Tokens pro Sekunde. Möglich wird das, weil die Experten auf der SSD liegen und immer kurz vor Bedarf geladen werden. Der Ansatz ist experimentell und braucht eine eigene llama.cpp-Version.

Modell-Releases Selbst ausprobieren 16. Nov. 2026 5 Min. Lesezeit Quelle: Hugging Face Posts
Symbolbild, KI-generiert

Worum es geht

Das Team Ternii hat auf Hugging Face eine stark komprimierte Fassung von Qwen3.8-Flash-Next veröffentlicht. Das ist ein Sprachmodell mit 177 Milliarden Parametern aus der Qwen-Reihe von Alibaba. Diese Fassung läuft laut Ternii auf einem MacBook Air M5 mit nur 16 GB Speicher und erzeugt dort etwa 12 Tokens pro Sekunde, also grob einige Wörter pro Sekunde. Bisher brauchte man für Modelle dieser Größe einen Rechner mit sehr viel Grafik- oder Arbeitsspeicher.

Die Datei heißt Ternii/Qwen3.8-Flash-Next-TR2.31-G-GGUF und ist 89,8 GB groß. Zum Ausprobieren gibt es einen Einzeiler fürs Terminal. Er lädt alles herunter und startet danach einen lokalen Chat im Browser:

curl -fsSL https://raw.githubusercontent.com/ternii-ai/tritq-vllm/main/mac/qwen38-16gb.sh | bash

Das zugehörige Projekt liegt auf GitHub unter github.com/ternii-ai/tritq-vllm. Ternii bezeichnet das Ganze ausdrücklich als experimentell. Gemessen wurde bisher nur auf einem einzigen Mac.

Wie ein 90-GB-Modell in 16 GB passt

Dahinter stecken drei Ideen.

Erstens die Mixture-of-Experts-Bauweise (MoE). Das Modell besteht aus vielen Teilnetzen, den Experten. Für jedes Token, also jedes Wortstück, wählt ein Router nur wenige davon aus. Man kann sich das wie ein großes Büro vorstellen, in dem bei jeder Anfrage nur ein paar Fachleute arbeiten und der Rest Pause hat. Deshalb muss nie das ganze Modell gleichzeitig im Speicher liegen. Wie viele Parameter pro Token aktiv sind, nennt Ternii nicht.

Zweitens eine extreme Quantisierung. Dabei wird das Modell verkleinert, indem man seine Zahlen gröber speichert. Ternii rechnet in Trits statt in Bits. Ein Trit ist eine Ziffer mit drei möglichen Zuständen statt zwei. Die Experten sind mit 2 Trits pro Gewicht gespeichert, die übrigen Schichten mit 3. Das Kürzel „TR2.31“ im Dateinamen deutet auf einen Durchschnitt von etwa 2,31 Trits pro Gewicht hin. Ternii erklärt das aber nicht ausdrücklich.

Drittens Streaming von der SSD. Die Experten bleiben auf der Festplatte. Im Arbeitsspeicher liegt nur ein 6.750 MiB großer Cache mit den gerade viel genutzten Experten. Ternii hat dafür eine eigene llama.cpp-Version gebaut (llama.cpp-tr r3). llama.cpp ist das verbreitete Open-Source-Programm, mit dem man Sprachmodelle lokal ausführt. Diese Version liest die Experten der nächsten Schicht schon von der SSD, während die GPU noch an der aktuellen rechnet. Welche Experten sie vorab holt, entscheidet ein kleiner gelernter Prädiktor, also ein Vorhersagemodell. Laut Ternii ändert er an der Ausgabe nichts, er bestimmt nur, was vorab geladen wird.

Dazu kommt ein Kompromiss: Pro Token arbeiten nur 8 der eigentlich vorgesehenen 10 Experten. Das spart Rechenzeit und Ladevorgänge.

Messwerte

Gemessen hat Ternii auf einem MacBook Air M5 mit 16 GB. In sechs Durchläufen, darunter ein unabhängiger Nachtest, kam das Modell auf 11,9 bis 12,6 Tokens pro Sekunde beim Schreiben der Antwort (Decode). Die vorherige Datei mit dem vorherigen Build schaffte 3,6. Zum Vergleich: Das kleinere Qwen3.6-35B-A3B in der Fassung TR2.25-G läuft auf demselben Mac mit demselben Build bei etwa 35 Tokens pro Sekunde.

Auch zur Frage, ob 8 statt 10 Experten die Qualität drücken, hat Ternii Zahlen veröffentlicht:

Benchmark 8 Experten 10 Experten (Original)
GSM8K (Mathe-Textaufgaben) 96,5 95,0
HumanEval (Programmieren) 95,1 95,7
MBPP (Programmieren) 91,1 91,1
IFEval (Anweisungen befolgen) 66,0 65,8

Laut Ternii ist keiner der Unterschiede statistisch signifikant. Alle Werte sind Angaben der Entwickler. Unabhängige Tests gibt es bisher nicht.

Die Haken

Ternii nennt selbst mehrere Einschränkungen:

  • Das Einlesen von Prompts ist langsam. Es schafft etwa 75 Tokens pro Sekunde. Ein Text mit 2.000 Tokens braucht also rund eine halbe Minute, bevor die Antwort überhaupt beginnt. Lange Dokumente oder große Codebasen werden damit mühsam.
  • Der Speicher ist knapp. Das Setup belegt etwa 13 GB. Andere Programme sollte man vorher schließen.
  • Es braucht eine spezielle Software. Ohne Terniis angepasstes llama.cpp geht es nicht. LM Studio und Ollama können die Datei nicht laden.
  • Es gibt nur eine einzige Messung. Getestet wurde auf genau einem Mac. Wie sich andere Geräte, langsamere SSDs oder ältere Chips verhalten, ist offen.

Was du zum Ausprobieren brauchst

  • Rechner: ein Mac mit Apple Silicon und mindestens 16 GB gemeinsamem Speicher. Getestet ist nur das MacBook Air M5. Auf älteren M-Chips dürfte es langsamer laufen, Zahlen dazu gibt es nicht.
  • Speicherplatz: knapp 90 GB frei auf der internen SSD, eher mehr. Weil die Experten ständig von der SSD gelesen werden, ist eine schnelle interne SSD wichtig. Externe Platten sind vermutlich deutlich langsamer.
  • Arbeitsspeicher: etwa 13 GB gehören dem Modell, deshalb Browser-Tabs und andere Apps schließen.
  • Windows/Linux/Colab: Das veröffentlichte Startskript ist ausdrücklich für den Mac gedacht. Zu anderen Plattformen sagt Ternii in diesem Beitrag nichts. Auf normalen PCs mit Grafikkarte bräuchte man ohne diesen SSD-Trick weit mehr Speicher.
  • Download: knapp 90 GB. Je nach Leitung dauert das Stunden.

Einordnung

Technisch ist das ein bemerkenswerter Schritt. Ein Modell mit 177 Milliarden Parametern auf einem lüfterlosen Notebook für unter 2.000 Euro, mit einer Geschwindigkeit, die man noch bedienen kann: Vor Kurzem hätte man dafür eher eine Workstation mit 128 GB Speicher gebraucht. Die Kombination aus MoE, sehr grober Quantisierung und vorausschauendem Laden von der SSD zeigt, dass für große Modelle nicht nur der Speicher zählt, sondern vor allem, wie geschickt man Daten nachlädt.

Trotzdem gilt es, nüchtern zu bleiben. Alle Zahlen stammen von Ternii und wurden auf einem einzigen Gerät gemessen. Die Benchmarks vergleichen 8 und 10 Experten. Ob die starke Quantisierung selbst die Qualität gegenüber dem unkomprimierten Originalmodell senkt, geht aus dem Beitrag nicht klar hervor. Wegen des langsamen Prompt-Einlesens eignet sich das Setup eher für kurze Fragen als für lange Dokumente. Und wer Komfort will, wird abgeschreckt: kein Ollama, kein LM Studio, dafür ein Shell-Skript, das man direkt aus dem Netz ausführt. Wer das nicht braucht, fährt mit kleineren Modellen wie dem erwähnten Qwen3.6-35B-A3B oft besser, denn das läuft fast dreimal so schnell. Für Bastler und alle, die wissen wollen, wie weit sich lokale KI auf Alltagshardware treiben lässt, lohnt sich ein Blick aber.

Quellen

#qwen#moe#apple silicon#quantisierung#llama.cpp#lokal
Originalquelle lesen

Selbst ausprobieren: Qwen3.8-Flash-Next (Ternii TR2.31-G GGUF)

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

Qwen3.8-Flash-Next ist ein großes Sprachmodell mit 177 Milliarden Parametern, das in dieser Fassung komplett offline auf einem Mac mit 16 GB läuft. Du kannst damit chatten, Texte schreiben und überarbeiten, Mathe- und Logikaufgaben lösen und Code schreiben lassen. Laut Terniis Benchmarks ist es dabei stark: 96,5 Punkte bei GSM8K (Mathe-Textaufgaben) und 95,1 bei HumanEval (Programmieren). Weniger gut schneidet es beim genauen Befolgen formaler Anweisungen ab (IFEval 66,0). Die Antwort entsteht mit etwa 12 Tokens pro Sekunde, das ist flüssiges Lesetempo. Das Einlesen langer Eingaben ist mit etwa 75 Tokens pro Sekunde dagegen langsam, lange Dokumente kosten also Wartezeit. Im Vergleich zu kleinen lokalen Modellen bekommst du deutlich mehr Wissen und Rechenvermögen, zahlst dafür aber mit Tempo, rund 90 GB Speicherplatz und einem experimentellen Setup.

Für wen lohnt es sich?

Gut geeignet für Mac-Besitzer mit Apple Silicon und mindestens 16 GB, die ein wirklich großes Modell privat und offline nutzen wollen und gern basteln. Nicht geeignet für alle, die lange Dokumente schnell verarbeiten wollen, auf Ollama oder LM Studio angewiesen sind oder keine 90 GB freien SSD-Platz haben.

Ideen: Was du damit anstellen kannst

Privater Schreibassistent

Füge Briefe, Bewerbungen oder E-Mails ein und lass sie umformulieren, kürzen oder im Ton anpassen. Weil alles lokal läuft, verlassen keine persönlichen Daten deinen Mac.

Mathe-Nachhilfe

Gib Textaufgaben aus Schule oder Studium ein und lass dir den Lösungsweg Schritt für Schritt erklären. Mit 96,5 Punkten bei GSM8K ist das laut Ternii eine Stärke des Modells.

Programmierhilfe offline

Lass dir kleine Skripte schreiben, Fehlermeldungen erklären oder Funktionen überarbeiten, auch im Zug ohne Internet. Füge nur die relevanten Codeteile ein, denn lange Eingaben brauchen Zeit.

Ideen und Planung

Lass dir Reisepläne, Wochenmenüs oder Gliederungen für Vorträge entwerfen und verfeinere sie im Gespräch. Die Antworten kommen in flüssigem Lesetempo.

Experimente mit lokaler KI

Vergleiche das 177B-Modell mit kleineren lokalen Modellen bei denselben Fragen. So siehst du selbst, was die zusätzliche Größe im Alltag bringt.

Größe176,9 Mrd. Parameter
Download106 GB (bei 100 MBit/s ca. 2,4 Std.)
Lizenzeigene Lizenz (siehe Model Card)
ArtSprachmodell (Text-Chat)

Was dein Rechner braucht

Grafikkarte (NVIDIA), komplett im VRAM mind. 118 GB VRAMnur Server mit mehreren Rechenzentrums-GPUs (z. B. 8× H100) – am schnellsten; mit weniger VRAM siehe nächste Zeile
Grafikkarte + Arbeitsspeicher (MoE-Offloading) ab ca. 6 GB VRAM + 128 GB RAMdie Experten liegen im Arbeitsspeicher, nur der Kern auf der Grafikkarte (llama.cpp/LM Studio). Langsamer als komplett im VRAM, aber auf normalen PCs machbar
Mac (Apple Silicon M1–M5) ab 192 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen
Nur Prozessor (ohne Grafikkarte) Möglich, Tempo hängt von der Zahl aktiver Experten abMoE-Modelle sind ohne Grafikkarte schneller, als ihre Größe vermuten lässt. Dafür mindestens 128 GB Arbeitsspeicher.
Speicherplatz ca. 108 GB freiModell-Download plus Programme
Google Colab zu groß für Colabselbst die größten Colab-GPUs reichen nicht

Werte geschätzt aus der Modellgröße – die Model Card kann genauere Angaben enthalten.

Welche Variante passt zu mir?

Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.

VarianteDownloadBraucht ca.Passende Grafikkarten
4-bit (Q4) Standard 106 GB118 GBnur Server mit mehreren Rechenzentrums-GPUs (z. B. 8× H100)
8-bit (Q8) 189 GB210 GBnur Server mit mehreren Rechenzentrums-GPUs (z. B. 8× H100)
16-bit (Original) 354 GB390 GBnur Server mit mehreren Rechenzentrums-GPUs (z. B. 8× H100)

Es gibt genau eine Variante: Ternii/Qwen3.8-Flash-Next-TR2.31-G-GGUF (89,8 GB, Experten mit 2 Trits, übrige Schichten mit 3 Trits pro Gewicht), gedacht für Macs mit 16 GB und dem Startskript qwen38-16gb.sh. Wer mehr Tempo als Größe braucht, nimmt Terniis Qwen3.6-35B-A3B TR2.25-G, das auf demselben Mac etwa 35 Tokens pro Sekunde schafft.

  • Getestet nur auf einem MacBook Air M5 mit 16 GB gemeinsamem Speicher. Andere Macs sind nicht gemessen.
  • Das Modell belegt etwa 13 GB Arbeitsspeicher, deshalb vorher andere Apps und Browser-Tabs schließen.
  • Die Modelldatei ist 89,8 GB groß und muss auf der SSD liegen. Die Experten werden laufend von dort gelesen, eine schnelle interne SSD ist daher wichtig.
  • Im Arbeitsspeicher liegt ein Experten-Cache von 6.750 MiB, der Rest kommt bei Bedarf von der SSD.
  • Das Einlesen von Prompts schafft nur etwa 75 Tokens pro Sekunde, lange Eingaben verzögern die Antwort spürbar.

Groß (176,9 Mrd. Parameter, MoE): komplett auf der Grafikkarte braucht es viel VRAM, mit MoE-Offloading reicht eine normale Grafikkarte plus viel Arbeitsspeicher (siehe Tabelle). Colab Free reicht nicht.

Wie finde ich heraus, was mein Rechner hat?
  • Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
  • Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
  • Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Google Colab (im Browser, ohne Installation)

Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: zu groß für Colab – selbst die größten Colab-GPUs reichen nicht.

  1. Notebook herunterladen. Klick auf den Knopf und speichere die Datei.

    colab.ipynb herunterladen

  2. Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
  3. Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei colab.ipynb auswählen.
  4. Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen (mit Colab Pro: L4 oder A100) → Speichern.
  5. Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
  6. Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 39 Minuten.
  7. Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
  8. Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.

Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.

Windows 10 / 11

Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.

  1. Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
  2. Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
  3. Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
  4. Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
    ollama run hf.co/Ternii/Qwen3.8-Flash-Next-TR2.31-G-GGUF
    Beim ersten Mal lädt Ollama das Modell herunter (106 GB (bei 100 MBit/s ca. 2,4 Std.)). Danach geht es sofort.
  5. Losschreiben. Sobald >>> Send a message erscheint, deine Frage eintippen und Enter drücken. Mit /bye beendest du den Chat.

Zu wenig Speicher? Nimm eine kleinere Variante aus der Tabelle oben, z. B. ollama run hf.co/Ternii/Qwen3.8-Flash-Next-TR2.31-G-GGUF.

Lieber automatisch? Skript, das die passende Variante selbst auswählt
  1. Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
  2. Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.
  3. Diesen Befehl einfügen und Enter drücken:
    powershell -ExecutionPolicy Bypass -File try_windows.ps1

Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.

macOS

Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.

  1. Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
  2. Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
  3. Modell starten. Befehl einfügen (Cmd + V) und Enter:
    ollama run hf.co/Ternii/Qwen3.8-Flash-Next-TR2.31-G-GGUF
    Beim ersten Mal wird das Modell heruntergeladen (106 GB (bei 100 MBit/s ca. 2,4 Std.)).
  4. Losschreiben. Frage eintippen, Enter. Mit /bye beenden.
Automatisch die passende Variante wählen

try_mac.sh

cd ~/Downloads
bash try_mac.sh

Linux

  1. Grafikkarte prüfen. nvidia-smi sollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:
    sudo ubuntu-drivers install
  2. Ollama installieren:
    curl -fsSL https://ollama.com/install.sh | sh
  3. Modell starten:
    ollama run hf.co/Ternii/Qwen3.8-Flash-Next-TR2.31-G-GGUF
    Mit /bye beenden. Mit ollama ps siehst du, ob das Modell auf der GPU läuft.
  4. Oder automatisch die passende Variante wählen lassen:

    try_linux.sh

    bash try_linux.sh

Das kannst du ausprobieren

Erkläre mir in einfachen Worten, warum der Himmel blau ist.
Ein Zug fährt um 9:40 Uhr mit 120 km/h los, ein zweiter um 10:10 Uhr mit 160 km/h auf derselben Strecke hinterher. Wann holt er ihn ein? Rechne Schritt für Schritt.
Schreibe eine Python-Funktion, die alle doppelten Dateien in einem Ordner anhand ihres Hashwerts findet, und erkläre den Code.
Formuliere diese E-Mail höflicher und kürzer: 'Ich warte seit drei Wochen auf Ihre Antwort, das ist inakzeptabel.'
Vergleiche die Vor- und Nachteile von Wärmepumpe und Gasheizung für ein Einfamilienhaus von 1975 und gib mir am Ende eine Tabelle.

Tipps für bessere Ergebnisse

  • Halte Eingaben möglichst kurz und präzise. Das Einlesen ist mit etwa 75 Tokens pro Sekunde der Engpass, das Schreiben läuft mit etwa 12 Tokens pro Sekunde flüssig.
  • Bitte bei Rechen- und Logikaufgaben ausdrücklich um einen Lösungsweg Schritt für Schritt, denn bei Mathe-Benchmarks ist das Modell besonders stark.
  • Lass den Mac am Netzteil und schließe speicherhungrige Apps wie Browser mit vielen Tabs, damit der Experten-Cache nicht verdrängt wird.
  • Brauchst du eher Tempo als maximales Wissen, nimm Terniis Qwen3.6-35B-A3B, das mit etwa 35 Tokens pro Sekunde fast dreimal so schnell ist.

Wenn es hakt

LM Studio und Ollama können die Datei nicht laden. Es funktioniert nur mit Terniis angepasstem llama.cpp (llama.cpp-tr r3), das das Skript mitbringt.

Der Einzeiler führt ein Skript direkt aus dem Internet aus. Wer vorsichtig ist, öffnet die URL vorher im Browser und liest sich durch, was es tut.

Für knapp 90 GB Download vorher genug freien Speicherplatz schaffen, besser mit etwas Reserve. Sonst bricht der Download ab.

Wird es langsam oder stürzt es ab, ist meist der Speicher voll. Andere Programme schließen, denn das Modell braucht etwa 13 GB.

Die Lösung ist ausdrücklich experimentell und nur auf einem Mac gemessen. Auf anderen Geräten kann das Tempo deutlich abweichen.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.