Riesen-KI von der SSD: Warum „läuft auf dem Laptop“ oft 0,1 Token/s heißt

Darum geht es

In kurzer Zeit haben wir vier Schlagzeilen gebracht: Kimi K3 mit 2,78 Billionen Parametern läuft auf einer CPU mit 8 GB RAM. colibri bringt GLM-5.2 (744 Mrd. Parameter) auf einen Laptop mit 25 GB. Betelgeuse schafft 22 Token pro Sekunde auf einer RTX 3060. Und ein Strata-Patch startet Agent-Sitzungen 20-mal schneller. Alle nutzen denselben Trick. Mixture-of-Experts-Modelle (MoE) bestehen aus Hunderten Teilnetzen, den „Experten“, von denen pro Token nur wenige rechnen. Die Engines laden deshalb nur die gerade gebrauchten Experten von der SSD nach.

Unsere These: „Läuft auf dem Laptop“ heißt bei den ganz großen Modellen oft 0,05 bis 0,8 Token pro Sekunde. Brauchbar wird Expert-Streaming erst, wenn ein Cache die richtigen Experten im RAM oder Grafikspeicher (VRAM) vorhält und eine schnelle NVMe-SSD den Rest liefert. Wir haben die Projekte nebeneinandergelegt und die physikalische Grenze nachgerechnet.

Die Projekte im Überblick

Die Tabelle zeigt schon die Spaltung. Ab etwa 40 Mrd. aktiven Parametern landet man bei Sekunden pro Token. Bei 6 bis 16 Mrd. aktiven Parametern sind zweistellige Raten drin, allerdings meist nur deshalb, weil der Großteil der Experten gar nicht von der SSD kommt, sondern aus dem RAM. Laut Strata-Doku liegen bei Qwen3.8-Flash-Next normalerweise alle Experten im RAM (23 bis 50 GB), und die Grafikkarte hält Kopien der meistgenutzten.

Die Physik: Bytes pro Token geteilt durch Lesetempo

Die Grenze lässt sich überschlagen. Man rechnet die gerouteten Experten pro Token mal Bits pro Gewicht und erhält die Gigabytes, die ohne Cache-Treffer von der Platte müssen. Teilt man die Lesegeschwindigkeit der SSD durch diese Menge, kommt die Obergrenze in Token pro Sekunde heraus. Unsere Rechnung stützt sich auf Angaben aus den Quellen: colibri nennt für GLM-5.2 rund 11,4 GB pro Token (75 Schichten × 8 Experten à ca. 19 MB). Das Kimi-README nennt 25,83 GB pro Token ohne Cache. Für Qwen3.8-Flash-Next haben wir die 35,3 GB große Expertendatei von Betelgeuse durch 24.576 Experten geteilt und das Ergebnis mal 10 Experten mal 48 Schichten genommen. Bei DeepSeek ist es eine grobe Obergrenze (16 Mrd. × 2 Bit, inklusive des dichten Teils, der eigentlich im VRAM liegt).

Das sind Bestwerte. Sie setzen voraus, dass die SSD ihre Datenblatt-Geschwindigkeit hält und keine Rechenzeit anfällt. Die Messungen passen erstaunlich gut dazu. Better Stack maß GLM-5.2 auf einem MacBook M2 Max mit externer USB-C-SSD: 0,1 Token/s, wobei 92 Prozent der Zeit Wartezeit auf die Platte waren. Ein USB-Anschluss mit 10 Gbit/s liefert grob 1 GB/s, rechnerisch also etwa 0,09 Token/s. Mit interner NVMe, RTX 4090 und 64 GB RAM kamen die Tester auf 0,8 Token/s. In der Community-Tabelle des colibri-Forks bringt der Wechsel von einer Crucial P3 zur PCIe-5-SSD Samsung 9100 Pro auf einem Ryzen 9 9950X eine Steigerung von 0,10 auf 0,28 Token/s. Das Kimi-README meldet, dass identische Arbeit einmal mit 2,7 und einmal mit 5,9 GB/s lief. Über ein Netzlaufwerk dauerte ein Token 2,2-mal länger.

Ein Gegenbeispiel zeigt, dass Bandbreite nicht alles ist. Laut Betelgeuse-Autor liest das normale llama.cpp über mmap (die Datei wird in den Speicher eingeblendet) nur 208 bis 312 MiB pro Token. Rein rechnerisch wären auf seiner 2,1-GB/s-SSD damit über 6 Token/s möglich. Tatsächlich waren es 1,47 Token/s, weil etwa 1.500 Seitenfehler pro Token das System ausbremsen, also viele kleine, wartende Einzelzugriffe. Wer große, gebündelte Lesezugriffe stellt (io_uring, O_DIRECT), holt mehr aus derselben Platte.

Der Cache entscheidet und ist launisch

Die Formel bekommt einen dritten Faktor: Die tatsächliche Lesemenge ist GB pro Token mal (1 minus Trefferquote). Hier gehen die Projekte weit auseinander.

• Kimi K3: Laut README blieb ein LRU-Cache (der am längsten ungenutzte Experte fliegt raus) zwischen 8 und 64 GB flach bei 36 Prozent Treffern. In Live-Läufen lag die echte Trefferquote bei 0 bis 30 Prozent. Der angezeigte „100-Prozent“-Wert zählte vorab geladene Experten mit. Das Modell verteilt die Last bewusst gleichmäßig auf die Experten, und das hebelt LRU aus.
• GLM-5.2: Ein Hacker-News-Nutzer nennt 23 Prozent Treffer auf einem M5 Max mit 128 GB. Ein EPYC-Server mit 430 GB RAM und 77,5 GB fest angehefteten Experten erreichte 98 Prozent und damit 1,0 Token/s.
• Qwen3.8-Flash-Next: Betelgeuse liest nur noch 12,43 MiB pro Token von der SSD. Nach unserer Rechnung kommen also rund 98 Prozent der Expertenzugriffe aus VRAM oder RAM.
• Abhängig von der Aufgabe: Ein llama.cpp-Fork von DavideWasTaken füllte seinen Cache mit Programmcode. Bei Code traf er 72 Prozent, bei italienischem Text nur 17 und bei englischem 9 Prozent. Der Entwickler betont selbst, dass das nur eine erste Stichprobe ist.

Der merklich schnellere Teil der Szene streamt deshalb gar nicht primär von der SSD. Er cacht vom RAM in den VRAM. Der jetzt in llama.cpp übernommene Cache (--moe-cache-mib, Pull Request #29887) bringt laut Autor auf einer RTX 5090 bei 89 Prozent Trefferquote 2,2-fach mehr Tempo. Andere Nutzer meldeten unter Vulkan und ROCm allerdings Verlangsamungen, etwa von 23 auf 18,1 Token/s.

Exakt oder nur fast?

colibri, Betelgeuse und die Kimi-Engine betonen, dass der Speicherort nur das Tempo ändert, nicht das Ergebnis. Betelgeuse belegt Byte-Genauigkeit an 576 Token. Andere tricksen bewusst. Der Strata-Patch lässt Token beim Einlesen des Prompts nur unter Experten wählen, die schon im Speicher liegen. Der Autor räumt ein, dass das Antworten leicht verändert. Der DeepSeek-Ableger Xolotl schafft auf einer RTX 4090 mit 90 GB RAM 26,8 Token/s. Er nutzt aber eine „Route-Bias“, die Experten im VRAM bevorzugt, und kommt beim V4-Build auf 86,9 Prozent Übereinstimmung beim jeweils wahrscheinlichsten nächsten Token. Wer Tempovergleiche liest, sollte also prüfen, ob dasselbe Modell gerechnet wird.

Das unterschätzte Problem: Prompt-Lesen und Kaltstart

Für Agenten zählt oft nicht das Schreibtempo, sondern die Zeit bis zur ersten Antwort. Beim Kimi K3 kostete der erste Schritt für einen Prompt aus fünf Token 53 Sekunden und 89 GB Lesezugriffe, bei 17 Token waren es 98 Sekunden. Better Stack maß für GLM-5.2 auf dem Mac über zwei Minuten bis zum ersten Token. Selbst DeepSeek V4.1 Flash brauchte vor dem Strata-Patch rund 100 Sekunden für einen 37.000 Token langen Agenten-Prompt. Der Grund: Schon ein kurzer Prompt berührt fast alle Experten. Bei 1.200 Token waren das 58 GB von der SSD. Betelgeuse ist beim Prompt-Lesen mit 16 bis 19 Token/s sogar langsamer als Strata.

Und die SSD?

Reines Lesen gilt als schonend, schreibt ein HN-Kommentator: Begrenzt seien die Schreibzyklen. Ganz so einfach ist es nicht. Eine KAIST-Studie (ASPLOS 2021) fand an acht aktuellen SSDs, dass 3D-TLC- und QLC-Flash schon durch geringe reine Leselasten innerhalb der Garantiezeit verschleißen kann. Der Grund ist „Read Disturb“: Lesen verschiebt Ladungen in benachbarten Zellen, und der Controller schreibt betroffene Blöcke im Hintergrund neu. Die Mengen beim Expert-Streaming sind enorm. 1.000 Token GLM-5.2 ohne Cache entsprechen nach unserer Rechnung gut 11 TB Lesezugriffen. Messungen zum Verschleiß gibt es nicht, auch der jacar.es-Test führt das ausdrücklich als offene Frage.

Unser Fazit

Unsere Einschätzung, aufgeteilt nach Alltagstauglichkeit:

• Alltagstauglich: Qwen3.8-Flash-Next (6 Mrd. aktiv) auf einer 12-GB-Grafikkarte mit 32 bis 64 GB RAM. Mit Strata, RustingStrata oder colibri (51 Token/s auf einer 24-GB-Karte) sind 20 bis 80 Token/s möglich. Betelgeuse zeigt, dass es auch mit 16 GB RAM geht, ist aber experimentell.
• Brauchbar mit Geduld: DeepSeek V4.1 Flash mit 12 bis 24 GB VRAM, 46 bis 90 GB RAM und NVMe-SSD. Das ergibt 5 bis 27 Token/s, aber lange Startzeiten bei Agenten-Prompts.
• Demo: GLM-5.2 (744 Mrd.) und Kimi K3 als vollständige Modelle. Selbst mit PCIe-5-SSD und 128 GB RAM bleibt man bei 0,3 bis 2 Token/s bzw. mehreren Sekunden pro Token. Für Nachtjobs mag das reichen, für Chat oder Coding nicht.

Die Faustregel lautet: Token pro Sekunde ≈ SSD-Tempo geteilt durch (GB pro Token × Fehlquote des Caches). Wer aufrüsten will, investiert zuerst in RAM, dann in eine interne PCIe-4/5-SSD. Eine stärkere CPU bringt am wenigsten. Fast alle Zahlen hier sind Selbstauskünfte auf jeweils einer Maschine. Unabhängig nachgemessen ist bisher vor allem colibri, und dort lagen die Ergebnisse am unteren Ende der Versprechen.