Analysen

Riesen-KI von der SSD: Warum „läuft auf dem Laptop“ oft 0,1 Token/s heißt

Innerhalb weniger Tage sind Engines erschienen, die Modelle mit Hunderten Milliarden Parametern stückweise von der SSD laden. Wir haben die Projekte nebeneinandergelegt und nachgerechnet, wie schnell das physikalisch überhaupt gehen kann. Ergebnis: Ohne guten Cache und schnelle NVMe-SSD bleibt es meist eine Demo, mit passender Modellwahl wird daraus aber ein brauchbares Werkzeug.

In kurzer Zeit haben wir vier Schlagzeilen gebracht: Kimi K3 mit 2,78 Billionen Parametern läuft auf einer CPU mit 8 GB RAM. colibri bringt GLM-5.2 (744 Mrd. Parameter) auf einen Laptop mit 25 GB. Betelgeuse schafft 22 Token pro Sekunde auf einer RTX 3060. Und ein Strata-Patch startet Agent-Sitzungen 20-mal schneller. Alle nutzen denselben Trick. Mixture-of-Experts-Modelle (MoE) bestehen aus Hunderten Teilnetzen, …

• GLM-5.2 muss ohne Cache pro Token rund 11,4 GB an Experten von der Platte lesen. Selbst eine PCIe-5-SSD mit 14,7 GB/s schafft damit theoretisch höchstens etwa 1,3 Token pro Sekunde.
• Gemessen wurden für GLM-5.2 je nach Rechner 0,05 bis 2,06 Token/s. Ein unabhängiger Test von Better Stack kam auf einem M2 Max mit externer SSD auf 0,1 Token/s, bei über zwei Minuten bis zum ersten Token.
• Kimi K3 braucht in der C99-Engine 26,5 Sekunden pro Token mit 8 GB RAM und 5,6 Sekunden mit mehr als 128 GB. Der LRU-Cache traf in der Trace-Analyse nur 36 Prozent.

Revolut spart 90 % KI-Kosten mit GLM: Was die Rechnung wirklich zeigt

Revolut will Coding-Inferenz um rund 90 % verbilligt haben, indem selbst gehostetes GLM statt Claude Code zum Standard wurde. Wir rechnen nach: Was steckt in den 0,30 Dollar pro Million Token, was fehlt, und ab welcher Teamgröße lohnt sich Eigenbetrieb? Dazu: was unabhängige Benchmarks und die Sicherheitsbefunde zu GLM 5.3 dazu sagen.

Der britische Fintech-Konzern Revolut hat auf der Konferenz AI Engineer in New York (Oktober 2026) berichtet, die Kosten für KI-gestützte Programmierung in weniger als einem Jahr um etwa 90 % gesenkt zu haben. Der Grund: Selbst gehostete GLM-Modelle des chinesischen Labors Z.ai sind seit Kurzem der Standard, Claude Code und OpenAI Codex bleiben nur für Ausnahmen. The Register und Techmeme haben die Zahl am 3. …

• Revolut betreibt laut The Register 56 Nvidia-B200-GPUs (sieben DGX-B200-Systeme) für rund 2.000 Entwickler und nennt etwa 0,30 US-Dollar pro Million Token als Mischpreis.
• Die „90 %“ stammen laut Berichten aus Schlagzeile und Vortrag (AI Engineer NYC, Oktober 2026): Die Rechnung liege bei etwa einem Zehntel der früheren Anthropic- und OpenAI-Ausgaben; Nutzungsvolumen und Personalkosten nennt Revolut nicht.
• Unsere Nachrechnung: 56 B200 rund um die Uhr kosten bei Mietpreisen von 3,69 bis 6,82 Dollar pro GPU-Stunde etwa 1,8 bis 3,3 Millionen Dollar pro Jahr – der 0,30-Dollar-Preis setzt also Billionen Token pro Jahr voraus.