llama-modchip: DeepSeek mit 284 Milliarden Parametern läuft auf 64 GB RAM – ohne GPU

Worum es geht

Sehr große Sprachmodelle laufen normalerweise auf teuren Grafikkarten-Servern. Das Open-Source-Projekt llama-modchip des Entwicklers bzw. der Gruppe Synchopate will zeigen, dass es auch anders geht: Es soll DeepSeek-V4-Flash, ein Modell mit 284,33 Milliarden Parametern, auf einem gewöhnlichen Rechner mit 64 GB Arbeitsspeicher ausführen – ganz ohne GPU und mit einem Kontextfenster von 256.000 Token. Das Kontextfenster ist die Textmenge, die das Modell gleichzeitig „im Blick“ behalten kann; 256K entspricht grob mehreren hundert Buchseiten.

Über das Projekt berichteten das koreanische Portal GeekNews und die Nachrichtenseite news.lavx.hu. Code, ein Setup-Skript, Kommandozeilen-Werkzeuge und vorkompilierte Linux-Programme liegen laut lavx im GitHub-Repository synchopate/llama-modchip, ebenso Links zu Modelldownloads, Optimierungsnotizen und einem Architekturdokument.

Wie der Trick funktioniert

DeepSeek-V4-Flash ist ein Mixture-of-Experts-Modell (MoE) – es besteht aus vielen spezialisierten Teilnetzen („Experten“), von denen pro Wort nur einige wenige rechnen. Dadurch ist es schneller als ein gleich großes Modell, bei dem immer alles rechnet. Das Problem bleibt aber der Speicher: Alle Experten müssen irgendwo liegen.

Hier setzt llama-modchip an zwei Stellen an:

• Kompression: Ein eigenes Verfahren namens „SwiGLU-H2“ und ein selbst entwickeltes Quantisierungsformat namens „Fractal-64“ sollen das Modell stark verkleinern. Quantisierung heißt, dass die Zahlen des Modells gröber gespeichert werden – ähnlich wie ein Foto, das mit weniger Farbabstufungen auskommt. Laut Projekt schrumpft die DeepSeek-Datei dadurch von 76,87 GiB (im Vergleich mit dem bekannten, sehr starken 2-Bit-Format IQ2_XXS) auf 56,56 GiB. SwiGLU bezeichnet einen bestimmten Baustein in den Rechenschichten moderner Sprachmodelle; wie genau die „H2“-Variante arbeitet, geht aus den Berichten nicht hervor.
• Optimierte CPU-Routinen: Die Rechenarbeit wird in kleine Kacheln zerlegt (Tiling), die genau in die Register und die L1-, L2- und L3-Caches des Prozessors passen – also in die winzigen, extrem schnellen Zwischenspeicher direkt auf dem Chip. Genutzt werden dabei AVX-512-Befehle, mit denen moderne Prozessoren viele Zahlen auf einmal verarbeiten. Laut Projekt brachte das 77 Prozent mehr Tempo beim Einlesen gegenüber dem eigenen früheren Stand.

Nach Angaben von GeekNews kommt das System ohne NVMe-Swap aus, lagert also nichts auf die SSD aus, was sonst ein großer Bremsklotz wäre.

Die Zahlen

Alle Messungen stammen vom Projekt selbst, Testrechner ist ein AMD Ryzen 9 9955HX mit 64 GB DDR5-Speicher.

Wichtig: Prefill – das Einlesen des Prompts – und das Generieren der Antwort sind zwei verschiedene Phasen. Wie lavx betont, sagt die höhere Prefill-Zahl nichts darüber, wie schnell die Antwort im Chat erscheint. Dafür sind die rund 9 bis 15 Token pro Sekunde maßgeblich, was ungefähr flüssigem Lesetempo entspricht. „Top-6“ bezieht sich vermutlich auf die Zahl der Experten, die pro Token aktiv sind; die Quellen erklären das nicht genau.

Das Projekt listet auch kleinere MoE-Modelle. Für NVIDIAs Nemotron-3.5-30B-A3B meldet es 25 bis 60,4 Token/s auf einem 16-Kern-Zen-5-System, je nach Test und Methode, und auf einem Threadripper sogar 111,62 Token/s.

Stockfish-PVS und RouteCrack: schneller durch Raten

Für das zusätzliche Tempo setzt llama-modchip auf Speculative Decoding – ein kleiner, schneller Helfer schlägt die nächsten Wörter vor, und das große Modell prüft diese Vorschläge nur noch, statt jedes Wort selbst mühsam zu berechnen. Liegt der Helfer richtig, spart das Zeit. Die Methode heißt hier „Stockfish-PVS“ (offenbar angelehnt an die Schach-Engine Stockfish und deren Suchverfahren Principal Variation Search). Dazu gehört eine nur 1,64 MB kleine Entwurfskomponente namens RouteCrack. Beim Nemotron-Modell soll Version 2 eine Trefferquote von 96,4 Prozent erreichen. lavx weist darauf hin, dass der Nutzen stark von Modell, Hardware, Prompt und Trefferquote abhängt – die Spitzenwerte seien kein typisches Tempo für andere Systeme.

Im Titel des Repositorys wird zudem eine „13 ms Claude Code restore“-Funktion erwähnt; was genau dahintersteckt, erklären die vorliegenden Berichte nicht.

Die Haken

Knapper Speicher: Ein 64-GB-System bietet laut lavx etwa 59,6 GiB, bevor Betriebssystem und andere Programme etwas abzweigen. Mit bis zu 58,9 GiB Spitzenbedarf bleibt kaum Luft. Dass es auf jedem 64-GB-Rechner zuverlässig läuft, ist also nicht garantiert – schon ein offener Browser kann zum Problem werden.

Eigenes Format: Die Fractal-64-Dateien nutzen einen eigenen Tensor-Typ (ID 40). Sie lassen sich laut Repository nicht in unverändertem llama.cpp, Ollama oder LM Studio laden, sondern nur mit der gepatchten Laufzeitumgebung und den Kerneln des Projekts. Wer gewohnte Oberflächen nutzt, muss umsteigen.

Qualität unklar: Das Projekt veröffentlicht zwar „Quality-Gate“- und Ähnlichkeitswerte für seine quantisierten Modelle, unabhängige Prüfungen gibt es aber nicht. Bei so starker Kompression ist die entscheidende Frage, wie viel das Modell an Genauigkeit verliert – das sollte man für den eigenen Einsatzzweck selbst testen.

Hardware: Die Optimierungen setzen auf AVX-512, das aktuelle AMD-Zen-Prozessoren beherrschen, aber nicht jede CPU. Getestet wurde auf einem High-End-Notebook-Prozessor mit schnellem DDR5-Speicher.

Einordnung

Wenn sich die Angaben bestätigen, wäre das bemerkenswert: Ein Modell der 284-Milliarden-Klasse mit riesigem Kontext auf einer Maschine ohne Grafikkarte, mit brauchbarem Chat-Tempo. Bisher braucht man dafür entweder mehrere GPUs, sehr viel mehr Arbeitsspeicher oder teure Workstations bzw. Macs mit großem gemeinsamem Speicher. Projekte wie llama.cpp haben gezeigt, wie viel Spielraum bei CPU-Inferenz noch steckt; llama-modchip treibt das mit aggressiver Kompression und handoptimierten Kerneln weiter.

Gleichzeitig ist Skepsis angebracht: Alle Zahlen sind Eigenangaben, das Speicherbudget ist auf Kante genäht, und das proprietäre Dateiformat bindet Nutzer an eine einzelne, noch junge Software. Für Bastler mit passender Hardware ist es ein spannendes Experiment – als verlässliche Alltagslösung muss es sich erst noch bewähren, idealerweise durch unabhängige Nachtests von Tempo und Antwortqualität.