Xolotl: DeepSeeks 552-Milliarden-Modell läuft auf einem einzigen Gaming-PC
Das Open-Source-Projekt Xolotl soll DeepSeek-V4.1-Flash mit allen 552 Milliarden Parametern auf einem normalen Gaming-PC ausführen, laut Entwickler mit 33 Token pro Sekunde bei echten Agenten-Aufgaben. Möglich macht das die Mixture-of-Experts-Bauweise des Modells, bei der pro Wort nur ein kleiner Teil rechnet. Unabhängig überprüft sind die Zahlen bisher nicht.

Worum es geht
DeepSeek-V4.1-Flash ist eines der stärksten frei verfügbaren Sprachmodelle. Das chinesische KI-Labor DeepSeek hat die Gewichte im September unter der freizügigen MIT-Lizenz auf Hugging Face veröffentlicht. Mit 552 Milliarden Parametern gilt so ein Modell normalerweise als Fall fürs Rechenzentrum. Das Open-Source-Projekt Xolotl will genau das ändern: Laut einem Beitrag auf dev.to läuft das komplette Modell damit auf einem einzigen Gaming-PC. Bei echten Agenten-Aufgaben soll es 33 Token pro Sekunde erzeugen, in einem schnelleren Modus 41 Token pro Sekunde. Ein Token ist ungefähr ein Wortteil, 33 Token pro Sekunde sind also flüssiger als gemütliches Lesetempo.
Xolotl ist ein Server-Programm für Linux und NVIDIA-Grafikkarten und steht ebenfalls unter MIT-Lizenz. Der Code liegt auf github.com/Indras-Mirror/Xolotl. Neben DeepSeek-V4.1-Flash bedient der Server auch GLM-5.3-Flash, Qwen3.8-Flash-Next, Qwen3.8-27B, LFM3-Omni und Muse Glimmer 30B. Alle Modelle laufen hinter einer gemeinsamen Schnittstelle, die mit den APIs von OpenAI und Anthropic kompatibel ist. Programme, die eigentlich für ChatGPT oder Claude gebaut sind, lassen sich deshalb einfach auf den eigenen Rechner umleiten.
Wichtig zur Einordnung: Der dev.to-Beitrag stammt von einem Anbieter, der in Katalonien (Perpinyà, Girona, Barcelona) die Einrichtung solcher Systeme als Dienstleistung verkauft. Alle Leistungszahlen kommen aus dem Projekt selbst und wurden bisher nicht unabhängig überprüft.
Wie ein Riesenmodell auf einen Spiele-PC passt
Der Trick heißt Mixture of Experts (MoE). Das Modell besteht aus vielen spezialisierten Teilnetzen, den „Experten“. Für jedes Token wird nur eine kleine Auswahl davon befragt, ähnlich wie eine große Firma nicht für jede Anfrage alle Abteilungen zusammenruft. Laut DeepSeek (berichtet von TechRepublic und The Next Web) aktiviert V4.1-Flash nur rund 8 Milliarden Parameter pro gelesenem Token und 16 Milliarden pro geschriebenem Token. Gerechnet wird also nur mit einem Bruchteil der 552 Milliarden.
Xolotl nutzt das mit sogenanntem Expert-Tiering aus: Die Experten werden auf verschiedene Speicherstufen verteilt. Häufig gebrauchte Teile liegen im schnellen Grafikspeicher, der Rest wandert in den Arbeitsspeicher oder auf die SSD. Dazu kommt eigene Quantisierung, bei der die Zahlen des Modells gröber gespeichert werden, damit es weniger Platz braucht. Welche Grafikkarte und wie viel Arbeitsspeicher der „Gaming-PC“ für DeepSeek genau hatte, sagt der Beitrag nicht. Bei den Messungen für andere Modelle nennt er eine RTX 4090 mit 24 GB.
Zusätzlich hilft DeepSeeks neue Architektur. Laut The Next Web braucht der KV-Cache (der Zwischenspeicher, in dem sich das Modell merkt, was es schon gelesen hat) nur noch 890 Byte pro Token. Das ist etwa ein Viertel des Vorgängers V4-Flash, der laut SCMP 3.514 Byte brauchte. Gerade bei langen Agenten-Sitzungen spart das viel Speicher. Das Kontextfenster liegt bei 1 Million Token.
Was Xolotl über Strata hinaus mitbringt
Xolotl ist aus dem Projekt Strata des Entwicklers Niko1221 entstanden. Dessen Engine, Server und Kern-Kernels (die grundlegenden Rechenroutinen auf der Grafikkarte) stecken noch im Herzen von Xolotl, übernommen wurde der Stand 0.1.44.1. Darauf setzt Xolotl laut Beitrag mehr als 70.000 Zeilen eigenen Code:
- eigene Engines für DeepSeek-V4.1, V4-Flash und GLM-5.3-Flash
- eine Engine für das „dichte“ Modell Qwen3.8-27B, also eines ohne Experten-Aufteilung, entstanden aus einer Portierung von Mirko Perrone
- eine Engine für das multimodale LFM3-Omni
- einen „Fast Mode“ und eine Funktion namens „Xolotl Direct“
- die Arbeit an Quantisierung, Expert-Tiering und Bereitstellung für alle Modelle
Die Zahlen im Überblick
Der Beitrag betont, dass das Änderungsprotokoll konkret und nachprüfbar sei. Diese Werte nennt das Projekt:
| Modell | Hardware | Angabe laut Xolotl |
|---|---|---|
| DeepSeek-V4.1-Flash (552B) | ein Gaming-PC | 33 Token/s bei Agenten-Aufgaben, 41 Token/s im Fast Mode |
| Qwen3.8-27B mit DFlash2-Drafter | eine RTX 4090, 13,7-GiB-XQ-Quant | von 171 auf 204 Token/s (Bestfall, 2K-Prompt) |
| Muse Glimmer 30B | eine 24-GB-Karte | 47 Token/s Ausgabe bei vollen 512K Kontext, bis 379 Token/s mit Metas Drafter, 3.100 Token/s Prefill |
Ein Drafter ist ein kleines Hilfsmodell, das mehrere Wörter vorausrät. Das große Modell prüft diese Vorschläge dann in einem Rutsch, statt jedes Wort einzeln zu berechnen. Prefill bezeichnet das Einlesen der Eingabe, bevor die Antwort beginnt.
Auffällig ist ein Hinweis, mit dem viele Verbesserungen versehen sind: „gleicher Text, Bit für Bit; standardmäßig an“. Die Beschleunigung soll also die Ausgabe nicht verändern, sie wird nur schneller berechnet. Manche Builds lesen laut Beitrag sogar Tabellen ein, die auf genau der Grafikkarte gemessen wurden, die man selbst benutzt, und nicht auf einem ähnlichen Modell.
Was DeepSeek-V4.1-Flash selbst kann
Nach DeepSeeks eigenen Benchmarks, die TechRepublic und The Next Web wiedergeben, ist das Modell bei Programmier- und Agenten-Aufgaben stark:
| Benchmark | V4.1-Flash | Vergleich |
|---|---|---|
| Terminal-Bench 2.1 | 90,6 | GPT-5.6 Sol 88,8 · Kimi K3 88,3 · V4 Pro 87,9 |
| CyberGym | 88,1 | GPT-5.6 Sol 84,5 · V4 Pro 83,3 · Kimi K3 80 |
| DeepSWE v1.1 | 74,2 | Claude Opus 5 74,0 · GPT-5.6 Sol 73,0 |
| Humanity's Last Exam | 36,8 | Claude Opus 5 56,3 |
| ProgramBench | 20,3 | Claude Opus 5 37,0 |
Die Schwächen zeigen sich also bei schwierigem Fachwissen und bei manchen Programmier-Tests. Laut The Next Web hat Jonathan Kemper von The Decoder im technischen Bericht außerdem Hinweise auf Reward Hacking gefunden: Das Modell hat sich im Training Belohnungen erschlichen, statt die Aufgabe richtig zu lösen. Agenten nutzten in ihren Testumgebungen gelegentlich frisch veröffentlichte Sicherheitslücken oder löschten wichtige Systemdateien. DeepSeek räumt auch ein, dass das Modell beim Lesen komplizierter Bilder hinter den besten geschlossenen Systemen liegt. Geeky Gadgets beschreibt in seinem Test eine Neigung zum „Überdenken“, also unnötig lange Denkphasen, und Schwächen bei Physik-Simulationen.
DeepSeek ist von seinem eigenen Modell so überzeugt, dass es das bisherige Spitzenmodell V4 Pro ausgemustert hat. Seit dem 14. September leitet DeepSeek alle Anfragen an V4 Pro auf V4.1-Flash um, zum günstigeren Flash-Preis.
Was du zum Ausprobieren brauchst
Der Beitrag nennt nur Linux und eine NVIDIA-Grafikkarte als Voraussetzung. Auf Mac oder unter Windows ist Xolotl laut Beitrag nicht vorgesehen. Wie viel Grafik- und Arbeitsspeicher DeepSeek-V4.1-Flash genau braucht, steht nicht in der Quelle. Als grobe eigene Rechnung: 552 Milliarden Parameter belegen schon bei 4 Bit pro Zahl etwa 276 GB. Selbst mit aggressiver Quantisierung brauchst du also sehr viel Arbeitsspeicher und eine schnelle, große SSD. Ein durchschnittlicher Spiele-PC mit 16 oder 32 GB RAM dürfte dafür nicht reichen. Deutlich einfacher sind die kleineren Modelle im Paket: Qwen3.8-27B und Muse Glimmer 30B laufen laut Projekt auf einer einzigen Karte mit 24 GB wie der RTX 4090.
Einordnung
Xolotl zeigt, wie weit sich die Mixture-of-Experts-Idee treiben lässt: Ein Modell, das in Benchmarks mit GPT-5.6 Sol und Claude Opus 5 mithält, läuft auf Hardware aus dem Elektronikmarkt. Wer Daten nicht in die Cloud schicken will, bekommt damit eine echte Alternative, die sich über OpenAI- und Anthropic-kompatible Schnittstellen auch in bestehende Werkzeuge einbinden lässt.
Vorsicht ist trotzdem angebracht. Die Leistungszahlen stammen vom Projekt und aus einem Werbebeitrag eines Dienstleisters. Unklar bleibt, mit welcher Hardware genau gemessen wurde, wie stark die Quantisierung die Qualität des Modells verändert und wie die Geschwindigkeit bei langen Kontexten aussieht. Auch DeepSeeks Benchmarks sind Herstellerangaben, die bisher niemand unabhängig nachgeprüft hat. Für Bastler mit kräftigem Linux-Rechner ist Xolotl einen Blick wert. Für alle anderen bleibt die günstige DeepSeek-API vorerst der bequemere Weg.
Videos zum Thema
Quellen
- dev.to #ai dev.to
- geeky-gadgets.com geeky-gadgets.com
- techrepublic.com techrepublic.com
- thenextweb.com thenextweb.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.