DeepSeek V4.1 Flash lokal: Agent-Sessions starten dank Strata-Patch 20× schneller

Worum es geht

Ein Nutzer der Community r/LocalLLaMA hat die lokale KI-Software Strata (MIT-Lizenz, Desktop-App und Terminal-Tool für lokale Modelle) so verändert, dass DeepSeek V4.1 Flash auf normaler Gaming-Hardware Agenten-Sitzungen deutlich schneller startet. Der Titel seines Beitrags nennt „20× schneller“. Die genauen Ergebnistabellen stehen nur als Bild im Beitrag und liegen uns nicht vor, die Zahl ist also eine Selbstangabe. Anlass war eine Aussage von OpenAI-Chef Sam Altman, es sei „ziemlich schlecht“, wenn jeder einen Teil des knappen Arbeitsspeichers (DRAM) im eigenen Rechner habe, der nur etwa 5 % der Zeit genutzt werde. Der Autor wollte das Gegenteil zeigen.

Sein Rechner: AMD RX 9070 XT mit 16 GB, Ryzen 5800X3D, 64 GB DDR4-RAM und eine NVMe-SSD mit PCIe 3.0. Darauf läuft DeepSeek V4.1 Flash mit 1 Million Token Kontext, komplett offline. Er nutzt das IST-DAS-Set mit 1,75 Bit pro Gewicht (bpw); laut dem Labor erreicht es 98,7 % des Durchschnitts des vollen Modells. Die Experten des Modells verteilen sich auf VRAM, RAM und SSD.

Das Problem: Prompt-Lesen statt Generieren

Die Ausgabe mit rund 7 Token pro Sekunde war für den Autor in Ordnung. Das Nadelöhr war das Einlesen des Prompts (Prefill): Jede neue Sitzung in OpenCode, einem Coding-Agenten, las den gesamten System-Prompt samt Werkzeugbeschreibungen neu ein, rund 37.000 Token. Bis zum ersten Antwort-Token vergingen etwa 100 Sekunden.

Änderung 1: KV-Splice

Agenten schreiben sitzungsspezifischen Text in den System-Prompt, etwa Arbeitsverzeichnis, Datum, die Projektdatei CLAUDE.md oder Skill-Pfade mit Zufalls-IDs. Dadurch trifft der Prefix-Cache (ein Zwischenspeicher für bereits berechnete Prompt-Anfänge) bei jeder neuen Sitzung daneben.

Die Engine gleicht nun einen neuen Prompt mit allen gespeicherten Gesprächen ab. Sie schneidet veraltete Zeilen aus dem gespeicherten Zustand (dem KV-Cache, dem Gedächtnis des Modells für bereits gelesene Token), verschiebt die gespeicherten Zeilen, rotiert die Fenster-Ringe und vermerkt eine Lücke in der RoPE-Positionskodierung. Nur die geänderten Zeilen plus die eigene Nachricht werden neu gelesen. Geänderte Zeilen werden als ganze Zeilen verschoben, das Modell sieht also nie Bruchstücke.

Änderung 2: Resident-only Routing

Bei einem Mixture-of-Experts-Modell wählt jedes Token einige „Experten“ aus. Schon ein kurzer Prompt berührt fast alle Experten aller Schichten, daher wurde ein Großteil des Modells von der SSD gestreamt: 58 GB bei einem Prompt mit 1.200 Token. Jetzt wählen Token nur beim Prompt-Lesen unter den Experten, die bereits im VRAM oder RAM liegen. Die Generierung routet normal. So kann der Arbeitsspeicher seinen Nutzen ausspielen.

Einschränkungen

• Getestet nur mit HIP (gfx1201, AMD); CUDA, SYCL und Metal wurden weder gebaut noch getestet.
• Der Splice ist näherungsweise: Token nach einem Schnitt wurden mit dem entfernten Text im Kontext berechnet. Bei kurzen Hinweiszeilen sah der Autor keine Auswirkung, eine formale Evaluation fehlt.
• Resident-Routing verändert Antworten leicht (Ersatz-Experten beim Prompt-Lesen). Seine schwere Coding-Suite blieb bei 12/13, aber jeweils nur ein Durchlauf.
• Beide Änderungen sind im Branch standardmäßig an; STRATA_DS4_REORDER=0 und STRATA_DS4_PROMPT_RESIDENT=0 schalten sie ab. Enthalten ist außerdem ein Ein-Zeilen-Fix für einen GPU-Page-Fault bei einem 37K-Token-Prompt.

Für OpenCode empfiehlt der Autor, im Modelleintrag "interleaved": { "field": "reasoning_content" } zu ergänzen, sonst verwirft OpenCode frühere Gedankengänge und der Cache trifft öfter daneben. Der Patch liegt im Branch dsv41-kv-splice des Strata-Forks; er bittet um Messwerte, besonders für CUDA, damit die Änderungen upstream übernommen werden (Issues #4921 und #4936).

Hintergrund: Strata und DeepSeek V4.1 Flash

Strata läuft unter Windows, Linux und Mac und bindet Tools wie Claude Code, Codex CLI oder OpenCode über OpenAI- und Anthropic-kompatible APIs an. Für DeepSeekV4.1-Flash-1017 listet die README Sets mit 1,75, 2,00 und 2,25 bpw, Downloads von 239 bis 274 GB und etwa 245 bis 280 GB freien Platz. Was nicht in den Speicher passt, wird von der SSD gelesen. Unterstützt werden NVIDIA RTX 30/40/50, AMD Radeon AI PRO R9700 (Linux), Ryzen AI Max (Strix Halo) und Apple-Silicon-Macs mit mindestens 64 GB, dort nur Text.

Laut README (2,00 bpw, Strata 0.2.5):

Das Modell selbst: Laut SiliconANGLE erschien V4.1-Flash am 10. September 2026, das Update „1017“ gut fünf Wochen später. DeepSeek nennt es ein „kleines Update“, das Aufgabenzeit und Ausgabelänge verringert. Auf DeepSWE v1.1 löste es laut eigenen Tests 77 % der Aufgaben (vorher 74,2 %). Laut TechTimes ist es ein MoE-Modell mit 552 Mrd. Parametern, 8 Mrd. aktiv beim Prefill und 16 Mrd. beim Decode, mit einem sehr kleinen KV-Cache von 890 Byte pro Token. Alle Benchmarks sind Herstellerangaben. Die Gewichte stehen unter MIT-Lizenz auf Hugging Face.

Was du zum Ausprobieren brauchst

Das Modell ist riesig: Je nach Set brauchst du 245 bis 280 GB freien Speicherplatz, am besten auf einer schnellen NVMe-SSD. Realistisch sind eine NVIDIA-RTX-Karte ab Serie 30 mit 12 GB oder mehr, rund 46 bis 64 GB RAM oder ein Mac mit 64 GB und mehr. Der hier beschriebene Patch ist bislang nur für AMD mit HIP (gfx1201, z. B. RX 9070 XT) gebaut und getestet und muss selbst kompiliert werden. Google Colab ist dafür nicht sinnvoll. Ohne den Patch läuft Strata über die normale App.

Einordnung

Der Beitrag zeigt, dass bei Agenten nicht die Generierung, sondern das Prompt-Lesen am lokalen Betrieb nervt, und dass sich per Cache-Tricks viel gewinnen lässt. Kritisch: Die Zahlen sind Selbstmessungen eines einzelnen Nutzers mit einer Maschine, die Näherungen sind nicht formal evaluiert, und Resident-Routing ändert die Antworten. Der Patch ist ein experimenteller Branch, kein offizieller Release. Ob er auf CUDA oder anderen Plattformen ähnlich wirkt, ist offen.