KV-Cache auf 4 Bit: Warum derselbe Spartrick mal nichts kostet und mal alles kaputt macht

Den Zwischenspeicher eines Sprachmodells auf 4 Bit zu stauchen, ist der beliebteste Trick für mehr Kontext auf knappen Grafikkarten. Ein Test findet keinen Unterschied, ein anderer sieht 80 von 80 korrekten Antworten auf null fallen. Wir haben nachgerechnet und die Messungen sortiert: Es kommt auf die Modellfamilie an, auf die Aufgabe und darauf, wie gemessen wurde.

Analysen 21. Nov. 2026 10 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Ein Sprachmodell merkt sich beim Lesen jedes Token in einem Zwischenspeicher, dem KV-Cache. Darin liegen für jede Schicht zwei Vektoren pro Token, die „Keys“ und die „Values“, auf die das Modell bei jedem neuen Wort zurückgreift. Dieser Speicher wächst mit der Kontextlänge und belegt bei langen Dokumenten schnell mehrere Gigabyte Grafikspeicher. Der naheliegende Trick: Man speichert die Einträge nicht mit 16 Bit (f16), sondern gröber mit 8 Bit (q8_0) oder 4 Bit (q4_0). In Ollama und llama.cpp ist das ein einziger Schalter.

Ob dieser Schalter etwas kostet, darüber widersprechen sich die veröffentlichten Messungen völlig. Bei Qwen3.6 findet ein Recall-Test keinen Unterschied zwischen 4 und 16 Bit. Bei Qwen2.5 bricht dagegen die Ausgabe zusammen. Mit Hy4 Flash, DeepSeek-V4.1-Flash und anderen großen Modellen versuchen gerade viele, langen Kontext auf knappen Speicher zu quetschen. Deshalb sortieren wir die Widersprüche. Vorweg, damit es klar ist: Einen eigenen Nachtest haben wir für diesen Text nicht abgeschlossen. Die Einordnung stützt sich auf die veröffentlichten Messungen und auf unsere eigene Nachrechnung.

Die Messungen im Überblick

Quelle Modell Engine Messgröße Ergebnis q4_0
Reddit r/LocalLLM (Giraffe) Qwen2.5 7B (Q4_K_M) Ollama 0.40.16, T4 korrekte JSON-Extraktionen 0/80 (q8_0: 80/80)
InventiveHQ Qwen2.5-Coder-7B (Q4_K_M) llama.cpp, 8K Kontext Textähnlichkeit zu f16 8,3 % (q8_0: 81,6 %)
Localbench Qwen3.6 27B / 35B A3B (BF16) llama.cpp, gepatcht KL-Divergenz 0,087–0,117
Localbench Gemma 4 26B A4B (BF16) llama.cpp, gepatcht KL-Divergenz 1,088 (q8_0: 0,377)
sanmai (Bericht vom 10. Juni) Qwen3.6-27B (ca. Q3-Gewichte) llama.cpp, 262K Kontext wörtlicher Recall bis 140K gleich bf16 im Rahmen des Rauschens
Anbeeld Qwen3.6 27B (Q5_K_S) llama.cpp-Fork, 64K 99,9-%-Präzision (KLD-Rand) 89,84 % (q8_0: 94,61 %)

Der Reddit-Test zeigt das Problem besonders deutlich. Der Autor ließ Qwen2.5 aus 80 synthetischen Support-Notizen je sechs Bestelldaten als JSON herausziehen, mit abgeschaltetem Structured-Output-Modus. Mit q8_0 stimmten alle Felder, etwa die Bestellnummer „DP-3976“, 17 Stück und 444,42 Dollar. Mit q4_0 kamen nur noch Backticks und Ziffern zurück. Ollama meldete beide Anfragen als normal abgeschlossen. Der Autor schränkt selbst ein: ein Durchlauf pro Einstellung, die Ursache nicht isoliert, vier parallele Slots mit je 8.192 Tokens Kontext.

Ursache 1: Die Modellfamilie

Qwen2.5 gilt in der Forschung als Problemfall. Das Paper zu Q-Filters vermutet die Ursache darin, dass Qwen2.5 seine Query-, Key- und Value-Projektionen mit einem zusätzlichen Bias versieht, also einem gelernten Versatz. Ein noch nicht begutachtetes Preprint misst bei Qwen2.5-7B in manchen Schichten Key-Werte, die mehr als 250-mal größer sind als der Median. Solche Ausreißerkanäle sind Gift für eine einfache 4-Bit-Rundung: Ein Block aus 32 Zahlen bekommt einen gemeinsamen Maßstab, und wenn eine Zahl riesig ist, werden alle anderen zu Null oder Eins zusammengedrückt. KVTuner kommt zum Schluss, dass Qwen2.5-7B-Instruct beim Key-Cache mindestens rund 4 Bit braucht. Schon die Ollama-FAQ warnt, Modelle wie Qwen2 könnten mehr Präzision verlieren.

Qwen3.6 ist anders gebaut. Laut The Kaitchup haben beim 27B-Modell nur 16 der 64 Schichten eine klassische Attention mit vollem KV-Cache. Der Rest sind Gated-DeltaNet-Blöcke, die keinen wachsenden Cache brauchen. Ein Nutzer vermutet im llama.cpp-Issue #21385, die vielen linearen Schichten schirmten die wenigen Attention-Schichten ab. Dort berichtet ein anderer Nutzer auch, eine eigene 3-Bit-Quantisierung sei bei Qwen2/2.5 schwer gescheitert, während Qwen3.5 „immun“ gewesen sei. Unabhängig bestätigt sind beide Aussagen nicht.

Gemma 4 ist der dritte Fall. Laut Localbench liegt schon q8_0 bei Gemma 4 31B bei einer KL-Divergenz von 0,108 und damit schlechter als Qwen3.6 mit q4_0 in den meisten Kategorien. Die MoE-Variante 26B A4B kommt mit q8_0 auf 0,377, mit q4_0 auf 1,088, und nur noch 68 Prozent der wahrscheinlichsten Tokens stimmen mit f16 überein. In einer Hugging-Face-Diskussion maß ein Nutzer beim 26B-Modell im äußersten Rand (KLD99,9) 0,59 mit f16-Cache und 17,43 mit q8_0. Eine Antwort von Google gab es dort laut Thread bis Ende Juli nicht.

Ursache 2: Die Aufgabe

Fließtext verzeiht viel. Wählt das Modell ein anderes, aber passendes Wort, liest sich die Antwort trotzdem gut. Strikte Formate verzeihen nichts: Eine verrutschte Klammer macht ein JSON ungültig, eine falsche Ziffer macht die Bestellnummer wertlos. Localbench findet genau dieses Muster bei Qwen3.6 mit q4_0. Die meisten Kategorien bleiben nahe null, lange Dokumente kommen auf 0,581 und Tool-Calling auf 0,086. Die Messung von bmdpat mit Ollama 0.40.6 zeigt die Richtung im Kleinen: Gemma4:12b löste mit q4_0 nur 14 statt 16 Aufgaben. Die Stichprobe ist allerdings winzig, und Qwen3.5:4b fiel dort sogar schon mit q8_0 ab.

Ursache 3: Die Messmethode

Die drei Messgrößen beantworten verschiedene Fragen.

  • Textähnlichkeit bei Greedy-Decoding (InventiveHQ): Das Modell nimmt immer das wahrscheinlichste Token, und die Antwort wird mit Pythons difflib mit der f16-Antwort verglichen. Kippt früh ein einziges Token, läuft der ganze Rest anders, auch wenn er inhaltlich gleich gut ist. 8,3 Prozent bedeutet also „anderer Text“, nicht zwingend „Unsinn“. InventiveHQ nennt die Methode selbst stumpf. Bemerkenswert ist trotzdem der Abstand zu q8_0 (81,6 Prozent), auf CUDA wie auf Metal.
  • KL-Divergenz (Localbench, Anbeeld): Sie misst, wie weit sich die Wahrscheinlichkeitsverteilung über das nächste Token verschiebt, und zwar Token für Token beim Lesen eines festen Textes. Ein Mittelwert kann gut aussehen, während seltene Ausreißer Schaden anrichten. Anbeeld wertet deshalb den 99,9-Prozent-Rand aus, und genau dort trennen sich die Formate, während die Perplexity fast flach bleibt.
  • Trefferquote und Recall (Reddit, sanmai): Sie prüfen, ob am Ende das Richtige herauskommt. Das ist am nächsten an der Praxis, gilt aber nur für genau diese Aufgabe. Wörtliches Wiederfinden einer Stelle („Single-Hop“) ist eine andere Fähigkeit als präzises Weiterverarbeiten. Im Issue #21385 berichtet ein Nutzer bei Qwen3.6-35B-A3B mit q4_0/q4_0 einen Pfad-Score von 65,70 statt 100, obwohl die KL-Divergenz nahe beim Original blieb.

Unsere Einschätzung: Die Tests widersprechen sich weniger, als es aussieht. Sie messen verschiedene Modelle bei verschiedenen Aufgaben mit verschiedenen Maßstäben.

Die Rotation verschiebt die Messlatte

Am 1. April 2026 hat Georgi Gerganov PR #21038 in llama.cpp eingebracht. Seitdem werden Q, K und V vor dem Speichern mit einer normierten Hadamard-Matrix gedreht. Das verändert die Ergebnisse der Attention nicht, verteilt aber die Ausreißer auf alle Kanäle, sodass die 4-Bit-Rundung weniger Schaden anrichtet. Die Idee stammt aus Arbeiten wie QuaRot. Die Rotation greift automatisch, sobald K oder V quantisiert sind und die Kopfgröße ein Vielfaches von 64 ist. Bei MLA-Modellen wie der DeepSeek-Familie bleibt sie aus, und mit LLAMA_ATTN_ROT_DISABLE=1 lässt sie sich abschalten.

Die Wirkung laut PR: Bei Qwen3.5-9B sank die KL-Divergenz für q4_0/q4_0 von 0,0080 auf 0,0051. Bei gpt-oss-20b stieg der AIME25-Wert mit q4_0-Cache von 2,0 auf 21,7 Prozent, bei f16 liegt er bei 37,9. Ganz umsonst ist das nicht: Ein Tester maß bei der Token-Generierung etwa 0,88- bis 0,93-fache Geschwindigkeit. Für ältere Messungen heißt das: Wer vor April getestet hat, hat ein anderes q4_0 gemessen. Laut der Hugging-Face-Diskussion lief die Rotation bei Gemma 4 anfangs nicht, die Werte vom ersten Tag waren deshalb schlechter.

Offen bleibt, ob Ollama die Rotation nutzt. In der Ollama-FAQ und den Release Notes bis Version 0.40.17 steht dazu nichts. Ein Ollama-PR mit Hadamard-basierten Typen tq3/tq4 (#15090) ist seit März offen. InventiveHQ hat laut eigener Angabe mit Standard-llama.cpp gemessen, für Metal mit Build b9430 und im Juni, also nach dem Merge, und sah trotzdem den Einbruch. Unsere Einschätzung: Auch mit Rotation scheint Qwen2.5 mit symmetrischem q4_0 nicht zuverlässig zu funktionieren. Belegt ist das aber nur durch diesen einen Test.

Ein Schalter gegen zwei

Ollama kennt nur OLLAMA_KV_CACHE_TYPE, global für alle Modelle und für K und V gemeinsam. Laut Sam McLeod, der die Funktion eingebaut hat, haben die Entwickler getrennte Stufen bewusst weggelassen, um die Bedienung einfach zu halten. Quantisiert wird nur mit Flash Attention, einem speichersparenden Rechenverfahren für die Attention. Kann ein Modell das nicht, fällt Ollama auf f16 zurück. McLeod beschreibt dafür eine Warnung im Log, ModelPiper nennt den Rückfall „still“.

llama.cpp erlaubt mit -ctk und -ctv getrennte Typen. Das lohnt sich, weil Keys empfindlicher sind als Values. Das zeigt schon die KIVI-Forschung, die Keys pro Kanal und Values pro Token quantisiert, und in llama.cpp stellten Tester Key-Normen fest, die 6- bis 182-mal größer sind als die der Values. Anbeeld misst bei Qwen3.6: Bits zuerst in K zu stecken, bringt am meisten. Eine Falle hat das allerdings: Laut Issue #24485 fällt ein CUDA-Build ohne GGML_CUDA_FA_ALL_QUANTS=ON bei gemischten Typen wie q8_0/q4_0 still auf CPU-Attention zurück, und das Vorlesen des Prompts (Prefill) wird 25- bis 45-mal langsamer. Bei MLA-Modellen und DeepSeek V4 erzwingt llama.cpp seit Build b10206 ohnehin gleiche Typen für K und V.

Was die Ersparnis wirklich bringt

Wir haben die Zahlen aus dem Reddit-Test nachgerechnet. Qwen2.5-7B hat 28 Schichten mit je 4 KV-Köpfen der Größe 128, das ergibt 56 KiB pro Token in f16. q8_0 braucht 8,5 Bit pro Wert, q4_0 4,5 Bit.

Cache Qwen2.5-7B, 32.768 Tokens Qwen3.6-27B, 262.144 Tokens
f16/bf16 1.792 MiB 16 GiB
q8_0 952 MiB 8,5 GiB
q8_0-K / q4_0-V 728 MiB 6,5 GiB
q4_0 504 MiB 4,5 GiB

Die 952 und 504 MiB stimmen exakt mit den Ollama-Logs überein. Der Schritt von q8_0 auf q4_0 spart hier also nur 448 MiB, rund 3 Prozent einer 16-GB-T4. Die großen Gewinne kommen bei sehr langem Kontext. Bei Qwen3.6-27B (16 Attention-Schichten, 4 KV-Köpfe der Größe 256, also 64 KiB pro Token) passt unsere Rechnung zu den 17,2 GB, die The Kaitchup angibt.

Unsere Empfehlung

  • Standard: q8_0 für K und V. Bei Qwen und Llama-ähnlichen Modellen ist das meist unauffällig, bei Gemma 4 dagegen messbar.
  • Mehr sparen: In llama.cpp zuerst V senken (q8_0-K mit q4_0-V oder q5_0-K mit q4_1-V), bevor K auf 4 Bit geht.
  • q4_0 für beide nur bei Hybridmodellen wie Qwen3.6, für Chat und Zusammenfassungen, und bevorzugt in aktuellem llama.cpp mit Rotation.
  • Finger weg von q4_0 bei Qwen2.5, bei Gemma 4 und überall, wo JSON, Tool-Calls oder exakte Zahlen gebraucht werden.
  • Selbst prüfen: Mit llama-perplexity die Logits einmal mit f16-Cache sichern (--kl-divergence-base) und dann gegen den quantisierten Cache vergleichen (--kl-divergence). Dazu ein paar eigene Pflichtaufgaben mit automatischer Prüfung laufen lassen, Werkzeuge wie Giraffe helfen dabei. Geschwindigkeit und Logs verraten den Fehler nicht.

Einordnung

„q8_0 ist praktisch verlustfrei, q4_0 kostet ein bisschen“ – diese Faustregel aus der Ollama-FAQ ist für einige Modelle zu optimistisch und für andere zu pessimistisch. Belegt ist dreierlei: Ältere Qwen- und Gemma-4-Modelle reagieren deutlich empfindlicher als die hybriden Qwen3.6. Strikte Formate und lange Dokumente leiden zuerst. Und die Rotation in llama.cpp hat q4_0 seit April spürbar verbessert. Unbelegt bleibt vieles, was die Aufmerksamkeit bekommt: Der 0/80-Fall beruht auf einem einzigen Durchlauf mit vier parallelen Slots, der sanmai-Bericht ist inzwischen nicht mehr abrufbar, und ob Ollama rotiert, ist nicht dokumentiert. Kritisch ist vor allem, dass der Fehler still bleibt. Nichts im Log warnt, und die Token-Rate sieht normal aus. Unsere Einschätzung: Wer q4_0 einschaltet, sollte das wie eine Änderung am Modell selbst behandeln und vorher an der eigenen Aufgabe gegen f16 testen.

#kv-cache#quantisierung#llama.cpp#ollama#lokale ki#qwen

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.