Deine 4-Bit-KI ist nicht das geprüfte Modell – was das Runden mit der Sicherheit macht
Wer lokal mit llama.cpp, Ollama oder LM Studio arbeitet, nutzt fast immer eine stark komprimierte Kopie eines Modells und nicht das Original, das der Hersteller auf Sicherheit getestet hat. Studien zur Frage, ob diese Kopien gefährlicher sind, kommen zu widersprüchlichen Ergebnissen. Ein neues Paper aus Vancouver erklärt, warum das so ist. Wir haben die Studien nebeneinandergelegt.

Darum geht es
Die großen Modellanbieter testen ihre Modelle vor der Veröffentlichung auf Sicherheit, etwa ob sie Anleitungen für Waffen oder Schadsoftware verweigern. Getestet wird dabei das Original in voller Genauigkeit (BF16 oder FP16). Wer ein Modell über llama.cpp, Ollama oder LM Studio lädt, bekommt aber fast immer eine quantisierte Kopie: Die Zahlen des Modells werden gröber gespeichert, meist mit 4 Bit statt 16, manchmal nur mit 2 bis 3. Mit llama.cpp v1 und Ubuntus Inference Manager wird das zum Normalfall, und extrem gepackte Riesenmodelle wie das 177-Milliarden-Modell von Ternii treiben es noch weiter.
Daraus folgt eine einfache Frage: Verhält sich die Kopie genauso wie das geprüfte Original? Die Forschung dazu widerspricht sich auf den ersten Blick heftig. Ein Paper, das gerade an der University of British Columbia (UBC) erschienen ist, liefert eine plausible Erklärung. Wir haben die wichtigsten Studien nebeneinandergelegt und nachgeprüft, was sie tatsächlich messen.
Was beim Runden passiert
Beim Quantisieren werden die Gewichte eines Modells in kleinen Gruppen auf wenige erlaubte Werte gerundet. Bei 4 Bit sind das 16 Stufen pro Gruppe, dazu kommt ein Maßstab, der die Gruppe streckt oder staucht. Jedes Gewicht landet dabei ein kleines Stück neben seinem Originalwert. Die Summe dieser Abweichungen ist der Rundungsfehler.
Wichtig ist: Dieser Fehler ist kein Zufallsrauschen, sondern ein ganz bestimmtes Muster. Es hängt vom Verfahren ab, also davon, wie die Gruppen gebildet und die Maßstäbe gewählt werden und ob Kalibrierdaten im Spiel sind. Zwei 4-Bit-Kopien desselben Modells haben deshalb zwei verschiedene Fehler. llama.cpps K-Quants wie Q4_K_M arbeiten mit verschachtelten Blöcken und speichern einzelne Tensoren genauer als andere. Laut der llama.cpp-Dokumentation kommt Q4_K_M bei Llama-3.1-8B auf 4,89 Bit pro Gewicht, Q2_K auf 3,16 und Q8_0 auf 8,50.
Drei Studien, drei Antworten
| Studie | Modelle | Formate | Kernbefund |
|---|---|---|---|
| Kadadekar, Juni 2026 (arXiv 2606.10154) | 6 Modelle, 1–7 Mrd. Parameter | GGUF Q8_0 bis Q2_K, AWQ, GPTQ | Verweigerungen sinken in 9 Fällen um 12 bis 68 Punkte, obwohl die Qualität gleich bleibt |
| Lobo Vaz, Univ. Porto, Juli 2026 | 7 Modelle (Llama 3.x, Qwen3), bis 8 Mrd. | FP16, Q4_K_M, Q3_K_M, Q2_K_L | ToxiGen-Wert sinkt in 20 von 21 Varianten |
| Kaya, UBC, Nov. 2026 (arXiv 2611.22186) | Qwen2.5-3B, Llama-3.2-3B, Qwen3-4B | MLX 4 Bit, AWQ, MXFP4, Q4_K_M u. a. | Effekte mit entgegengesetztem Vorzeichen, Q4_K_M ändert nichts |
Beim genauen Hinsehen schrumpfen die Widersprüche. Die 12 bis 68 Prozentpunkte aus der Juni-Studie stammen fast alle aus AWQ- und GPTQ-Kopien. Das sind zwei andere 4-Bit-Verfahren, die vor allem auf Servern verbreitet sind. Der Extremwert von minus 68 Punkten betrifft GPTQ bei Llama-3.2-1B. Unter den GGUF-Stufen fallen nur Q3_K_S bei Llama-3.2-1B und Q2_K bei Qwen2.5-7B in diese Gefahrenklasse. Die Autorin empfiehlt deshalb Q5_K_M als vorsichtige Untergrenze, Q4_K_M nur mit modellspezifischer Prüfung. Dieselben sechs Modelle und dieselbe Übereinstimmung zwischen zwei KI-Bewertern (89,9 Prozent, κ = 0,873) finden sich im nicht begutachteten Bericht TR134 der Seite Chimeraforge. Unsere Einschätzung: Beide stammen sehr wahrscheinlich aus demselben Forschungsprogramm. Dort zeigt sich auch, wie sehr die Messmethode zählt. Für GPTQ bei Llama-3.2-1B ergibt ein einfacher Textfilter (Regex) minus 68,2 Punkte, ein KI-Bewerter nur minus 44,3.
Die Porto-Arbeit von Flávio Lobo Vaz misst mit „20 von 21“ nicht, ob gefährliche Anfragen verweigert werden. Gemeint ist der Benchmark ToxiGen, bei dem es um toxische Aussagen über Minderheiten geht. Im Mittel sinkt der Wert um 0,022 bei Q4, 0,066 bei Q3 und 0,099 bei Q2. Viele der 20 Rückgänge sind winzig: Llama-3.1-8B geht von 0,845 auf 0,844 zurück. Daneben gibt es echte Einbrüche, etwa bei Llama-3.2-1B von 0,594 auf 0,389 (Q3_K_M) und bei Qwen3-4B von 0,838 auf 0,607 (Q2_K_L). In den 39 Angriffen des Red-Teaming-Werkzeugs garak blieb die Robustheit im Schnitt praktisch unverändert (+0,007). Einzelne Angriffsarten wurden zwar erfolgreicher, aber andere gleichen das in der Summe aus. Am Ende empfiehlt auch diese Arbeit Q4_K_M als besten Kompromiss.
Der Trick der UBC-Studie: Störungen gleicher Größe
Ege Kaya von der UBC stellt eine grundsätzliche Frage. Eine 4-Bit-Kopie ist nur eine von unzähligen möglichen Veränderungen der Gewichte mit derselben Stärke. Wenn sich ihr Verhalten ändert, liegt das dann am konkreten Rundungsfehler oder an jeder Störung dieser Größe? Die Studie wurde vorregistriert, Hypothesen und Auswertung standen also vor der Datenerhebung fest. Sie nutzt gepaarte Tests, blinde menschliche Bewertungen und 8-Bit-Kopien als Nullprobe.
Gemessen wurde in zwei Situationen. Beim Prefill-Angriff gibt man dem Modell die ersten Wörter einer zustimmenden Antwort vor, hier 8 Token, und schaut, ob es die schädliche Antwort zu Ende schreibt. Qwen2.5-3B tat das als 4-Bit-Kopie (MLX-Standard, 4,5 Bit pro Gewicht) bei 24,2 statt 18,0 Prozent der 562 Anfragen. Menschliche Bewertungen ergaben sogar plus 19,4 Punkte. Bei 400 zurückgehaltenen Jailbreaks aus WildJailbreak verhielt sich Llama-3.2-3B dagegen sicherer: Es gab nur noch bei 34,8 statt 45,0 Prozent nach. Qwen3-4B veränderte sich nicht nennenswert. Die 8-Bit-Kopien änderten zwar 3 bis 10 Prozent der einzelnen Bewertungen, aber keine der Quoten.
Dann folgt der eigentliche Kniff. Kaya spiegelt den echten Rundungsfehler, mischt ihn innerhalb der Gruppen durch, ersetzt ihn durch gleich starkes Zufallsrauschen und skaliert ihn auf die halbe oder doppelte Größe. Durchmischter Fehler und Rauschen bewirken im Mittel fast nichts (+0,4 bzw. −1,1 Punkte). Der gespiegelte Fehler kehrt die Wirkung dagegen um, und beim Skalieren ändert sich das Verhalten nahezu linear. Schon beim halben Fehler gibt Llama 5,8 Punkte seltener nach, obwohl sich seine Sprachqualität, gemessen als Wahrscheinlichkeit für die eigenen Antworten, kaum bewegt (+0,005 nats).
Die praktisch wichtigste Zeile betrifft llama.cpp: Q4_K_M verschob keines der beiden Modelle (Qwen −1,2, Llama +2,5 Punkte, beides nicht signifikant). Eine MLX-Kopie mit exakt gleicher Bitzahl (5,0 Bit, Gruppengröße 32) verschob Qwen dagegen um 4,1 Punkte. Kayas Schluss:
„Weil jede Kopie ihren eigenen Rundungsfehler trägt, können sich Prüfungen verschiedener Kopien sogar beim selben Modell widersprechen.“
Kaya warnt ausdrücklich, das Q4_K_M-Ergebnis nicht zu verallgemeinern. Die Studie hat klare Grenzen: drei kleine Modelle, Antworten auf 128 Token gekappt, ein einziger menschlicher Bewerter (der Autor), und der KI-Richter ist selbst ein quantisiertes Qwen. Code und Labels liegen auf github.com/egekaya1/qrefusal. Laut README läuft das Ganze auf einem Mac mit 16 GB, braucht aber mehrere Tage Rechenzeit.
Wenn „unsicher“ in Wahrheit „kaputt“ heißt
Eine zweite Ursache für scheinbare Sicherheitseinbrüche ist banaler. Viele Messungen zählen, ob eine Antwort wie eine Verweigerung aussieht („Ich kann dabei nicht helfen“). Produziert ein beschädigtes Modell Buchstabensalat oder Endlosschleifen, sieht das nach „keine Verweigerung“ aus und landet in der Statistik als Sicherheitsproblem.
Ein vorregistriertes Audit von Gaurav Suresh Hadavale (NeurIPS 2026) prüfte NF4, das 4-Bit-Format der Bibliothek bitsandbytes, an Qwen3-4B und Llama-3.1-8B in 10 Sprachen. In den ressourcenarmen Sprachen waren 91,9 Prozent der Antworten von Llama in NF4 unbrauchbar, und keine der 945 Antworten enthielt bei blinder Prüfung verwertbare schädliche Hilfe. Bei Qwen liefen schon im BF16-Original 40,2 Prozent der Antworten in Schleifen, in NF4 waren es 50,5 Prozent. Nach dem Herausrechnen der kaputten Ausgaben fand das Audit keinen sprachspezifischen Sicherheitseffekt. Die Sprachfähigkeit selbst litt dagegen messbar, von minus 9,4 Punkten auf Englisch bis minus 13,7 in ressourcenarmen Sprachen. Werte speziell für Deutsch nennt die Zusammenfassung nicht.
Dasselbe Muster zeigt sich anderswo. Im Chimeraforge-Bericht TR134 kommt Llama-3.2-1B bei Q2_K per Textfilter auf 36,8 Prozent Verweigerungen, per KI-Bewerter auf 97,7 Prozent. Der Bericht vermutet „verstümmelte Ausgaben“ als Grund. Eine Faktorstudie von Conscious Engines (arXiv 2606.29581) hält Standard-Quantisierung für „annähernd sicherheitsneutral“, sieben von acht Modellen blieben mit AWQ INT4 innerhalb von etwa 1,6 Punkten. Nebenbei stellten die Autoren fest, dass der Standard-Export für Qwen3-4B und Llama-3.2-3B komplett kaputte Ausgaben lieferte und neu erzeugt werden musste.
Ab wann es wirklich riskant wird
Am deutlichsten sind die Effekte bei 2 Bit. Die nicht begutachteten Chimeraforge-Berichte (Autorenangabe „Research Team“) melden für Mehrrunden-Jailbreaks bei Q2_K einen mittleren Angriffserfolg von 83,8 Prozent für Qwen2.5-1.5B, bei Q4_K_M sind es 55,5. Für Llama-3.2-1B lauten die Werte 61,5 gegenüber 5,8 Prozent. Bei Many-Shot-Angriffen, bei denen man dem Modell Dutzende Beispieldialoge vorsetzt, erreichte Qwen2.5-1.5B in Q2_K mit 128 Beispielen 99 Prozent. Allerdings kam dasselbe Modell schon in Q8_0 auf 40 Prozent, und Llama-3.2-3B blieb in Q2_K bei 3,8 Prozent. Die Übereinstimmung zwischen Textfilter und KI-Bewerter war in TR139 schwach (κ = 0,10).
Deutlicher werden Laborstudien mit anderen Verfahren. Q-resafe (ICML 2025) misst bei Llama-2-7B-Chat einen Anstieg des Angriffserfolgs von 0,3 Prozent im Original auf 16,9 (LLM-QAT) bis 42,4 Prozent (AWQ) in INT4. Eine gezielte Nachschulung von rund 1,2 GPU-Stunden drückte ihn wieder auf 1,8 Prozent. Die Seoul National University zeigt mit CAQ, dass einfaches Runden bei W4A4 (auch die Zwischenwerte nur in 4 Bit) den SafetyBench-Wert von Llama-3.1-8B von 62,6 auf 37,5 senkt. Ihr Verfahren hält 60,1. W4A4 ist allerdings deutlich aggressiver als übliche GGUF-Dateien.
Davon zu trennen ist ein Angriff: Forscher der ETH Zürich zeigen in „Mind the Gap“ (ICML 2025), dass man ein Modell bauen kann, das in voller Genauigkeit harmlos wirkt und erst als GGUF-Kopie bösartig wird, etwa mit 88,7 Prozent mehr unsicherem Code. Das ist kein Zufallseffekt, sondern Sabotage.
Was du selbst prüfen kannst
- Kalibrierung ist eine Blackbox. Imatrix-Dateien, also Statistiken aus Kalibriertexten, mit denen llama.cpp wichtige Gewichte genauer rundet, sind bei Unsloth und bartowski auf Chat und Werkzeugnutzung ausgelegt. Unslotys Datensatz ist laut einem GitHub-Issue nicht öffentlich. Hinweise darauf, dass Sicherheitsverhalten dabei berücksichtigt wird, haben wir nicht gefunden. Kaya testete Q4_K_M ohne Imatrix.
- Vergleiche mit dem Original. Stelle dieselben Fragen mit Temperatur 0 an deine Kopie und an Q8_0 oder BF16. Nimm Fragen aus einem öffentlichen Testsatz und harmlose Fragen aus XSTest, die nicht verweigert werden sollten. Laut Kaya hat keine 8-Bit-Kopie die Quoten signifikant verändert.
- Lies die Antworten. Schleifen und Kauderwelsch sind ein Qualitätsproblem, kein Jailbreak.
- Verlass dich nicht auf Perplexity oder KL-Divergenz. Beide Studien zeigen Verhaltensänderungen ohne messbaren Qualitätsverlust.
- Lade nur aus vertrauenswürdigen Quellen.
Einordnung
Unsere Einschätzung: Für den Alltag mit Q4_K_M bis Q8_0 gibt es bislang keinen Beleg für einen systematischen Sicherheitsverlust. Es gibt aber auch keine Garantie, denn jede Kopie kann in eine eigene Richtung kippen, mal unsicherer, mal übervorsichtig. Die großen Prozentzahlen aus Schlagzeilen stammen vor allem von AWQ, GPTQ, 2 Bit und sehr kleinen Modellen, und teils gehen sie auf kaputte Ausgaben zurück. Q2_K und kleiner sind für alles, was Fremde nutzen, riskant. Offen bleibt fast alles oberhalb von 8 Milliarden Parametern, bei MoE-Riesen mit 2-Bit-Experten und in deutscher Sprache. Untersucht hat das bisher niemand.
Quellen
- arXiv: Is 4-Bit Quantization More Than Noise to a Chat Model's Safety Behaviour? (Kaya, UBC) arxiv.org
- arXiv HTML-Volltext 2611.22186 arxiv.org
- GitHub: egekaya1/qrefusal github.com
- arXiv: Quality Is Not a Safety Proxy Under Quantization (Kadadekar) arxiv.org
- Universidade do Porto: ChaosAthena (Flávio Lobo Vaz), Volltext-PDF repositorio-aberto.up.pt
- Repositório Aberto U.Porto: Eintrag ChaosAthena repositorio-aberto.up.pt
- NeurIPS 2026: Quantization and Multilingual Safety (NF4-Audit) neurips.cc
- arXiv: Q-resafe arxiv.org
- arXiv: Safety-Preserving PTQ via Contrastive Alignment Loss (CAQ) arxiv.org
- arXiv: Joint Effect of Quantization and Sampling Temperature on LLM Safety arxiv.org
- arXiv: Mind the Gap – A Practical Attack on GGUF Quantization arxiv.org
- Chimeraforge TR134: Alignment Robustness Under Quantization (nicht begutachtet) chimeraforge.vercel.app
- Chimeraforge TR139: Multi-Turn Jailbreak Under Quantization (nicht begutachtet) chimeraforge.vercel.app
- Chimeraforge TR140: Many-Shot Jailbreak Under Quantization (nicht begutachtet) chimeraforge.vercel.app
- GitHub: llama.cpp quantize README github.com
- GitHub-Issue: Unsloth Calibration Dataset veröffentlichen github.com
- Unsloth Dynamic 2.0 GGUFs Dokumentation docs.unsloth.ai
- Runtimewire: bartowski imatrix v6 dataset runtimewire.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.