Bonsai 27B: 27-Milliarden-Modell schrumpft auf 3,9 GB – mit Haken beim Speicher

Worum es geht

Wer KI-Sprachmodelle auf dem eigenen Rechner laufen lässt, stößt meist schnell an eine Grenze: den Speicher der Grafikkarte (VRAM). Ein Modell mit 27 Milliarden Parametern braucht in normaler 16-Bit-Genauigkeit (FP16) allein für die Gewichte rund 54 GB. Das passt auf keine Grafikkarte für Privatkunden. Das US-Start-up PrismML, eine Ausgründung von Forschern des California Institute of Technology (Caltech), hat genau dieses Problem angegangen. Sein Modell Bonsai 27B quetscht die Gewichte eines 27B-Modells auf etwa 3,9 GB zusammen.

Bonsai 27B ist allerdings kein neu trainiertes Modell. Es ist eine extrem komprimierte Fassung von Qwen3.6-27B des chinesischen Konzerns Alibaba, die Architektur bleibt gleich. Laut ad-hoc-news erschien es im Juli 2026 in zwei Varianten: als 1-Bit-Version mit 3,9 GB und als ternäre Version mit 5,9 GB. Das Tech-Portal MakeUseOf hat die 1-Bit-Version jetzt ausführlich getestet und kommt zu einem gemischten Urteil. Gleichzeitig hat PrismML mit Bonsai 2 27B schon einen Nachfolger herausgebracht.

Der Trick: ein Bit pro Gewicht

Normalerweise speichert man jede Zahl im Modell mit 16 Bit. Bonsai nutzt das Format Q1_0_g128, eine Form der Quantisierung: Das Modell wird kleiner, weil seine Zahlen gröber gespeichert werden. Hier ist es so grob wie überhaupt möglich. Jedes Gewicht besteht nur noch aus einem Vorzeichen-Bit, 0 steht für negativ und 1 für positiv. Je 128 Gewichte teilen sich einen gemeinsamen Skalierungsfaktor in FP16, der bestimmt, wie groß der Wert tatsächlich ist. Unterm Strich ergibt das etwa 1,125 Bit pro Gewicht. Laut PrismML ist das rund 14,2-mal kleiner als FP16.

PrismML teilt dabei auch gegen die Konkurrenz aus: Ein beliebter "2-Bit"-Build von Qwen3.6-27B komme in Wahrheit auf durchschnittlich 2,8 Bit pro Gewicht und belege 9,4 GB.

Eine Frage bleibt offen: Wie PrismML für jedes Gewicht entscheidet, in welche Richtung das Vorzeichen zeigt, verrät die Firma nicht. Laut MakeUseOf hat eine unabhängige Untersuchung bestätigt, dass die veröffentlichten Gewichte echt sind und gut funktionieren. Sie stellte aber auch fest, dass keines der Whitepaper die Methode erklärt. Wer einfach selbst ein Modell im öffentlichen Format auf 1 Bit herunterrechnet, bekommt ein Modell, das komplett versagt. Das eigentliche Know-how steckt also im unveröffentlichten Verfahren.

Wie viel Leistung übrig bleibt

PrismML hat 15 Benchmarks im Denkmodus laufen lassen. In diesem Modus überlegt das Modell erst ausführlich, bevor es antwortet. Alle Zahlen stammen vom Hersteller:

Das Modell behält also etwa 89,5 Prozent der Originalleistung. Mathe und Code halten sich gut. Deutlich schwächer wird es beim Befolgen von Anweisungen und beim Tool-Calling, also wenn das Modell selbstständig externe Werkzeuge wie Suchfunktionen oder Programme aufruft. PrismML hält dagegen, dass herkömmliche 2-Bit-Builds auf hinterhältigere Weise scheitern. Die Variante IQ2_XXS etwa komme auf 88,93 Punkte im Wissenstest MMLU-Redux, aber nur auf 57,5 im Mathewettbewerb AIME26. Solche Schwächen fallen in allgemeinen Tests nicht unbedingt auf.

Wer etwas mehr Speicher hat, kann zur ternären Version greifen. Ternär heißt, dass jedes Gewicht drei Werte annehmen kann: negativ, null oder positiv. Diese Version behält laut MakeUseOf 94,6 Prozent der Originalleistung.

4 GB Gewichte sind nicht 4 GB Bedarf

An dieser Stelle wird MakeUseOf deutlich: Die Gewichte belegen nur 3,79 GB, aber die Grafikkarte muss noch mehr halten. Dazu gehören der KV-Cache, das Kurzzeitgedächtnis des Modells für den bisherigen Gesprächsverlauf, und Laufzeitpuffer. PrismML selbst nennt diese Spitzenwerte:

• 4.000 Token Kontext, KV-Cache in FP16: 5,2 GB
• 100.000 Token Kontext, KV-Cache in FP16: 11,6 GB
• 100.000 Token mit 4-Bit-KV-Cache: 6,86 GB
• Volles Kontextfenster von 262.000 Token mit 4-Bit-KV-Cache: 9,4 GB

Dass auch lange Kontexte so wenig Speicher kosten, liegt an der Architektur: Nur 16 der 64 Schichten des Modells halten einen vollständigen Attention-Cache. Für einen bequemen Betrieb braucht man laut MakeUseOf trotzdem eher eine Karte mit 6 oder 8 GB.

Der Tester hat es auf einem Laptop mit einer GTX 1650 Ti (4 GB) ausprobiert. LM Studio schlug sofort eine teilweise Auslagerung auf die GPU vor und stellte nur vier Schichten auf die Grafikkarte. Wollte er bei 4.096 Token Kontext das ganze Modell auf die GPU legen, brach das Laden mit der Fehlermeldung "failed to allocate buffer for kv cache" ab. Erst mit 50 Prozent Auslagerung lief es. Das belegte rund 3,6 GB VRAM, der Rest wurde auf dem Prozessor (CPU) berechnet.

Schnell auf GPU und Mac, langsam auf der CPU

PrismML meldet für Macs 26 Token pro Sekunde auf einem M4 Pro, 44,2 auf einem M5 Pro und 66,4 auf einem M5 Max. Mit dem optionalen Zusatz DSpark steigt eine H100-Rechenzentrumskarte von 104,8 auf 143,8 Token pro Sekunde. DSpark nutzt Speculative Decoding: Ein kleiner Helfer rät mehrere Wörter vor, das große Modell prüft sie nur noch. Laut ad-hoc-news lief das Modell auf einem iPhone 17 Pro mit rund elf Token pro Sekunde.

Unabhängige Tests fallen nüchterner aus. Ein Tester von DataCamp maß auf einer RTX 5070 Ti etwa 92 Token pro Sekunde, bei 100.000 Token Kontext belegte das Modell rund 11,9 GB VRAM. Für die Arbeit als Coding-Agent fand er eine normale Q4-Version von Qwen3.6-27B trotzdem zuverlässiger. Auf einem Ryzen 5 5600 ohne Grafikkarte kam Big Iron auf 6,7 Token pro Sekunde beim Schreiben und nur 13 Token pro Sekunde beim Einlesen von Eingaben. Bei Fragen rund ums Homelab erzielte Bonsai 32 von 40 Punkten, das viel kleinere Qwen 3-4B dagegen 35. Weil llama-server Eingaben zwischenspeichert, stieg der Speicherverbrauch auf 16,3 GB.

Noch langsamer war es auf dem Laptop von MakeUseOf: Mit halbem Modell auf der GTX 1650 Ti und dem Rest auf einem Core i5-9300H kamen etwa 4 Token pro Sekunde heraus, ganz ohne GPU nur 2,4. Bei einer Eingabe von rund 1.600 Token dauerte es fast eine Minute bis zum ersten Wort. Eine einfache Frage zur Ankunft eines Zuges beantwortete Bonsai richtig, dachte aber über drei Minuten lang nach.

Der Nachfolger: Bonsai 2 27B

Am 17. September 2026 hat PrismML per Pressemitteilung Ternary Bonsai 2 27B vorgestellt. Er basiert auf Qwen3.8 27B, hat 27,8 Milliarden Parameter, versteht Text und Bilder und wurde laut Hersteller mit Googles TPU v5 trainiert. Die Datei ist 5,9 GB groß, mehr als neunmal kleiner als das Original. Über 20 Benchmarks kommt das Modell laut PrismML auf 83,9 Punkte gegenüber 85,4 beim Original. Das sind 98,2 Prozent, der erste ternäre Bonsai lag bei rund 95 Prozent. Auf einer RTX 5090 soll es bis zu 143 Token pro Sekunde schaffen. Das Modell steht kostenlos unter der freien Lizenz Apache 2.0 zum Download bereit.

„Bonsai 27B hat bewiesen, dass leistungsfähige Modelle nicht auf die Cloud beschränkt sein müssen“, sagt PrismML-Gründer und CEO Babak Hassibi.

PrismML wird unter anderem von Khosla Ventures, Cerberus, Google und Samsung unterstützt. Laut ad-hoc-news sammelte die Firma umgerechnet rund 14,7 Millionen Euro ein.

Was du zum Ausprobieren brauchst

• Grafikkarte: Theoretisch reichen 4 GB VRAM für die Gewichte, praktisch solltest du 6 bis 8 GB haben. Mit 4-Bit-KV-Cache und sehr langem Kontext sind es bis zu 9,4 GB. Ideal sind 8- oder 12-GB-Karten, auf denen ein normales 27B-Modell gar nicht laufen würde.
• Mac: Apple Silicon funktioniert gut (Metal-Unterstützung). Laut PrismML sind es 26 Token pro Sekunde schon auf einem M4 Pro.
• Nur CPU: Das geht, ist aber sehr langsam (2 bis 7 Token pro Sekunde, lange Wartezeiten bei langen Eingaben). Plane mindestens 16 GB Arbeitsspeicher ein.
• Speicherplatz: Etwa 5 GB. In LM Studio sind es 4,73 GB, weil die Bildkomponente (0,93 GB) mitgeladen wird.
• Software: LM Studio (Mindestangabe dort: 4 GB RAM) oder ein aktuelles llama.cpp. Der eigene Fork von PrismML ist auf der CPU schneller.

Einordnung

Bonsai 27B zeigt, wie weit extreme Quantisierung inzwischen gekommen ist: Ein Denkmodell der 27B-Klasse auf einem normalen Laptop war vor Kurzem noch undenkbar. Die Werbezahl "4 GB" stimmt allerdings nur für die Gewichte, nicht für den tatsächlichen Speicherbedarf. Fast alle Benchmarks stammen von PrismML selbst, und das Verfahren bleibt geheim. Unabhängige Tests zeigen, dass eine gewöhnliche 4-Bit-Version für agentische Programmieraufgaben zuverlässiger ist, wenn man genug Speicher hat. Auch PrismML räumt ein, dass lange agentische Coding-Aufgaben über viele Dateien keine Stärke dieses Modells sind. Wer heute einsteigen will, sollte sich auch Bonsai 2 27B ansehen: Er ist zwar 2 GB größer, verliert laut Hersteller aber deutlich weniger Qualität.