Ternary Bonsai 2: 9-Milliarden-Bildmodell schrumpft auf 2,42 GB

Worum es geht

Das KI-Unternehmen Prism ML (auch PrismML geschrieben) hat am 15. Oktober 2026 die Modellfamilie Ternary Bonsai 2 in den Größen 2B, 4B und 9B veröffentlicht. Die Modelle sind auf Alltagsgeräte zugeschnitten, also Smartphones, Laptops und Rechner ohne starke Grafikkarte. Am meisten Aufmerksamkeit bekommt die größte Variante, Ternary-Bonsai-2-9B. Sie basiert auf Qwen3.5-9B von Alibaba und versteht sowohl Text als auch Bilder, ist also ein Vision-Language-Modell. Das Sprachmodell darin hat rund 8,95 Milliarden Parameter und braucht in der Standardversion nur 2,42 GB auf der Festplatte. Im üblichen 16-Bit-Format (FP16) wären es etwa 17,9 GB.

Alle drei Modelle stehen unter der freien Apache-2.0-Lizenz in der Hugging-Face-Sammlung „Bonsai 2 Small“ zum Download. Laut alphasignal.ai hatte das 9B-Repository zum Zeitpunkt des Berichts über 896.000 Downloads und 3.700 Likes. Die Plattform weist aber darauf hin, dass Hugging Face auch wiederholte und automatisierte Downloads mitzählt.

Wie 9 Milliarden Parameter in 2,42 GB passen

Der Trick heißt ternäre Quantisierung. Bei der Quantisierung wird ein Modell verkleinert, indem man seine Zahlen gröber speichert. Normalerweise ist jedes Gewicht eine 16-Bit-Kommazahl. Bei Bonsai 2 kann es nur noch einen von drei Werten annehmen: −1, 0 oder +1. Damit dabei nicht zu viel Information verloren geht, teilt sich jede Gruppe von Gewichten einen gemeinsamen Skalierungsfaktor in FP16. Dieser legt fest, wie „laut“ die drei Werte in dieser Gruppe sind. Das Verfahren deckt laut alphasignal.ai fast alles ab: die Embeddings (die Übersetzung von Wörtern in Zahlen), die Attention-Projektionen, die MLP-Schichten und den sogenannten LM-Head, der am Ende das nächste Wort auswählt.

Dazu kommt eine Hadamard-Rotation. Diese mathematische Drehung ist bereits in die gespeicherten Gewichte eingerechnet. Beim Ausführen wendet die Software die passende Gegendrehung auf die Zwischenwerte (Aktivierungen) an. Das verteilt einzelne extreme Ausreißerwerte auf viele Dimensionen. Ohne diesen Schritt würden solche Ausreißer beim Runden auf drei Werte große Fehler verursachen. Spezielle Rechenroutinen (Kernels) lesen die gepackten Gewichte direkt, ohne vorher eine vollständige FP16-Kopie im Speicher anzulegen.

Die Architektur stammt unverändert von Qwen3.5. Dazu gehört eine hybride Attention: Ein Teil der Schichten nutzt eine sparsame lineare Aufmerksamkeit, der Rest die klassische, rechenintensive. Das macht das große Kontextfenster von 262.144 Tokens überhaupt erst bezahlbar, also die Textmenge, die das Modell auf einmal überblicken kann. Außerdem enthält das Modell MTP-Speculative-Decoding. Dabei sagt das Modell mehrere Tokens auf einmal voraus und prüft sie anschließend, was die Ausgabe beschleunigt. Optional gibt es einen zusätzlichen kleinen Vorhersage-Helfer namens „DFlash2 Drafter“.

Drei Dateiformate, eine wichtige Falle

Prism ML liefert das 9B-Sprachmodell in drei GGUF-Varianten aus. GGUF ist das Dateiformat, das llama.cpp und viele darauf aufbauende Programme nutzen.

Die Bildverarbeitung wird separat ausgeliefert und kommt zu diesen Größen noch hinzu. Laut alphasignal.ai gilt der Faktor 7,4 nur für die Sprachgewichte auf der Festplatte. Im Betrieb braucht das Modell mehr Speicher, weil Kontext-Zwischenspeicher, Rechenpuffer und Laufzeit-Overhead dazukommen. Wer das volle Kontextfenster von 262.000 Tokens ausreizt, braucht laut Quelle „erheblich“ mehr Speicher und muss mit spürbar längeren Wartezeiten rechnen.

Eine Warnung gibt OrcaRouter in einer Analyse zur großen Schwesterversion Ternary Bonsai 2 27B. Sie dürfte für die ganze Familie gelten: Das normale llama.cpp lehnt die Prism-eigenen Formate zwar als unbekannt ab. Ein älteres ternäres Format lädt es aber ohne Fehlermeldung und erzeugt dann flüssig klingenden Unsinn, weil die passende Rotation der Aktivierungen fehlt. Mit falscher Software bekommst du also keinen Absturz, sondern selbstbewusst falsche Antworten.

Die ganze Familie: vom Smartphone bis zum Desktop

Laut GIGAZINE hat Prism ML die drei kleinen Modelle gemeinsam veröffentlicht. Sie verbrauchen weniger als ein Neuntel des Speichers ihrer Basismodelle:

Prism ML hat die Modelle nach eigenen Angaben gezielt als lokale Assistenten optimiert. Sie sollen Anweisungen zuverlässig befolgen, nicht in Endlosschleifen geraten, passende Werkzeuge aufrufen (Tool Calling) und keine überflüssigen Ausgaben produzieren. In den Herstellerbenchmarks liegt der Leistungsverlust gegenüber den Basismodellen laut GIGAZINE nur knapp darunter, in einigen Tests sind die komprimierten Modelle sogar besser. Unabhängig überprüft sind diese Zahlen nicht.

Zur Geschwindigkeit nennt Prism ML für das iPhone 18 Pro Max bis zu 34 Tokens pro Sekunde mit dem 9B-Modell und bis zu 120 Tokens pro Sekunde mit dem 2B-Modell. Ein Demovideo zeigt das 9B-Modell auf dem iPhone bei agentischen Aufgaben, also mehrstufigen Aufgaben mit Werkzeugeinsatz. Adrien Grondin, Entwickler der kostenlosen App Locally AI, schreibt auf X:

„Das neue Bonsai 2 2B erreicht bis zu 120 Token/s auf dem iPhone 18 Pro. Es ist besser als Qwen 3.5 2B (4-bit), läuft doppelt so schnell und braucht fast nur halb so viel Speicher.“

Locally AI unterstützt alle drei Modelle bereits auf iPhone und iPad.

Was die große Schwester verrät

Im September 2026 hatte Prism ML bereits Ternary Bonsai 2 27B veröffentlicht, eine Version von Qwen3.8-27B mit 5,9 GB. Laut Prism ML erreicht sie 98,2 % der Leistung des Originals (83,9 gegenüber 85,4 Punkten im Schnitt über 20 Benchmarks). OrcaRouter hat diese Herstellerzahlen genauer aufgeschlüsselt. Bei Mathematik, Programmierung und Befolgen von Anweisungen ist der Abstand winzig. Bei Wissensfragen und Bildverständnis fällt er größer aus. Bei langen, mehrstufigen Software-Aufgaben bricht das Modell aber deutlich ein: Auf SWE-bench Verified kommt es auf 60,8 statt 80,6 Punkte, auf Terminal-Bench 2.1 auf 52,8 statt 69,7. Für die 9B-Variante liegen in den Quellen keine solchen Detailzahlen vor. Der Befund ist aber ein Hinweis darauf, wo ternäre Modelle an ihre Grenzen stoßen könnten.

Was du zum Ausprobieren brauchst

• Grafikkarte: Für die 2,42-GB-Datei reicht schon eine Karte mit etwa 4 GB VRAM, wenn du einen moderaten Kontext nutzt. Mit langen Kontexten oder mit Bildeingabe brauchst du mehr.
• Ohne Grafikkarte: Laut alphasignal.ai laufen die kleinen Dateien auch auf reinen CPU-Systemen und auf Apple Silicon. Für CPU-Betrieb sind 8 GB Arbeitsspeicher ein vernünftiges Minimum.
• Smartphone: Über die App Locally AI geht es direkt auf iPhone und iPad, ohne PC.
• Speicherplatz: 2–3 GB für das Sprachmodell, dazu die separate Bilddatei.
• Software: Für PTQ1_0 und PQ2_0 brauchst du den llama.cpp-Fork von Prism ML. Mit normalem llama.cpp oder darauf aufbauenden Tools funktioniert nur die Q2_0-Datei.

Einordnung

Ternary Bonsai 2 zeigt, wie weit sich Modelle inzwischen komprimieren lassen: Ein 9B-Modell, das Bilder versteht und einen riesigen Kontext hat, passt in knapp 2,5 GB. Damit werden lokale Assistenten auf Geräten möglich, die bisher nur deutlich schwächere Modelle schafften, vor allem auf Smartphones. Die freie Apache-2.0-Lizenz erlaubt auch die kommerzielle Nutzung.

Es gibt aber auch Schwächen. Alle Leistungszahlen stammen von Prism ML selbst. Die Analyse der 27B-Version legt nahe, dass der Durchschnittswert die Einbußen bei anspruchsvollen Agenten- und Programmieraufgaben verdeckt. Die spezielle Software-Anforderung ist eine echte Hürde, und mit dem falschen Programm drohen stillschweigend falsche Ergebnisse. Ob das Modell für deine Aufgaben taugt, zeigt am Ende nur ein eigener Test.