Taobao veröffentlicht Mini-KI fürs Handy: 0,3 Milliarden Parameter, 350 Token pro Sekunde

Worum es geht

Das MNN-Team des chinesischen Onlinehändlers Taobao (Alibaba-Gruppe) hat am 6. November 2026 das Sprachmodell MNN-Pocket-0.3B als Open Source veröffentlicht. MNN ist die hauseigene Inferenz-Engine des Teams, also die Software, mit der KI-Modelle direkt auf Smartphones und anderen Geräten laufen. Das neue Modell hat nur etwa 0,3 Milliarden Parameter und ist gezielt für Apps auf dem Handy gebaut. Es soll schnell antworten, wenig Speicher belegen und den Akku kaum belasten.

Das Team spricht von einem „App-nativen Großmodell“. Gemeint ist eine Sprach-KI, die direkt in einer App wie Taobao steckt und ohne Internetverbindung funktioniert. Nach Herstellerangaben läuft das Modell auf einem iPhone 18 Pro vollständig offline mit durchschnittlich etwa 350 Token pro Sekunde. Ein Token entspricht ungefähr einem Wortteil. Das ist schneller, als die meisten Cloud-Chatbots ihren Text ausgeben.

Die vier Designziele

Das Team hat vorab vier Ziele festgelegt:

• Tempo: Mehr als 200 Token/s beim Decoding, also beim Erzeugen der Antwort Wort für Wort. Als Maßstab dienten schnelle Cloud-Dienste.
• Speicher: Der Arbeitsspeicher soll in der Spitze unter 300 MB bleiben. Die Begründung: Selbst ein Handy mit 8 bis 16 GB RAM teilt diesen Speicher mit dem System und vielen anderen Apps. Wenn für das Modell etwa 500 MB eingeplant sind, bleibt bei 300 MB Spitzenverbrauch noch Luft für längere Texte und die Einbindung in die App.
• Energie: Eine typische Anfrage (512 bis 1.024 Token rein, 128 Token raus) soll höchstens ein Zehntausendstel der Akkuenergie kosten. 100 Anfragen verbrauchen dann höchstens 1 Prozent des Akkus.
• Leistung: In den Einsatzbereichen, für die es gedacht ist, soll das Modell so gut sein wie ein Modell mit 8 Milliarden Parametern. Schwerpunkte sind Chinesisch und Englisch, Allgemeinwissen, Mathe, Code und vor allem Instruction Following, also das genaue Befolgen von Anweisungen.

Wie das Modell so klein und schnell wurde

Zuerst bestimmte das Team die Größe. Es testete dichte Modelle (Dense-Modelle, bei denen für jedes Wort alle Teile des Netzes rechnen) von etwa 50 Millionen bis 1,3 Milliarden Parametern auf einem iPad Pro M5. Etwa 300 Millionen Parameter war die größte Größe, die beide Vorgaben gleichzeitig erfüllte: unter 300 MB Speicher und über 200 Token/s.

Danach ging es um die Form des Netzes bei gleicher Größe. Mehr Schichten von 16 auf 28 machten das Modell besser. Bei 36 Schichten stiegen die Benchmark-Werte nicht weiter, die Geschwindigkeit sank aber von 355 auf 323 Token/s. Das Team entschied sich deshalb für 28 Schichten und Grouped Query Attention (GQA). Bei dieser Technik teilen sich mehrere Teile des Aufmerksamkeitsmechanismus dieselben Zwischenspeicher, was Speicher und Rechenzeit spart.

Ein weiterer Hebel war das Vokabular. Als Grundlage diente der Tokenizer von Qwen3, also das Werkzeug, das Text in Tokens zerlegt. Sein Wortschatz wurde von etwa 151.000 auf 64.000 Einträge verkleinert, rund 57 Prozent weniger. Weil das Modell vor allem Chinesisch und Englisch können soll, nahm das Team in Kauf, dass andere Sprachen weniger effizient zerlegt werden. Dafür sinken der Speicherbedarf und der Rechenaufwand für jedes erzeugte Token.

Für den Einsatz auf Geräten wird das Modell auf INT4 quantisiert, also verkleinert, indem seine Zahlen gröber gespeichert werden. Konkret heißt das W4A16 mit QAT (quantization-aware training): Die Gewichte haben 4 Bit, die Aktivierungen 16 Bit, und das Modell wurde schon im Training auf diese Verkleinerung vorbereitet, damit es dabei weniger Qualität verliert.

Zahlen und Benchmarks

Alle Werte stammen vom Hersteller. Gemessen wurde mit MNN 3.6.2 und INT4: einmal aufwärmen, fünfmal messen, Median nehmen.

Prefill bezeichnet das Einlesen der Eingabe, Decoding das Erzeugen der Antwort. Laut Team ist die Datei damit rund 49 Prozent kleiner und der Spitzenspeicher rund 47 Prozent niedriger als bei Qwen3-0.6B. Beim Decoding ist das Modell etwa 1,63-mal so schnell.

Den Stromverbrauch hat das Team auf einem OnePlus 13 (Snapdragon 8 Elite) gemessen: CPU mit 4 Threads, 1.024 Token Eingabe, 128 Token Ausgabe. Nach Abzug des Ruheverbrauchs kostete eine Anfrage im Schnitt etwa 2,7 Joule. Bei einem Akku mit 6.000 mAh ergeben 100 solche Anfragen etwa 0,3 Prozent der Akkuladung, deutlich weniger als das selbst gesetzte Ziel von 1 Prozent.

Bei den Fähigkeiten nennt der technische Bericht folgende Werte: IFEval (englisches Instruction Following) 73,20 und IFEval-zh (chinesische Version, vom Team selbst erstellt) 74,59. Das sind jeweils die besten Werte unter den verglichenen Modellen. Im Schnitt über 11 Tests zu Wissen, Logik, Mathe, Code und Anweisungsbefolgung kommt das Modell auf 50,00 Punkte. Laut Bericht liegt es damit vor gleich großen Modellen und auch vor größeren wie MiniCPM4-0.5B und Qwen3-0.6B. Weitere Einzelwerte: MGSM-zh (chinesische Matheaufgaben) 51,20 und HumanEval (Programmieren) 53,66.

Sechs Varianten für unterschiedliche Zwecke

Das Team veröffentlicht das Modell in mehreren Varianten, von der Forschung bis zum Einsatz in Apps:

Spekulatives Decoding funktioniert so: Ein sehr kleines Entwurfsmodell rät mehrere Tokens im Voraus, und das eigentliche Modell prüft sie in einem Durchgang. Liegt der Entwurf richtig, geht die Ausgabe deutlich schneller. Die Dec-Variante wählt mit einem eigenen Entscheidungskopf aus vorgegebenen Antworten aus, statt freien Text zu schreiben. Das passt zum Beispiel für Einordnungs- oder Auswahlaufgaben in einer App.

Was du zum Ausprobieren brauchst

Das Modell ist so klein, dass praktisch jedes aktuelle Gerät reicht. Die Version für Endgeräte ist 173 MB groß und braucht im Betrieb laut Hersteller etwas mehr als 200 MB zusätzlichen Speicher. Eine Grafikkarte brauchst du nicht. Auf einem normalen Laptop-Prozessor, einem Mac mit Apple Silicon oder in Google Colab läuft es ohne Probleme. Die gemessenen Höchstwerte erreichst du aber nur mit der MNN-Engine auf passender Hardware: Metal auf Apple-Geräten, OpenCL oder CPU auf Android. Auf dem PC lassen sich vermutlich die Varianten Base, SFT und Instruct mit üblichen Werkzeugen wie Hugging Face Transformers nutzen. Die Quelle sagt dazu aber nichts Konkretes. Ob es GGUF-Dateien für llama.cpp oder Ollama gibt, ist ebenfalls unklar.

Einordnung

MNN-Pocket-0.3B ist kein Konkurrent für große Chatbots. Es ist ein Werkzeug für App-Entwickler, die KI-Funktionen offline, schnell und sparsam ins Handy bringen wollen, etwa für Suchanfragen, Formulare, Zusammenfassungen oder Auswahlaufgaben. Das Besondere ist nicht ein einzelner Benchmark-Wert, sondern dass alles zusammen optimiert wurde: Modellgröße, Vokabular, Quantisierung und Engine wurden gemeinsam auf echte Geräte abgestimmt. Die Messungen zu Speicher und Strom gehen auch weiter als bei vielen anderen Veröffentlichungen.

Einschränkungen gibt es trotzdem. Alle Zahlen stammen vom Hersteller selbst, und den chinesischen Test IFEval-zh hat das Team selbst entwickelt. Das Ziel, so gut wie ein 8B-Modell zu sein, bezieht sich nur auf „bestimmte Geschäftsszenarien“ und ist für allgemeine Aufgaben nicht belegt. Ein Modell mit 0,3 Milliarden Parametern hat wenig Platz für Wissen. Bei Fakten muss man mit Fehlern und erfundenen Angaben rechnen. Deutsch und andere Sprachen wurden bewusst zurückgestellt. Die Lizenz wird in der Quelle nicht genannt. Für Entwickler und Forschende, die mit kleinen Modellen auf Geräten experimentieren, ist es trotzdem ein interessanter neuer Ausgangspunkt, zumal die Base- und SFT-Versionen mit veröffentlicht werden.