China Telecoms Xing4.0-29B-A4B: Agenten-Modell für eine Grafikkarte jetzt als GGUF

Worum es geht

China Telecom Artificial Intelligence Technology, kurz TeleAI, ist die KI-Forschungsabteilung des chinesischen Telekommunikationskonzerns China Telecom. Sie hat Xing4.0-29B-A4B veröffentlicht, ein Sprachmodell, das der Hersteller als „leichtgewichtiges agentisches Großmodell“ beschreibt. „Agentisch“ heißt hier: Das Modell soll nicht nur Fragen beantworten, sondern Aufgaben selbst in Einzelschritte zerlegen, externe Werkzeuge aufrufen, lange Dokumente lesen und am Ende ein fertiges Ergebnis liefern.

Die offizielle Pressemitteilung (über GlobeNewswire, unter anderem bei Business Insider und Yahoo Finance) stammt vom 22. September 2026. Die Gewichte liegen bei Hugging Face und GitHub unter dem Namen XingChen-AGI. Für Leute, die solche Modelle zu Hause laufen lassen, ist jetzt etwas Neues dazugekommen: Der bekannte Quantisierer bartowski hat fertige GGUF-Dateien hochgeladen. GGUF ist das Dateiformat, das llama.cpp, LM Studio, Ollama und ähnliche Programme nutzen. Damit lässt sich das Modell ohne eigenen Konvertierungsaufwand lokal starten.

Wie das Modell aufgebaut ist

Xing4.0-29B-A4B ist ein Mixture-of-Experts-Modell (MoE). Statt bei jedem Wort alle Teile des Netzes zu befragen, wählt eine Art Weiche nur wenige spezialisierte Teilnetze aus, die sogenannten Experten. Von den 29 Milliarden Parametern sind dadurch pro Token nur rund 4 Milliarden aktiv. Darauf weist auch das „A4B“ im Namen hin. Ein Token ist ein Wortstück, die Einheit, in der Sprachmodelle Text verarbeiten. Laut Hersteller antwortet das Modell deshalb auf einfache Anfragen fast sofort, kann für schwierige Aufgaben aber auf seine gesamte Kapazität zurückgreifen.

In bartowskis Modellkarte steht für den Quell-Checkpoint eine Parameterzahl von 31 Milliarden. Der Unterschied zu den offiziellen 29 Milliarden dürfte von zusätzlichen Schichten kommen: Das Modell enthält MTP-Schichten (Multi-Token Prediction), die mehrere kommende Tokens auf einmal vorhersagen. Sie dienen als eingebautes Entwurfsmodell für Speculative Decoding. Dabei rät ein schneller Helfer mehrere Wörter im Voraus, und das große Modell prüft sie in einem Durchgang. Stimmen die Vorschläge, kommt der Text deutlich schneller heraus. In llama.cpp schaltet man das mit dem Parameter --spec-type draft-mtp ein.

Das Kontextfenster ist 256.000 Tokens groß, also die Textmenge, die das Modell auf einmal im Blick behalten kann. Laut Telecoms Tech News reicht das, um ganze Software-Repositories, umfangreiche technische Dokumentation und Abhängigkeiten über mehrere Dateien hinweg zu verarbeiten. Das Modell nimmt laut Modellkarte nur Text an, Bilder versteht es nicht.

Was der Hersteller verspricht

TeleAI nennt vor allem einen Wert: 75,0 von 100 Punkten auf SWE-bench Verified. Bei diesem Test muss ein Modell echte Fehlermeldungen aus Open-Source-Projekten lösen, also den Code mehrerer Dateien untersuchen, den Fehler finden und einen funktionierenden Patch schreiben. Damit gehöre das Modell zur Spitze seiner Größenklasse. Außerdem soll es in Tests zu Funktionsaufrufen, Long-Context-Suche, Code-Generierung und zur korrekten Ausgabe im JSON-Format gut abschneiden. JSON ist ein strukturiertes Datenformat, das Programme direkt weiterverarbeiten können. Konkrete Zahlen zu diesen Tests und eine vollständige Vergleichstabelle mit Konkurrenzmodellen enthalten die vorliegenden Quellen nicht.

Im eigenen Konzern ist das Modell laut China Telecom bereits im Einsatz: in der konzernweiten Kundenservice-Plattform, wo es komplexe Anfragen mit mehrstufigem Denken und Werkzeugaufrufen bearbeitet, und in Assistenzsystemen für Geräte in Privathaushalten. Dadurch seien die Quote der beim ersten Kontakt gelösten Anfragen und die Bearbeitungszeit „deutlich“ besser geworden. Belastbare Zahlen dazu nennt der Konzern nicht.

„Wir glauben, dass die Zukunft der KI nicht in immer größeren Modellen liegt, sondern darin, leistungsfähige Intelligenz für alle zugänglich, bezahlbar und überall einsetzbar zu machen“, sagte ein Sprecher von China Telecom AI.

Das Modell läuft laut Hersteller mit den gängigen Open-Source-Frameworks für Training, Inferenz und Agentenentwicklung und wurde auch auf chinesischen KI-Chips getestet. In den kommenden Monaten sollen größere Modelle der Xing4.0-Reihe folgen.

Die GGUF-Dateien im Detail

bartowski hat die Dateien mit llama.cpp-Release b12174 erstellt, und zwar mit Imatrix. Bei diesem Verfahren misst man vorab mit Beispieltexten, welche Teile des Modells besonders wichtig sind, und speichert diese beim Verkleinern genauer. Der Kalibriertext kombiniert normalen Fließtext mit Dialogen voller Werkzeugaufrufe und Denkschritte, formatiert in der Chat-Vorlage des Modells.

Neu ist ein modellspezifisches Layout. Statt starrer Standardregeln bekommen die Gewichte, auf die dieses Modell am empfindlichsten reagiert, mehr Präzision. Gemessen wurde das mit der KL-Divergenz, einem Maß dafür, wie stark die Ausgaben des verkleinerten Modells vom Original abweichen. Kleiner ist besser.

Rechnet man den Größenunterschied heraus, bringt das neue Layout bei Q4 und Q3 also kaum etwas. Bei der stärksten Kompression IQ2_XXS halbiert es die Abweichung dagegen.

Eine Auswahl der Dateien:

Die MTP-Schichten sind in allen Dateien außer Q8_0 als Q4_0 gespeichert, weil das schnell ist und den Geschwindigkeitsgewinn durch Speculative Decoding vergrößert.

Was du zum Ausprobieren brauchst

Der Hersteller spricht von nur 15 GB Grafikspeicher. Das passt zu den kleinsten 3-Bit-Varianten wie IQ3_XXS (14,43 GB) oder IQ3_XS (14,92 GB). Auf einer 16-GB-Karte bleibt damit aber kaum Platz für den Kontext. Für die empfohlene Q4_K_M (20,06 GB) brauchst du eine Grafikkarte mit 24 GB VRAM, etwa eine RTX 3090, 4090 oder 5090. Mit kleinerer Karte geht es auch: Weil nur 4 Milliarden Parameter pro Token aktiv sind, läuft ein MoE-Modell oft noch brauchbar schnell, wenn ein Teil der Experten im normalen Arbeitsspeicher liegt. Dann sollten VRAM und RAM zusammen einige GB mehr bieten als die Datei groß ist. Auch reiner CPU-Betrieb ist möglich, llama.cpp ordnet die Gewichte für ARM- und x86-Prozessoren automatisch passend um. Macs mit Apple Silicon und mindestens 32 GB gemeinsamem Speicher sind ein guter Kandidat. bartowski weist darauf hin, dass Q4_1 dort pro Watt effizienter rechnet. Rechne mit 15 bis 25 GB Speicherplatz für die Datei. Wichtig: Du brauchst llama.cpp ab Release b12174 oder ein Programm, das darauf aufbaut.

Einordnung

Xing4.0-29B-A4B tritt in einer stark besetzten Klasse an: MoE-Modelle mit rund 30 Milliarden Parametern und wenigen aktiven Parametern sind die beliebteste Größe für Agenten auf dem eigenen Rechner. Bemerkenswert ist vor allem der behauptete SWE-bench-Verified-Wert von 75. Für ein Modell mit 4 Milliarden aktiven Parametern wäre das sehr hoch. Unklar ist, unter welchen Bedingungen gemessen wurde, etwa mit welchem Agenten-Gerüst und wie vielen Versuchen. Unabhängige Messungen fehlen bisher. Auch die Berichte von Telecoms Tech News und Business Insider geben im Kern die Pressemitteilung wieder. Offen bleibt in den Quellen außerdem die Lizenz, die du vor einer kommerziellen Nutzung auf der Originalseite prüfen solltest. bartowskis Modellkarte fand keine Angaben zum Prompt-Format. Für Datenschutz-bewusste Entwickler, die einen Coding- oder Recherche-Agenten komplett lokal betreiben wollen, ist das Modell trotzdem einen Test wert.