Baidu veröffentlicht ERNIE 5.5 Flash Base: 280-Milliarden-MoE mit offenen Gewichten

Worum es geht

Der chinesische Suchmaschinen- und KI-Konzern Baidu hat am 5. November 2026 sein neues Sprachmodell ERNIE 5.5 Flash Base (chinesisch: 文心5.5 Flash Base) als Open-Weight-Modell veröffentlicht. Die Gewichte stehen frei bei Hugging Face unter baidu/ERNIE-5.5-Flash-Base. Dazu gibt es eine Release-Seite auf ernie.baidu.com. Wie bei vielen chinesischen Veröffentlichungen kam das Modell vor der Erklärung. Laut einer Analyse des API-Anbieters OrcaRouter wurde das Repository schon am 21. Oktober angelegt. Zwischen dem 2. und 3. November kamen 128 Gewichtsdateien im FP8-Format hinzu, am 4. November die Architektur- und Benchmark-Grafiken. Eine Pressemitteilung oder Launch-Veranstaltung gab es nicht.

Wichtig ist das Wort „Base“: Das Modell ist ein Basismodell, also der Stand direkt nach dem Vortraining. Es wurde noch nicht darauf trainiert, Anweisungen zu befolgen oder zu chatten. Es setzt vorhandenen Text fort, so wie die Autovervollständigung auf dem Handy, nur viel leistungsfähiger. Die Zielgruppe sind Entwickler und Firmen, die darauf eigene, spezialisierte Modelle aufbauen wollen.

Die Eckdaten

ERNIE 5.5 Flash Base nutzt eine Mixture-of-Experts-Architektur (MoE). Das Modell besteht aus vielen spezialisierten Teilnetzen, den „Experten“. Für jedes Wort wird nur eine kleine Auswahl davon befragt, ähnlich wie in einer großen Klinik, in der nicht jeder Arzt jeden Patienten sieht. Laut Baidu und OrcaRouter gilt:

Der Kontext ist die Textmenge, die das Modell auf einmal überblicken kann. Eine Million Tokens entsprechen grob mehreren dicken Büchern. Gesehen hat das Modell im Training aber nur 128.000 Tokens. Die längere Länge ist erst für Feintuning und Inferenz vorgesehen, ob sie in der Praxis gut funktioniert, muss sich noch zeigen.

Was technisch neu ist

Laut dem chinesischen Fachportal Leiphone steht beim Design die Effizienz im Mittelpunkt. Je länger die Texte, desto mehr Rechenzeit und Grafikspeicher kosten sie. Baidu nennt mehrere eigene Verfahren:

• Latent-Gated Sparse Attention: Die Attention ist der Mechanismus, mit dem das Modell entscheidet, welche früheren Textstellen gerade wichtig sind. Baidu kombiniert zwei Varianten: 37 Schichten mit stark komprimierter Attention (HCA), die die Vorgeschichte zusammenfassen, und 6 Schichten mit MLA und sparsamer Attention, die gezielt auf einzelne frühere Stellen zugreifen. Dazu kommt eine „Low-Rank Gated Attention“. Sie nutzt vorhandene, verdichtete Zwischenwerte und spart so 75 Prozent der Gewichte für die sogenannte Gate-Projektion ein. Eine „Virtual Head Attention“ soll die Qualität verbessern und kostet bei der Inferenz kaum zusätzliche Rechenzeit.
• Multi-Router Latent MoE: Normalerweise wählt ein einzelner „Router“ aus, welche Experten zum Zug kommen. Bei ERNIE entscheiden mehrere unabhängige Router gemeinsam. So soll eine einzelne Fehleinschätzung weniger ins Gewicht fallen, während Rechenaufwand und Kommunikation gleich bleiben.
• ECHO: Viele Modelle lernen mit einem zusätzlichen Baustein, mehrere Tokens im Voraus vorherzusagen (Multi-Token Prediction, MTP). Baidu verwendet dafür laut Leiphone stattdessen die letzte Schicht des Modells selbst. Sie soll beim Planen helfen und so vor allem Logik- und Programmieraufgaben verbessern. Dieselbe Schicht kann außerdem als Entwurfsmodell für spekulatives Dekodieren dienen: Dabei schlägt ein schneller Helfer mehrere Wörter vor, und das große Modell prüft sie nur noch. Das beschleunigt die Ausgabe. OrcaRouter erwähnt allerdings zusätzlich einen 0,36 Mrd. Parameter großen MTP-Kopf, der in keiner der Parameterzahlen enthalten ist. Wie das genau zusammenpasst, geht aus den Quellen nicht klar hervor.
• Trainings-Infrastruktur: Baidu hat außerdem den verteilten Muon-Optimierer überarbeitet, ein Verfahren, das die Gewichte im Training anpasst. Dazu kommt ein neuer Attention-Rechenkern namens FlashMask-4.

Benchmarks: stark, aber vom Hersteller gemessen

Baidu vergleicht sein Modell mit drei ähnlich großen Basismodellen aus China: DeepSeek-V4-Flash-Base (284 Mrd., 13 Mrd. aktiv), Tencents Hy3-preview-Base (295 Mrd., 21 Mrd. aktiv) und Xiaomis MiMo-V2.5-Base (310 Mrd., 15 Mrd. aktiv). Laut OrcaRouter liegt ERNIE bei 24 von 30 Tests vorn. Einige Beispiele:

Verloren hat ERNIE unter anderem bei ChineseSimpleQA, HELMET-Rerank und InfiniteBench gegen DeepSeek sowie bei FullStackBench und BBH mit Gedankenkette gegen Hy3. Weitere genannte Werte sind MMLU 93,3, GPQA 60,2 (5-shot) und LiveCodeBench 40,1 (Pass@1).

OrcaRouter warnt vor falschen Vergleichen. Der LiveCodeBench-Wert von 40,1 klingt neben den 91,9 von Alibabas fertigem Modell Qwen 3.8 Flash schwach. Das eine ist aber ein untrainiertes Basismodell, das andere ein vollständig nachtrainiertes Produkt, das zudem auf einer neueren Version des Benchmarks gemessen wurde. Baidus Tabelle ist in sich vergleichbar, weil alle Modelle mit denselben Prompts und Einstellungen getestet wurden. Unabhängig nachgeprüft hat sie bisher aber niemand.

Verfügbarkeit, Lizenz und Betrieb

Die Gewichte stehen unter der „ERNIE 5.5 Flash Base Model License Agreement v1.0“. Das ist eine eigene Lizenz, die man laut OrcaRouter vor einem kommerziellen Einsatz vollständig lesen sollte. Eine API gibt es bisher nicht: Die Preisliste von Baidus Cloud-Plattform Qianfan führt ERNIE 5.5 noch nicht auf. Für den Betrieb liefert Baidu fertige Rezepte mit. Zum einen gibt es ein SGLang-Image (lmsysorg/sglang:dev-ernie-55-flash) mit Tensor-Parallelität 4, das Modell wird dabei auf vier GPUs aufgeteilt. Zum anderen läuft es mit vLLM 0.32.0 plus dem Plugin baidu/vLLM-ERNIE. Angesprochen wird es über einen Completions-Endpunkt, nicht über eine Chat-Schnittstelle.

Was du zum Ausprobieren brauchst

Auf einem normalen PC läuft das Modell nicht. Schon die FP8-Gewichte belegen grob 280 GB, in BF16 etwa das Doppelte. Baidus offizielles Rezept verteilt das Modell auf vier Rechenzentrums-GPUs. Selbst eine 4-Bit-Quantisierung, also eine verkleinerte Fassung mit gröber gespeicherten Zahlen, bräuchte grob 170 GB Grafikspeicher. Für Mac oder CPU sind bisher keine angepassten Versionen wie GGUF bekannt, auch kein Ollama-Eintrag. Theoretisch denkbar wäre ein Betrieb auf Workstations mit sehr viel Arbeitsspeicher, etwa 256 GB und mehr, sobald die Community solche Versionen baut. Konkrete Angaben dazu gibt es noch nicht. Google Colab reicht nicht aus. Realistisch nutzbar ist das Modell nur auf gemieteten Cloud-GPUs oder eigenen Servern.

Einordnung

ERNIE 5.5 Flash Base ist ein weiteres starkes Open-Weight-Basismodell aus China. Es tritt in einer dicht besetzten Klasse von rund 300 Mrd. Parametern mit 13 bis 21 Mrd. aktiven Parametern an. Interessant ist es vor allem für Forschungsteams und Firmen, die ein eigenes Modell feintunen wollen und dafür eine leistungsfähige, effiziente Grundlage suchen. Auch die vielen offengelegten Architekturdetails sind für sie wertvoll. Für Endnutzer bringt das Modell vorerst wenig: Es gibt keine Chat-Version, keine API und keine Version für Heim-Hardware. Die Benchmarks stammen ausschließlich von Baidu. Ob eine nachtrainierte Fassung mit Modellen wie Qwen 3.8 Flash oder DeepSeek mithalten kann, ist bisher offen.