Kolibri: Aleph Alphas offenes deutsch-englisches MoE-Modell mit 78 Mrd. Parametern

Worum es geht

Kolibri ist ein englisch-deutsches Sprachmodell, das laut Technical Report als Open Weights unter der Apache-2.0-Lizenz veröffentlicht wird. Hinter dem Bericht steht nach der AI-Zusammenfassung von alphaXiv Aleph Alpha. Das Modell ist für „souveränen“ und spezialisierten Einsatz gebaut, mit Schwerpunkt auf Deutsch und regulierten Bereichen wie öffentlicher Verwaltung, Industrie und Luftfahrt. Die Autoren betonen, dass sie den gesamten Entwicklungsprozess kontrollieren: Daten, Architektur, Trainingsinfrastruktur, Post-Training und Evaluation. Den Link zu den Gewichten nennen die Quellen nicht; ein Hugging-Face-Repo ist daher unbekannt.

Architektur: viel Kapazität, wenig Rechenaufwand

Kolibri ist ein Mixture-of-Experts-Modell (MoE): Jedes Token läuft nur durch ausgewählte Experten-Netzwerke statt durch alle Parameter. Insgesamt sind es 78,1 Mrd. Parameter (grob gesagt die beim Training gelernten Stellschrauben), aktiv pro Token aber nur 3,46 Mrd., also 4,4 %. Jede MoE-Schicht wählt sechs von 384 geroutete Experten und nutzt zusätzlich einen geteilten Experten.

Ein kontrollierter Sparsity-Test hielt die aktiven Parameter bei etwa 3,4 Mrd. und variierte die Gesamtgröße. Von 42,1 auf 82,3 Mrd. verbesserten sich alle Qualitätsmetriken, von 82,3 auf 122,6 Mrd. nur noch wenig. Beim Decoding waren die Varianten mit 82,3 und 122,6 Mrd. bei 4k Kontext 13 % bzw. 32 % langsamer als die kleinste, bei 256k Kontext 4 % bzw. 12 %. Auf zwei H100-GPUs passten bei der 122,6-Mrd.-Variante drei gleichzeitige Anfragen mit 256k Tokens, bei der 82,3-Mrd.-Variante 18. Daher zielten die Autoren auf rund 80 Mrd. Gesamtparameter.

Zweiter Baustein ist hybride Attention: 10 Blöcke mit voller Attention, 40 mit Sliding-Window-Attention über die 512 vorangehenden Tokens. In einem Proxy-Vergleich bei gleichem Trainingsaufwand verbesserten sich laut Autoren die Long-Context-Werte ohne Verlust bei Pre-Training-Benchmarks. Allerdings unterschieden sich die verglichenen Modelle auch in Trainingslänge und Positionskodierung.

Training

Trainiert wurde mit 24 Billionen Tokens über Pre-Training, Mid-Training und Kontexterweiterung. Deutsch macht mehr als 20 % aus. Um diesen Anteil zu erreichen, kamen zu vorhandenen deutschen Datensätzen mehr als 2 Billionen deutsche Tokens hinzu, aus einer eigenen Web-Kuratierungs-Pipeline und synthetischer Erzeugung. Das Post-Training kombiniert Supervised Fine-Tuning mit kuratierten deutschen und englischen Daten mit Reinforcement Learning auf über 1,2 Mio. intern kuratierten Aufgaben (Reasoning, Tool-Nutzung, Instruktionsbefolgung, Code, Retrieval).

Kolibri baut auf Kolibri Origin auf, einer früheren Iteration, die die Pipeline im großen Maßstab validierte. Beide stammen aus der „Model Factory“, die Daten, Experimente, Training, Evaluation und Deployment über versionierte Workflows verbindet. Das soll Nachvollziehbarkeit und Wiederholbarkeit sichern und wurde mit Blick auf Regulierung entworfen – laut alphaXiv aber ohne Zertifizierung oder Garantie für das Verhalten nachgelagerter Systeme.

Ergebnisse

„Overall“ ist der ungewichtete Mittelwert der Kategorien-Durchschnitte; Englisch mittelt acht Kategorien, Deutsch die vier Kategorien mit deutschen Benchmarks. Der Durchsatz wurde auf acht B200-GPUs bei 16k Kontext gemessen, in UTF-8-Bytes pro Sekunde und GPU, mit FP8-Gewichten und -KV-Cache, während die Qualitätswerte der Baselines meist aus BF16-Checkpoints stammen. Das ist ein Proxy für hohe Parallelität, kein Maß für Latenz, Gesamtkosten oder Energie.

Unter den getesteten offenen Modellen liegt Kolibri auf der Pareto-Grenze: Kein Modell bietet bei gleichem Durchsatz höhere Qualität oder bei gleicher Qualität höheren Durchsatz. Gegenüber Qwen3.5 35B-A3B (3 Mrd. aktiv) liegt Kolibri 0,8 Punkte höher in Englisch und 1,0 in Deutsch; beide liegen auf der Grenze. Das dichte Qwen3.8 mit 27 Mrd. Parametern erzielt insgesamt mehr, aktiviert aber fast achtmal so viele Parameter.

Was du zum Ausprobieren brauchst

Die Quellen nennen keine Anforderungen für Endnutzer. Als grobe Schätzung: 78,1 Mrd. Parameter brauchen bei 4-bit-Quantisierung etwa 45–50 GB Speicher, also mehrere Consumer-GPUs oder viel Arbeitsspeicher mit Offloading. Wegen nur 3,46 Mrd. aktiver Parameter ist die Generierung vergleichsweise schnell, sofern die Gewichte im RAM liegen. Die Benchmarks des Berichts liefen auf B200- und H100-Servern.

Einordnung

Kolibri ist ein seltenes offenes Modell mit explizitem Deutsch-Fokus unter permissiver Lizenz, was für Behörden und Industrie mit Datenschutz- und Souveränitätsanforderungen relevant ist. Die effiziente MoE-Auslegung adressiert Betriebskosten. Kritisch bleibt: Alle Zahlen stammen aus dem eigenen Bericht; die Verbesserung gegenüber Kolibri Origin hat keine einzelne Ursache, da viele Stufen gleichzeitig geändert wurden. Die Pareto-Aussage gilt nur für die ausgewählten Modelle und das gewählte Messsetup, und stärkere dichte Modelle wie Qwen3.8 schneiden insgesamt besser ab. Ob das Modell in der Praxis überzeugt, müssen unabhängige Tests zeigen.