Europas Billionen-Modell EUROPA: Genug Rechenzeit, aber nur für den Stand von 2025

Darum geht es

„EU baut Billionen-Modell“: So lautet die Kurzfassung, die seit dem 12. November die Runde macht. An diesem Tag hat das EUROPA-Konsortium im PyTorch-Blog und in einem ausführlicheren Begleitbeitrag bei Domyn beschrieben, wie es ein Sprachmodell mit fast einer Billion Parametern auf dem Supercomputer JUPITER im Forschungszentrum Jülich zum Laufen gebracht hat. Das Konsortium besteht aus dem Mailänder Unternehmen Domyn (früher iGenius) sowie den Fraunhofer-Instituten IAIS und IIS. Hinter dem Projekt steht die EU-Kommission: EUROPA hat im Juni die „Frontier AI Grand Challenge“ gewonnen, und der Preis ist kein Geld, sondern Rechenzeit.

Wir haben die Zahlen des Konsortiums nachgerechnet. Unsere These: Technisch ist das ein echter Erfolg, denn öffentliche Forschungsrechner können Training in dieser Größenordnung stemmen. Das Rechenbudget, das sich daraus ergibt, liegt aber ziemlich genau auf dem Niveau von DeepSeek-V3 und Kimi K2, und die stammen aus den Jahren 2024 und 2025.

Was in Jülich tatsächlich passiert ist

Wichtig vorab: Ein fertiges Modell gibt es nicht, und auch der eigentliche Trainingslauf hatte zum Zeitpunkt des Berichts noch nicht begonnen. Domyn schreibt, der Beitrag beschreibe den Stand „zum Zeitpunkt des Schreibens“, und manche Werte könnten sich „vor dem Start des Trainingslaufs noch ändern“. Die italienische Seite Bitmat titelte trotzdem „trainiert“. Im Text selbst ist dort aber nur von einer Machbarkeitsdemonstration „im Hinblick auf die vollständige Ausführung“ die Rede.

Getestet wurde ein Mixture-of-Experts-Modell (MoE). Das Modell besteht aus vielen spezialisierten Teilnetzen, und pro Wortbaustein (Token) arbeiten nur wenige davon. Die Eckdaten:

Die Ähnlichkeit zu Kimi K2 von Moonshot AI ist auffällig. Unsere Einschätzung: EUROPA übernimmt ein bewährtes Grundgerüst, statt bei der Architektur etwas Neues zu wagen. Für ein Projekt mit nur einem Jahr Rechenzeit ist das vernünftig.

Die eigentliche Arbeit steckte in der Anpassung an die Maschine. JUPITER ist ein Forschungsrechner, den sich Hunderte Projekte teilen. Jeder Knoten hat vier GH200-Superchips (je eine Hopper-GPU mit 96 GB plus eine Grace-CPU mit 120 GB Arbeitsspeicher). Zwischen den Knoten ist die Verbindung aber laut Domyn 36-mal langsamer als zwischen GPU und eigener CPU. Das Team hat deshalb Zwischenergebnisse in den CPU-Speicher ausgelagert (Activation Offloading), Rechenschritte des Optimierers Muon von der CPU auf die GPU verlegt (ein Optimierungsschritt dauerte danach 2,2 statt 41,7 Sekunden) und einen Speicherfehler behoben, bei dem trotz 25 bis 30 GiB freiem Grafikspeicher Anfragen scheiterten. So stieg der Durchsatz von 90 auf rund 1.300 Token pro Sekunde und GPU, ein Plus um den Faktor 14. Der Faktor sagt allerdings auch viel über den naiven Ausgangspunkt.

Die Korrekturen hat das Team bei TorchTitan und PyTorch eingereicht, darunter Hooks für das Offloading, Muon-Berechnungen auf der GPU, einen gemeinsamen RoPE-Cache und zwei PyTorch-Bugfixes. Ganz abgeschlossen ist das nicht: Die wichtige Speicher-Option soll laut Blog erst noch zu einer öffentlichen FSDP-Schnittstelle werden (PyTorch #202343). FSDP verteilt dabei die Modellteile auf alle GPUs.

Nachgerechnet: Was 1.300 Token pro Sekunde bedeuten

Geplant sind vier Datenparallel-Replikate, also vier Kopien des Trainings, die parallel verschiedene Daten verarbeiten. Jede läuft auf 384 GPUs, zusammen sind das 1.536 GH200. Daraus ergibt sich:

Die vier Monate stammen nicht von Domyn selbst. Bitmat nennt „etwa vier Monate“ als Hochrechnung für das Vortraining, laut maccus.fr berichtete die Quotidiano Nazionale dasselbe. Domyn nennt bislang weder ein Token-Budget noch einen Termin.

Zur Auslastung, oft MFU genannt (Model FLOPs Utilization, also welcher Anteil der theoretischen Rechenleistung tatsächlich in nützliche Modellrechnung fließt): Die Faustregel lautet 6 × aktive Parameter pro Token, das ergibt rund 197 Milliarden Rechenoperationen pro Token. Mal 1.293 Token/s sind das etwa 254 Billionen Operationen pro Sekunde. Bei 989 TFLOPS BF16-Spitzenleistung einer Hopper-GPU sind das rund 26 %, also grob ein Viertel. Domyn selbst nennt keinen MFU-Wert. Die Rechnung unterschätzt die echte Auslastung, denn die Aufmerksamkeitsberechnung bei 65.536 Token langen Sequenzen und das Neuberechnen von Zwischenergebnissen kommen noch hinzu. Wie viel, lässt sich ohne Angaben zur Attention-Architektur nicht sagen. Zum Vergleich: DeepSeek-V3 hat 14,8 Bio. Token in 2,664 Mio. H800-GPU-Stunden vortrainiert. Das sind rund 1.540 Token/s pro GPU bei 37 Mrd. aktiven Parametern, rechnerisch etwa 35 %. DeepSeek trainierte allerdings in FP8 und mit nur 4.000 Token Sequenzlänge.

Was „2,5 % der EuroHPC-Kapazität“ heißt und warum die Größen schwanken

Laut Ausschreibung bekommt der Gewinner „bis zu 2,5 % der gesamten EuroHPC-Rechenkapazität für ein Jahr“, auf einem oder mehreren KI-tauglichen Rechnern. Eine Zahl in GPU-Stunden hat die EU nie veröffentlicht, die Bewerber mussten ihren Bedarf selbst begründen. Eine eigene Überschlagsrechnung: Der JUPITER-Booster hat 5.884 Knoten mit je vier GH200, also 23.536 GPUs. Das sind rund 206 Mio. GPU-Stunden im Jahr, 2,5 % davon wären etwa 5,2 Mio. Der viermonatige Hauptlauf allein bräuchte mit 4,4 Mio. schon den Großteil davon und würde dabei 6,5 % des Boosters belegen. Zählt man weitere EuroHPC-Rechner wie Leonardo, LUMI und MareNostrum 5 mit, wird das Budget größer. Ablationen, Langkontext-Phase und Nachtraining müssen aber ebenfalls hineinpassen. Unsere Einschätzung: Für einen zweiten, größeren Lauf reicht das nicht.

Die schwankenden Größenangaben haben einfache Gründe. 400 Mrd. Parameter waren das Minimum der Ausschreibung, und Domyn kündigte im Juni ein „400-Milliarden-Modell innerhalb eines Jahres“ an. Die Testkonfiguration hat 951,9 Mrd., Domyn rundet auf „~1 Bio.“. Welche Größe der Hauptlauf am Ende hat, ist offiziell nicht festgelegt.

Daten, Zeitplan, Konkurrenz

Zum Datenmix sagt der Bericht nichts: keine Sprachen, keine Anteile. Genau dort liegt ein Kernproblem. Der Datenqualitätsanbieter Pebblous beziffert den Anteil von Maltesisch an Common Crawl auf 0,03 %, Irisch auf 0,07 % und Lettisch auf 0,09 %, allerdings ohne Quellenangabe. Mehr Parameter erzeugen keine Sätze, die es im Netz nicht gibt.

Auch der Zeitplan ist eng. Der Zuschlag kam am 19. Juni 2026, die Rechenzeit gilt ein Jahr. Domyn sprach laut Declic Media von einer Veröffentlichung „innerhalb des Jahres“. Declic spottete damals, gekürt werde „der Champion eines Rennens, das noch nicht begonnen hat“. Die Website listete EUROPA als mindestens drittes paralleles Souveränitätsprojekt.

Domyn hat mit Edge immerhin vorgeführt, dass es auf öffentlicher Infrastruktur (512 A100 auf Leonardo) ein Modell von Grund auf trainieren kann. Die erst geplanten OpenEuroLLM-Modelle sollen erst Ende 2026 und die finalen im Januar 2028 kommen. Nebenbei baut Domyn mit G42 den privaten Cluster „Colosseum“ mit rund 6.000 Grace-Blackwell-Chips auf. Laut The Next Web hat das Unternehmen dafür über eine Milliarde Dollar eingesammelt, zu etwa 90 % als Kredit. Was die Fraunhofer-Institute konkret beitragen, beschreiben beide Blogposts nicht.

Einordnung

Das Positive zuerst: Das Team hat sauber dokumentiert, wie man ein Billionen-MoE auf einer Maschine trainiert, die nie dafür gebaut wurde. Es hat ehrlich auf Schwächen hingewiesen (die gruppenweise Expertenauswahl „kann dem Training tatsächlich schaden“, die FP8-Prüfung lief nur über zehn Schritte) und die Korrekturen an die Allgemeinheit zurückgegeben. Dass auf öffentlicher Hardware in Deutschland so ein Lauf möglich ist, war vorher nicht selbstverständlich.

Unsere Einschätzung zur Leistung: Mit rund 3,6 × 10²⁴ FLOP liegt EUROPA rechnerisch knapp über DeepSeek-V3 (ca. 3,3 × 10²⁴) und Kimi K2 (ca. 3,0 × 10²⁴). DeepSeek-V4-Pro hat etwa das Zweieinhalbfache verbraucht. Rechenaufwand ist nicht alles, denn Daten und Nachtraining entscheiden mit. Ohne Wunder bei den Daten ist aber das Niveau chinesischer Open-Weight-Modelle von 2025 das realistische Ziel, und das wäre bei einem Release Mitte 2027 rund zwei Jahre alt. Für europäische Behörden und Firmen, die ein offenes, dokumentiertes und auf alle 24 Amtssprachen ausgerichtetes Modell suchen, kann das trotzdem wertvoll sein. Mit der Weltspitze konkurrieren wird EUROPA damit nicht. Offen sind weiterhin die Lizenz, das Token-Budget, der Datenmix, der Starttermin des Hauptlaufs und die Frage, wer das Modell nach Ablauf der Rechenzeit weiterpflegt.