Benchmark-Sieger fliegt raus: Wie Südkorea seinen KI-Champion auswählt

Darum geht es

Südkorea will eigene KI-Grundmodelle, um weniger von US-amerikanischen und chinesischen Systemen abzuhängen. Dafür lässt das Wissenschaftsministerium MSIT seit 2025 Unternehmen im Programm „Sovereign AI Foundation Model“ (koreanisch abgekürzt 독파모, „Dokpamo“) gegeneinander antreten. Wer eine Runde übersteht, bekommt Grafikprozessoren, Datenförderung und das Etikett „K-AI-Unternehmen“. Wer verliert, fliegt raus.

Im August 2026 erwischte es ausgerechnet das Team, das in der wichtigsten unabhängigen Rangliste am besten abschnitt: Motif Technologies mit dem Modell Motif 3. Weiter sind LG AI Research, SK Telecom und Upstage. Das wirft eine grundsätzliche Frage auf: Misst ein solcher Staatswettbewerb Leistung oder vor allem den Eindruck, den ein Modell bei Prüfern hinterlässt? Wir haben das veröffentlichte Bewertungsschema nachgerechnet.

So funktioniert der Wettbewerb

In Runde 1 schieden im Januar 2026 Naver Cloud und NC AI aus. Naver lag nach Punkten zwar unter den besten vier, scheiterte aber an der Eigenständigkeitsprüfung, weil sein Modell laut koreanischen Medien auf Bild-Encoder und Gewichte aus Alibabas Qwen-Familie zurückgriff. Im Februar wählte das Ministerium Motif in einer Nachnominierung als viertes Team aus. Für die Entwicklung blieben Motif damit nur Februar bis Juli.

Die zweite Runde wurde laut Ministeriums-Briefing nach 100 Punkten bewertet:

• Benchmarks (40 Punkte): 25 Punkte aus dem Artificial Analysis Intelligence Index (AAII). Das ist eine Rangliste des privaten US-Anbieters Artificial Analysis, die neun schwere Tests zu Agenten, Programmieren, Wissen und wissenschaftlichem Denken bündelt. Dazu kommen 15 Punkte aus einem nicht öffentlichen Test der Behörde NIA, unter anderem zu Koreanisch und Sicherheit.
• Expertenbewertung (35 Punkte): Zehn Fachleute bewerteten Strategie, bisherige Leistung und den Nutzen für das heimische KI-Ökosystem.
• Nutzerbewertung (25 Punkte): 49 KI-Fachnutzer, etwa Start-up-Gründer, vergaben bis zu 15 Punkte. 185 per Los ausgewählte Bürger vergaben bis zu 10 Punkte.

Laut Ministerium waren Gewichtung und Testauswahl vorab mit den Teams abgestimmt.

Nachgerechnet: Wie aus 16 Indexpunkten 4 wurden

Erst nach Motifs Einspruch veröffentlichte das Ministerium am 27. August die Teilnoten. Laut AI Times sahen sie so aus:

Die Summen gehen auf. Die AAII-Punkte entsprechen ziemlich genau dem Indexwert geteilt durch vier. Nate News nennt für Motif einen ungerundeten Wert von 47,4, und 47,4 geteilt durch vier ergibt 11,9. Weil kein Modell auch nur in die Nähe von 100 Indexpunkten kommt, wird der Abstand dadurch stark gestaucht. Aus 16 Indexpunkten Vorsprung vor LG wurden 4,1 Wertungspunkte. Genau das kritisierte Motif: Die Rohabstände seien bei der Umrechnung nicht ausreichend abgebildet worden.

Was wäre bei anderen Annahmen passiert? Unsere Nachrechnung mit den veröffentlichten Zahlen:

• Ohne Nutzerbewertung: Motif 51,7, Upstage 51,8, SKT 51,5, LG 50,1. Letzter wäre LG gewesen, nicht Motif.
• Ohne die Bürgerbewertung: Motif bleibt mit 60,1 Punkten Letzter. Insofern stimmt die Aussage von Vizeminister Ryu Je-myung, die Bürgerwertung habe „die Entscheidung nicht beeinflusst“. Den Ausschlag gaben die 15 Punkte der KI-Fachnutzer.
• AAII relativ zum Besten skaliert (Bester bekommt 25 Punkte): Motif käme auf 78,9 und LG auf 77,6. Auch dann wäre LG ausgeschieden.
• Mit der tatsächlichen Formel: Um LG zu überholen, hätte Motif gut 60 Indexpunkte gebraucht. Das ist fast so viel wie das damals weltweit beste Modell Claude Opus 5 mit 63 Punkten.

Unsere Einschätzung: Keine dieser Rechenweisen ist objektiv richtig. Die Wahl der Umrechnung entscheidet aber über Sieg oder Niederlage. Im Ergebnis hat das Schema die Benchmark-Stärke fast neutralisiert, sodass ein kleines Nutzerpanel den Ausschlag gab.

Das Ministerium begründete das Aus mit der Bedienbarkeit. Motif habe „auf technischer Ebene Weltniveau bewiesen“, sei bei Nutzbarkeit und Anwendung aber schwächer bewertet worden. Hinzu kam ein Verdacht: Der US-Datendienstleister AfterQuery bezeichnete sich auf LinkedIn als „einziger Datenpartner“ von Motif 3. Laut iNews24 wirbt die Firma damit, gezielt Benchmark-Schwächen zu beheben. In der Branche heißt das „Benchmaxxing“, also das Trainieren auf die Prüfung statt auf echte Fähigkeiten. Motif-Chef Lim Jeong-hwan bestreitet das: Die Zusammenarbeit habe der Agentenleistung gedient. Das Ministerium erklärte, es habe in der AAII-Analyse keine Hinweise auf Überanpassung gefunden und der Vorwurf sei nicht in die Wertung eingeflossen. Den Einspruch wies die Förderbehörde NIPA am 10. September laut ZDNet Korea ohne inhaltliche Begründung ab. Motif verzichtet auf die dritte Runde.

Wer die Noten vergibt: Streit um Prüfer und Blindbewertung

Ausgerechnet das entscheidende Fachnutzer-Panel ist umstritten. Bei der Parlamentsprüfung im Oktober legte der Abgeordnete Kim Jang-gyeom (People Power Party) Zahlen vor: 33 der 49 Fachnutzer hatten schon in Runde 1 bewertet, das sind 67,3 Prozent. Beim Expertenpanel hatte man auf wechselnde Besetzung geachtet, beim Nutzerpanel nicht. Interessenkonflikte wurden laut Data Economy vor allem über unterschriebene Erklärungen ausgeschlossen. Ryu räumte Überschneidungen ein und verwies darauf, die Regeln seien mit den Firmen abgestimmt gewesen.

Unsere Einschätzung, nicht belegt: Zwei Drittel der Prüfer kannten die Modelle von LG, SKT und Upstage bereits aus Runde 1, Motifs Modell dagegen nicht. Ob das die Noten beeinflusst hat, lässt sich aus den Daten nicht ablesen. Für die nötige Unbefangenheit spricht es aber nicht.

Für die dritte Runde diskutieren Ministerium und Teams laut ZDNet Korea vom 3. November eine Doppelblind-Bewertung, bei der Prüfer weder Firmen- noch Modellnamen kennen. Ein Branchenvertreter sagt, die Richtung sei klar. Beschlossen ist sie noch nicht, und das Ministerium gibt zu bedenken, dass man ein Modell über gezielte Fragen trotzdem erkennen kann. Die drei Teams arbeiten bis Ende Januar 2027 an ihren Modellen. Mitte Februar soll die Wertung stehen. Danach bleiben nach aktuellem Plan zwei Teams übrig.

Herstellerangabe gegen Rangliste: K-EXAONE 2.5

LG ist bisher Schlusslicht im AAII, war in Runde 1 aber Gesamtsieger und hat nun nachgelegt. Am 9. November öffnete LG AI Research die API von K-EXAONE 2.5 kostenlos über docs.exaone.ai. Die Schnittstelle ist OpenAI-kompatibel und verarbeitet nur Text auf Koreanisch und Englisch. Es handelt sich um ein nachtrainiertes K-EXAONE 2.0, ein Mixture-of-Experts-Modell mit 750 Milliarden Parametern. Bei dieser Bauweise rechnet pro Wort nur ein Teil des Modells mit. Die Gewichte von 2.0 stehen unter Apache-2.0-Lizenz auf Hugging Face. Ob auch 2.5 als Download erscheint, ist offen.

LG meldet über 24 interne Messgrößen mehr als 70 Prozent Leistungsplus in acht Wochen. Die veröffentlichten Einzelwerte sind laut Unite.AI allesamt Herstellerangaben:

Nachgerechnet liegen die relativen Zuwächse bei +26, +53, +341 und +24 Prozent. Wie LG auf „70 Prozent“ kommt, ist nicht erklärt. Ein Durchschnitt relativer Zuwächse reagiert aber stark auf Ausreißer wie AutomationBench. Zum Vergleich wählt LG außerdem die kleinere Flash-Variante von DeepSeek.

Eine unabhängige Einordnung fehlt bisher. Zudem hat sich der Maßstab inzwischen verschoben: Artificial Analysis hat am 27. Oktober Version 5 seines Index gestartet, mit mehr privaten Tests. Offene Modelle verloren dabei laut Trending Topics bis zu 16 Punkte, DeepSeek V4.1 Flash etwa fiel von 45 auf 32. Auf der aktuellen Modellseite steht K-EXAONE 2.0 bei 8 Punkten (Median vergleichbarer Modelle: 23). Motif 3 wird mangels öffentlicher API derzeit gar nicht geführt. Die Augustwerte sind mit diesen Zahlen nicht vergleichbar. Ein Staatswettbewerb, der 25 Prozent seiner Wertung an die Rangliste eines privaten US-Anbieters koppelt, misst also gegen ein bewegliches Ziel.

Ein weiteres grobes Signal sind die Downloads auf Hugging Face, Stand 9. November und nicht eindeutig beschriftet: K-EXAONE 2.0 liegt laut Modellseite bei rund 14.000 im letzten Monat, Solar Open 2 und A.X K2 jeweils bei rund 7.000 bis 8.000, Motif 3 bei rund 1.600. Ausgerechnet der Benchmark-Sieger wird also am wenigsten heruntergeladen. Das passt zum Urteil der Prüfer, beweist aber nichts.

Was Europa daraus lernen kann

Seoul baut parallel um. Laut Digital Today sieht der Haushaltsentwurf 2027 für ein neues, investitionsbasiertes Frontier-KI-Programm 5,2 Billionen Won vor. Davon sind 3,85 Billionen für rund 10.000 GPUs der Vera-Rubin-Klasse eingeplant. Die Ausschreibung soll frühestens im Dezember starten. Ryu sagt offen, mit je 1.000 GPUs pro Team sei die Weltspitze nicht einzuholen.

Europa geht bisher einen anderen Weg. Es kürt keinen Modell-Champion, sondern fördert Konsortien und Infrastruktur. OpenEuroLLM wird aus dem Digital-Europe-Programm finanziert und plant erste Modelle für Ende Dezember 2026, finale für Januar 2028. Für die AI-Gigafactories will die EU über InvestAI 20 Milliarden Euro mobilisieren. Die formelle Ausschreibung lief im Juli 2026 an, auf die informelle Interessenbekundung kamen zuvor 77 Vorschläge aus 16 Mitgliedstaaten.

Unsere Einschätzung: Wer in Europa künftig doch Modelle gegeneinander antreten lässt, kann aus Korea vier Dinge lernen. Erstens: Formel und Teilnoten vorab und vollständig veröffentlichen. Zweitens: festlegen, wie Benchmark-Abstände in Punkte übersetzt werden, denn das allein kann das Ergebnis drehen. Drittens: subjektive Panels rotieren und blind bewerten lassen. Viertens: sich nicht an einen einzelnen externen Index binden, der sich während des Wettbewerbs ändern kann.

Einordnung

Der koreanische Fall zeigt keinen Betrug, sondern eine Designentscheidung, die erst im Nachhinein sichtbar wurde. Das Ministerium wollte erklärtermaßen nicht nur Benchmark-Punkte belohnen, sondern Modelle, die im Alltag gewählt werden. Dafür gibt es gute Gründe, gerade wegen des Benchmaxxing-Risikos. Die konkrete Umsetzung hat aber Schwächen: Die Umrechnung stauchte den Benchmark-Abstand fast bis zur Bedeutungslosigkeit. Ein kleines Panel aus 49 Personen, zu zwei Dritteln dieselben wie in Runde 1 und nicht blind, gab den Ausschlag. Der Einspruch wurde ohne Begründung abgewiesen.

Ob Motif 3 im Alltag wirklich schlechter ist, lässt sich mit den öffentlichen Daten nicht klären. Belegt ist nur, dass es das Urteil der Prüfer verlor. Für LG zählt nun weniger die eigene „70 Prozent“-Zahl als die Blindwertung im Februar. Für Europa ist der Fall ein nützliches Lehrstück, bevor dort erstmals ein staatlicher KI-Champion gekürt wird.