Neuer KI-Index: Offene Modelle verlieren 12–16 Punkte, Mistral Large 4 fällt auf 25

Worum es geht

Der Benchmark-Anbieter Artificial Analysis hat seinen Intelligence Index auf Version 5 umgestellt. Der Index fasst viele einzelne Tests zu einer Gesamtpunktzahl zusammen. Nach Recherchen von ActuIA (Stand 28. Oktober 2026) erreicht das beste Modell mit herunterladbaren Gewichten, also frei verfügbaren „Open-Weights“-Modellen, nun 32 Punkte. Claude Opus 5.5 von Anthropic kommt auf 58 Punkte. In der Vorgängerversion lag der Abstand bei 12 Punkten. Die Modelle selbst haben sich nicht verändert, nur der Messstab.

Claude Haiku 5.5, ein geschlossenes Anthropic-Modell, erreicht 36 Punkte und liegt damit ebenfalls vor allen offenen Modellen. In der alten Version hatten MiMo-V2.6-Pro (Xiaomi), DeepSeek V4.1 Flash und GLM-5.3 noch mehr als 44 Punkte.

Was sich am Index geändert hat

Laut Artificial Analysis beruhen 60 % des Index nun auf Auswertungen, deren Testsätze privat sind oder deren Antworten geheim bleiben. Der Index besteht aus vier Gruppen mit je 25 % Gewicht: Wissensarbeit, Programmieren, Wissenschaft und Allgemeinwissen.

• Als privat genannt werden FrontierCode 2.0 (ein von Cognition gestarteter Programmier-Benchmark, dessen Aufgaben „privat bleiben, um Kontamination zu vermeiden“) und 40 schwere Fragen aus CritPt v2 (Physik).
• AA-Omniscience v1.1 wurde von seinen öffentlichen Fragen bereinigt.
• Drei Tests fliegen raus: GDPval-AA, SciCode und AA-LCR.
• Zwei kommen hinzu: FrontierCode 2.0 und Terminal-Bench-Science (wissenschaftliche Aufgaben im Terminal).
• HLE-Diamond ersetzt Humanity's Last Exam.

Die genaue Zusammensetzung der 60 % nennt der Anbieter nicht. Schon am 4. September hatte Artificial Analysis den privaten Anteil mit Version 4.2 auf 40 % erhöht, um zu verhindern, dass Modelle gezielt auf das Ranking hin optimiert werden. Die Kontamination – also dass Testfragen in den Trainingsdaten landen – erwähnt der Anbieter nur im Zusammenhang mit FrontierCode 2.0.

Alle offenen Modelle verlieren deutlich

ActuIA verglich die Seite der offenen Modelle (noch Version 4.3.2) mit dem neuen Ranking:

Kimi K3.1 Pro von Moonshot AI, dessen Gewichte nicht veröffentlicht sind, fällt von 55 auf 46 (−9). Die besten geschlossenen Modelle bleiben zwischen 50 und 58: Claude Opus 5.5 (58), GPT-6 Astra (57), GPT-6.1 Sol (55), Claude Sonnet 5.5 (54), GPT-6.1 Terra (51), Gemini 4 Argon (50). Opus 5.5 hatte schon am 23. Oktober 58 Punkte und hält sie auch in Version 5.

Warum die offenen Modelle so stark fallen, erklärt Artificial Analysis nicht. Mögliche Faktoren sind die neue Gewichtung (Wissenschaft zählt ein Viertel; bei Terminal-Bench-Science schafft GPT-6 Astra 63 % der Aufgaben, DeepSeek V4.1 Flash 13 %) und der Wegfall öffentlicher Fragen. Ohne Einzelergebnisse beider Versionen lässt sich der Anteil jedes Effekts nicht berechnen.

Drei verschiedene Abstände: 3, 12 oder 26 Punkte

Artificial Analysis fasst Version 5 so zusammen, dass sich der Abstand offener Modelle „von 3 auf 12 Punkte“ vergrößere. Dabei gilt Kimi K3.1 Pro mit 46 Punkten als bestes offenes Modell, obwohl seine Gewichte „noch nicht veröffentlicht“ sind. Schon die 3 beruhte auf dieser Annahme: Am 23. Oktober hatte der Anbieter geschrieben, der Abstand schrumpfe „von 12 Punkten auf 3“, sobald die Gewichte erscheinen. Am 28. Oktober waren sie noch nicht da. Auf der eigenen Modellseite wird Kimi K3.1 Pro sogar als „Proprietary model“ geführt, ebenso Mistral Large 4.

Zählt man nur tatsächlich veröffentlichte Gewichte, liegen DeepSeek V4.1 Flash und GLM-5.3 mit 32 Punkten 26 Punkte hinter Opus 5.5 – vorher waren es 12. Der Abstand hat sich also mehr als verdoppelt.

Mistral Large 4 im Feld

Mit 25 Punkten gleichauf mit Metas Muse Spark Open (das am 19. Oktober noch einen Punkt vorn lag) sind beide die bestplatzierten nicht-chinesischen Modelle mit veröffentlichten oder angekündigten Gewichten. DeepSeek und GLM liegen 7 Punkte vorn, MiMo-V2.6-Pro 5, Ling 3.1 Flash und Step 5 je 4. Andere europäische Modelle haben keinen Wert in Version 5: Mistral Medium 3.5 und Mistral Small 4 fehlen.

Unklar ist, ob Large 4 seinen Vorsprung bei Agenten-Aufgaben behält. In Version 4.3.2 erreichte es 27 % bei Terminal-Bench 4.0 (Muse: 8 %) und 60 % bei AutomationBench (Muse: 50 %). Beide Tests bleiben mit zusammen 15 % Gewicht im Index, doch die neue Modellseite zeigt keine Einzelergebnisse.

Geschlossenes Modell mit wenig Aufwand schlägt offene

Der Index nennt für jedes Modell die Stufe des Denkaufwands (max, xhigh, high). Claude Opus 5.5 auf niedriger Stufe erreicht 35 Punkte bei durchschnittlich 0,98 US-Dollar je Index-Aufgabe – 3 Punkte mehr als das beste Modell mit veröffentlichten Gewichten. Auf maximaler Stufe kostet dieselbe Aufgabe 10,04 Dollar. Ein Kostenvergleich zwischen Download-Modell und API-Modell hängt also auch von der gewählten Denkstufe ab.

Stand der Veröffentlichung von Mistral Large 4

Das Hugging-Face-Repository nennt als geschätztes Veröffentlichungsdatum der Gewichte den 31. Oktober 2026, enthielt am Abend des 28. Oktober aber weder Dateien noch Lizenz. Mistral hatte am 6. Oktober angekündigt, sie „bis Ende des Monats“ zu veröffentlichen. Das von The Next Web und The New Stack ohne Quelle genannte Datum 27. Oktober wurde nicht gehalten. Offen bleiben die Lizenz und der Score der finalen Version, da das Reinforcement-Training laut Mistral weiterlief.

Einordnung

Die Umstellung ist methodisch nachvollziehbar: Private Testsätze erschweren das Training auf den Test. Zugleich zeigt sich, wie stark Ranglisten von Zusammensetzung und Gewichtung abhängen – ein einheitlicher Verlust von 12 bis 16 Punkten bei allen offenen Modellen deutet darauf hin, dass öffentliche Benchmarks sie bisher begünstigt haben könnten, belegt ist das aber nicht. Kritisch ist die Schlagzeilenzahl „12 Punkte“, die ein noch nicht veröffentlichtes Modell als offen zählt; nach tatsächlich verfügbaren Gewichten beträgt der Abstand 26. Wer ein offenes Modell gegen eine API abwägt, sollte außerdem Denkstufe und Kosten betrachten. Alle Zahlen stammen von Artificial Analysis bzw. aus ActuIAs Abgleich; die Einzelwerte pro Test fehlen.