„63 Prozent gelöst“: Wie viele KI-Benchmarks wirklich unabhängig geknackt sind

Darum geht es

Ein Benchmark ist ein standardisierter Test, an dem KI-Modelle verglichen werden, etwa ein Fragenkatalog oder eine Sammlung von Programmieraufgaben. Ist er „gesättigt“, schaffen die besten Modelle fast alle Aufgaben, und der Test unterscheidet nicht mehr zwischen gut und sehr gut. Ethan Mollick, Professor an der Wharton School, hat am 14. November 2026 SatBench veröffentlicht. Die Auswertung misst, wie schnell das passiert. Seine Schlagzeile auf X:

„KI wird schneller besser, als unsere Messinstrumente es sind.“

Laut SatBench sind 63 Prozent von 173 Benchmarks gelöst. Weiter unten in der README, im Abschnitt mit den Vorbehalten, steht eine zweite Zahl: 24 Prozent, wenn man nur unabhängige Messungen zählt. Diese Lücke von fast 40 Punkten ist das Thema dieses Artikels. Wir haben an konkreten Benchmarks nachgesehen, was hinter ihr steckt. Eine chinesische Zusammenfassung auf rss.qiaomu.ai nennt die beiden Zahlen ebenfalls, geht aber nicht auf einzelne Fälle ein.

Was SatBench misst

SatBench behandelt die 173 Benchmarks, die KI-Labore am häufigsten zitieren, wie eine einzige große Prüfung. Als gelöst gilt ein Test, sobald der beste gemeldete Wert 85 Prozent erreicht. Die Daten stammen aus dem Benchmark Almanac von Brian Zhou. Diese offene Datenbank führt nach eigenen Angaben 3.327 Benchmarks, 1.170 Modelle und 104 Labore. Sie sammelt Werte aus Launch-Posts (den Ankündigungstexten der Hersteller), aus Systemkarten, von offiziellen Ranglisten und aus dem Benchmarking Hub von Epoch AI. Ergebnisse von Artificial Analysis sind wegen der Nutzungsbedingungen ausgeschlossen.

Die Kernbefunde laut README:

• 109 von 173 Benchmarks liegen über 85 Prozent. Von 2023 bis Anfang 2025 stand der Index bei etwa 30 Prozent, weil neue Tests ungefähr so schnell dazukamen, wie alte gelöst wurden. In den letzten zwölf Monaten stieg er um rund 20 Punkte.
• Von den neuen Benchmarks eines Jahrgangs war innerhalb eines Jahres ein immer größerer Teil gelöst: 17 Prozent beim Jahrgang 2023, 30 Prozent bei 2024, 43 Prozent bei 2025. Die mittlere Zeit bis 85 Prozent fiel von etwa 20 auf etwa 14 Monate.
• Die meisten ersten Überschreitungen („Kills“) bei Tests, die mehrere große Labore melden, gehen auf OpenAI zurück (20). 2026 lag Anthropic vorn (11).
• Der Wert hängt stark von der Definition ab. Mit einer Schwelle von 75 Prozent wären 82 Prozent gelöst, mit 95 Prozent nur 25 Prozent.

Laut dem Newsletter AI Watch hat Mollick die Analyse in etwa vier Prompts von Claude Fable 5.2 bauen lassen. Er selbst bezeichnet die Hochrechnung bis 2028 bzw. 2030 als Extrapolation und ausdrücklich nicht als Prognose.

Der eigentliche Fund: drei von vier Rekorden sind Eigenmessungen

Die wichtigsten Sätze stehen in der ausführlichen Zusammenfassung. 75 der 100 ersten Überschreitungen stammen aus dem Launch-Post des Labors selbst, „ein Labor benotet sein eigenes Modell“. Nur 10 dieser 75 hat später ein unabhängiger Lauf mit mindestens 85 Prozent bestätigt. Für 44 Benchmarks gibt es gar keinen unabhängigen Lauf. Bei den übrigen 129 liegt der Index nur mit unabhängigen Läufen bei 33 Prozent, mit allen Quellen bei 60 Prozent.

Welche zehn Rekorde bestätigt wurden, nennt die Zusammenfassung nicht. Man könnte sie nur über die Skripte aus den Rohdaten ziehen. Deshalb haben wir einzelne Benchmarks im Almanac geprüft:

Quelle: Benchmark Almanac, Stand 14. November 2026, vals.ai. Eigene Zusammenstellung.

Die Tabelle zeigt drei Muster. Bei klassischen Prüfungsfragen wie GPQA Diamond stimmen Hersteller und unabhängige Prüfer überein. Epoch AI schreibt in einer Analyse vom Dezember 2025 ausdrücklich, dass die Herstellerwerte bei GPQA Diamond zu den eigenen Läufen passen. Gelöst ist der Test also wirklich, trotzdem tauchte er laut SatBench 2026 noch in 102 Launch-Posts auf, alle nach dem Überschreiten der 85 Prozent.

Bei GDP.pdf und Chartography steht der „Kill“ dagegen nur im Launch-Post. Anthropics 85,4 Prozent bei GDP.pdf wurden ohne Werkzeuge gemessen und von Claude Opus 4.7 bewertet, also von einem hauseigenen Modell als Prüfer. Auf der offiziellen Rangliste kommt dasselbe Modell auf 49,4 Prozent. Noch extremer ist Chartography: DeepSeek V4.1 Flash meldet 78,9 Prozent mit Werkzeugen, die Rangliste zeigt 11,6 Prozent.

Bei Agenten-Benchmarks wie Agents' Last Exam liegt der Herstellerwert in allen sechs abweichenden Paaren über dem Ranglistenwert. GPT-6 Astra kommt laut OpenAI auf 59,3 Prozent, laut Rangliste auf 34,2 Prozent. GPT-6 Luna meldet 50,9 Prozent, die Rangliste zeigt 25 Prozent.

Warum die Zahlen auseinanderlaufen

Gelogen ist dabei meist nichts. Die Labore wählen die Bedingungen selbst. Die wichtigste Stellschraube ist das Harness oder Scaffold, also die Software rund um das Modell mit Prompts, Werkzeugen, Zeitlimits und Wiederholungsversuchen. Laut Epoch AI verschiebt allein der Wechsel des Scaffolds das Ergebnis bei SWE-bench Verified um bis zu 11 Punkte (GPT-5) bzw. 15 Punkte (Kimi K2 Thinking). Hinzu kommen:

• Werkzeuge: Humanity's Last Exam „mit Werkzeugen“ ist laut Almanac ein eigener Berichtsmodus. Die Ranglisten verschiedener Anbieter liegen hier bis zu 20 Punkte auseinander.
• Andere Metriken: Bei OSWorld 2.0 melden die Labore Teilpunkte, die offizielle Rangliste zählt nur vollständig erledigte Aufgaben. Meta Muse Spark 1.3 kommt so auf 66,9 bzw. 32,0 Prozent.
• Teilmengen: Die 98,9 Prozent von GPT-5.4 bei τ²-bench gelten nur für den Telecom-Bereich.
• Versionen: Anthropic nennt für Mythos 92,1 Prozent bei Terminal-Bench 2.0, aber „mit den Fixes aus 2.1 und Vier-Stunden-Zeitlimit“. Der Almanac zählt das nicht als gelöst.

Die Abweichung läuft nicht immer zugunsten der Hersteller. Bei Terminal-Bench 2.0 misst die Rangliste für GPT-5.5 84,7 Prozent, OpenAI selbst gab 82,7 Prozent an. Beim Sicherheitstest CyberGym liegen die Herstellerwerte im Median 12,7 Punkte unter der Rangliste. Über alle 1.315 Wertepaare auf der Vergleichsseite des Almanac fallen 461 von 726 Abweichungen zugunsten des Labors aus. Der Median liegt aber nur bei 1,4 Punkten. Die großen Lücken konzentrieren sich auf wenige Benchmarks: Chartography (+37,9), Cybench (+24,1), Agents' Last Exam (+23,6), MRCR v2 (+15,8).

Warum kaum jemand nachmisst

Unabhängige Messungen sind teuer und kommen spät. Die EvalEval Coalition hat im April auf Hugging Face Kosten zusammengetragen: Ein einzelner Durchlauf von SWE-bench Verified Mini kostet je nach Modell und Harness zwischen 4 und 1.600 Dollar, GAIA bis zu 2.829 Dollar. Das Holistic Agent Leaderboard kostet insgesamt rund 40.000 Dollar, mit acht Wiederholungen für belastbare Statistik etwa 320.000 Dollar. Die Autoren warnen:

„Wer die Evaluation bezahlen kann, schreibt die Rangliste.“

Hinzu kommt der Zugang. Epoch AI berichtet laut eigener Methodenseite nur Modelle, die es selbst ausführen kann. Claude Mythos Preview, der Erst-„Killer“ von SWE-bench Verified, war nur für ausgewählte Partner verfügbar. Manche Prüfstände stehen außerdem still. Epoch hat SWE-bench Verified seit Juni 2026 nicht mehr laufen lassen, vals.ai hat seine Rangliste am 1. September archiviert. OpenAI meldet den Test seit Februar ohnehin nicht mehr: Eine eigene Prüfung ergab, dass laut Epochs Hochrechnung mindestens 16,4 Prozent der Aufgaben fehlerhaft sind. Epoch stuft den Benchmark deshalb als „Flawed“ ein.

Unsere Anfrage an Epoch AI und Brian Zhou, warum so wenige Rekorde nachgemessen werden, war bis Redaktionsschluss unbeantwortet.

Auch „unabhängig“ heißt nicht eindeutig

SWE-bench Verified zeigt eine weitere Schwäche der 24-Prozent-Zahl. Epoch misst mit seinem einfachen Scaffold als Bestwert 83,5 Prozent (Claude Opus 4.7). Vals.ai misst mit dem Harness mini-SWE-agent 97 Prozent für Claude Opus 5 und weitere 16 Einträge über 85 Prozent. Beides sind Fremdmessungen, die 13 Punkte auseinanderliegen. Der Almanac führt als unabhängigen Bestwert nur die 83,5 Prozent. Welche Prüfer als „unabhängig“ zählen, bestimmt also mit, wie hoch die 24 Prozent ausfallen. Unsere Einschätzung: Die Zahl ist eher eine Untergrenze, die 63 Prozent eher eine Obergrenze.

Außerdem warnt SatBench selbst vor Fehlern in den Daten. Einige Rekorde sind auf Daten vor der Veröffentlichung des jeweiligen Tests datiert. So soll Qwen3-30B als Erstes über 85 Prozent bei AIME 2026 gekommen sein, und zwar im Juli 2025. Bei Inkling 2 Small von Thinking Machines widerspricht der Almanac-Eintrag zu APEX-Accounting (14,5 Prozent) der eigenen Angabe des Labors (62,0 Prozent).

Gegenprobe aus der Forschung

Eine unabhängige Studie kommt zu einem ähnlichen Gesamtbild, wenn auch mit anderer Methode. Das ICML-Paper „When AI Benchmarks Plateau“ von Mubashara Akhtar und 36 Mitautoren untersucht 60 Benchmarks. Gesättigt heißt dort: Die Spitzenmodelle sind statistisch nicht mehr zu unterscheiden. Eine feste Prozentschwelle gibt es nicht. Ergebnis: 29 von 60 Benchmarks, also rund 48 Prozent, sind stark gesättigt. Bei Tests, die nicht älter als 24 Monate sind, sind es 42,9 Prozent, bei Tests über 60 Monate 54,5 Prozent. Dieser Unterschied ist laut den Autoren statistisch nicht signifikant. Private Testsätze verhindern die Sättigung nicht, eine Kuratierung durch Fachleute verlangsamt sie eher. Das passt zu Mollicks Nachsatz: „Private Benchmarks starten schwerer, fallen aber genauso schnell.“

Unser Fazit

„Benchmark gesättigt“ kann heute drei verschiedene Dinge bedeuten. Erstens: Die Modelle sind tatsächlich so gut geworden, und unabhängige Prüfer bestätigen das, wie bei GPQA Diamond oder Terminal-Bench 2.1. Zweitens: Ein Labor hat unter selbst gewählten Bedingungen 85 Prozent gemeldet, und niemand hat nachgemessen, wie bei GDP.pdf oder Chartography. Drittens: Der Test ist selbst kaputt oder kontaminiert, die Lösungen sind also in die Trainingsdaten gelangt, wie bei SWE-bench Verified.

Die Beschleunigung, die SatBench zeigt, ist nach allem, was die unabhängigen Daten hergeben, echt. Bei klassischen Prüfungsfragen weichen Hersteller- und Fremdwerte kaum ab. Bei Agenten-, Werkzeug- und Dokumenten-Tests ist der Launch-Post aber oft der einzige Beleg. Das betrifft auch die Rekorde dieser Woche. LongCat-2.5 meldet 88,4 Prozent bei Terminal-Bench 2.1, DeepSeek V4.1 Flash 90,6 Prozent, für beide gibt es keinen Ranglisteneintrag. Gemini 4 Hydrogen meldet 58,8 Prozent bei HLE-Diamond, ebenfalls ohne Eintrag auf der Rangliste. Das andere Extrem ist Qwen4-Max: Alibaba hat zur Vorschau am 11. November laut Berichten gar keine Benchmark-Werte veröffentlicht.

Unsere Einschätzung: Bei neuen Rekorden lohnt der Blick, wer gemessen hat, mit welchem Harness und ob es einen Ranglisteneintrag gibt. Steht der Wert nur im Launch-Post, ist er eine Herstellerangabe und noch kein Beleg. Am meisten fehlt es an Geld und Zugang für unabhängige Prüfer.