91 %, 12 %, vier Uber-Fahrten: Warum Agenten-Benchmarks so verschieden rechnen

Darum geht es

Am 2. und 3. November 2026 sind drei große Benchmarks für KI-Agenten erschienen, also für Systeme, die nicht nur antworten, sondern selbstständig klicken, Dateien bearbeiten und Aufgaben zu Ende bringen. Auf den ersten Blick widersprechen sie sich. OpenAIs LifeVal gibt GPT-6 Astra 80,6 % bei Alltagsaufgaben. Bei Physical-Engineering's Last Exam (PLE) von Google und Mercor erfüllt das beste System 91 % aller Einzelvorgaben, bleibt aber insgesamt unter 50 %. Im GDPx des Analysehauses SemiAnalysis kommt der Spitzenreiter Claude Opus 5.5 auf 12 %, in Finanzen und Recht unter strenger Wertung praktisch auf null. Am 4. November meldete Uber dann, dass in seiner stärksten Oktoberwoche ganze vier Fahrten über KI-Agenten gebucht wurden.

Unsere These: Das ist kein Widerspruch. Die Zahlen messen verschiedene Dinge, und vor allem rechnen sie verschieden. Wer weiß, wie gerechnet wird, kann die Zahlen lesen.

Drei Tests, drei Rechenwege

LifeVal hat OpenAI aus zwei Zeitverwendungsstudien und einer Umfrage unter 3.995 Menschen abgeleitet. Rund 100 Nutzer schrieben die Aufgaben samt Bewertungsrubrik, also einer Checkliste, nach der eine Lösung beurteilt wird. Die Kennzahl heißt „Average Reward“: Pro Aufgabe werden die Versuche gemittelt, danach alle Aufgaben gleich gewichtet. Laut Sekundäranalysen von Apidog und dem japanischen Autor kazu auf note.com sind es 169 Aufgaben. Wer die Hälfte der Rubrik erfüllt, bekommt also die Hälfte der Punkte. Die 80,6 % sagen deshalb nicht, dass vier von fünf Erledigungen klappen. Der Wert wurde zudem in der höchsten Rechenstufe „xhigh“ gemessen, und ein Diagrammvermerk („No WTP weighting“) deutet laut Apidog auf eine nicht veröffentlichte, nach Zahlungsbereitschaft gewichtete Variante hin. Die viel zitierten 100-%-Werte bei einzelnen Aufgaben, etwa Halal-Lebensmittel im Budget bestellen, sind laut dev.to „bestes Ergebnis“, kein Durchschnitt. Auffällig ist auch der Verlauf: Von GPT-5.2 (49,3 %) zu GPT-5.4 (73,0 %) ging es 23,7 Punkte nach oben, von GPT-5.6 (80,0 %) zu GPT-6 Astra nur noch 0,6.

PLE macht den Unterschied zwischen „fast richtig“ und „brauchbar“ rechnerisch sichtbar. Für die mit einer Agenten-Pipeline erstellten Aufgaben steht im Paper die Formel s = 0,4·p + 0,6·G·O′. Dabei ist p der Anteil erfüllter Vorgaben. G ist ein Gate, eine Schranke: Es steht auf 1, wenn alle harten Sicherheits- und Machbarkeitsprüfungen bestanden sind, sonst auf 0. O′ gibt an, wie nah die Kosten an einer bewiesenen Untergrenze liegen. Nachgerechnet heißt das: Ein Entwurf, der 91 % der Vorgaben erfüllt und eine harte Prüfung verfehlt, bekommt höchstens 0,4 × 0,91 = 36,4 %. Genau das ist der Befund für Opus 5.5 in Claude Code: Im Schnitt sind 91 % der Vorgaben erfüllt, alle harten Prüfungen bestehen aber nur 41,3 % der Entwürfe. Die chinesische Fachseite Leiphone bringt es auf die Formel „91 % ≈ 0 %“ und nennt ein Beispiel: Eine Kabeltrasse kreuzt die Sprinklerleitung, und dutzende korrekte Rechenseiten sind wertlos. Die gekoppelten Vorgaben seien das Problem, so Leiphone, nicht die Rechenleistung. Wer eine Vorgabe repariert, verletzt womöglich die nächste.

GDPx rechnet am strengsten. Laut SemiAnalysis ist die Kennzahl „pass@1 über drei Versuche“: Jeder Versuch wird als bestanden oder nicht bestanden gezählt, dann wird gemittelt. Alle elf Fachgebiete zählen gleich, egal wie viele Aufgaben sie haben. Das verschiebt die Gewichte. Chipdesign stellt 34 der 206 Aufgaben (16,5 %), zählt aber nur ein Elftel (9,1 %). In Finanzen und Recht lag unter der eigentlich vorgesehenen Binärwertung fast jedes Modell bei null. Deshalb meldet SemiAnalysis dort Teilpunkte. Nach unserer Rechnung beruhen damit 2/11 (18,2 %) der Gesamtnote auf einem anderen Maßstab als der Rest. Außerdem drücken Sicherheitsfilter die Werte von Opus 5.5 und GPT-6 Astra in Cybersicherheit, Biologie und Alignment, also bei Aufgaben, die die Modelle teilweise verweigern.

Ein Lauf oder jedes Mal: pass@k und pass^k

Wie oft ein Test läuft, ist der zweite große Hebel. pass@k zählt eine Aufgabe als gelöst, wenn mindestens einer von k Versuchen klappt. Für Forschung ist das interessant, im Alltag aber zu optimistisch. pass^k verlangt, dass alle k Versuche klappen. Das hat das Unternehmen Sierra mit seinem τ-bench eingeführt, um Zuverlässigkeit zu messen. Dort fiel GPT-4o im Einzelhandelsszenario bei pass^8 auf etwa 25 %, rund 60 % unter seinem Wert für einen einzelnen Versuch.

Ein vereinfachtes Rechenbeispiel, unter der Annahme unabhängiger Versuche: Ein Agent, der eine Aufgabe in 80 % der Fälle löst, kommt bei pass@3 auf 99,2 %, bei pass^3 auf 51,2 %. Bei 50 % Einzelerfolg sind es 87,5 % gegenüber 12,5 %. Aus demselben Modell lassen sich so Schlagzeilen von „fast perfekt“ bis „unbrauchbar“ machen.

PLE und GDPx melden beide Mittelwerte aus drei Läufen, keine Bestwerte. Wie stark die Läufe streuen, zeigt PLE: Pro Aufgabe und Harness liegen zwischen bestem und schlechtestem von drei Läufen im Mittel 15,4 Punkte. 105 von 595 Kombinationen schwanken um 30 Punkte oder mehr. Über das ganze Set mitteln sich diese Ausreißer weg, für deine konkrete Aufgabe tun sie es nicht. Bei LifeVal nennt OpenAI die Zahl der Versuche nach unserem Kenntnisstand nicht.

Wer misst, wer verdient daran?

Selbstbewertung: LifeVal ist ein Test von OpenAI, mit OpenAI-Rubriken, über OpenAI-Modelle. Aufgaben und Bewerter sind nicht öffentlich, Konkurrenzmodelle fehlen. Ein Vergleich mit Gemini oder Claude ist damit nicht möglich. Dieselbe Kritik gab es schon bei OpenAIs Vorgänger GDPval: Dessen automatischer Bewerter stimmte nur in 66 % der Fälle mit menschlichen Fachleuten überein, zwei Menschen untereinander kamen auf 71 %.

LLM als Richter: Auch PLE ist nicht frei davon. Die von Fachleuten geschriebenen Aufgaben bewertet ein LLM-Judge, also ein Sprachmodell als Prüfer, und das ist ausgerechnet Claude Opus 5.5, das Siegermodell. Die Autoren haben das untersucht. Mit Claude Opus 5 oder Gemini 4 Argon als Richter stimmten 95,8 bzw. 95,5 % der Urteile überein, die Rangfolge blieb weitgehend stabil. Den Effekt der Selbstbevorzugung schätzen sie auf 2,3 Punkte. Das ist ehrlich offengelegt und bei knappen Abständen trotzdem relevant.

Kommerzielle Interessen: GDPx ist überwiegend privat: Pro Fachgebiet gibt es eine öffentliche Aufgabe, die übrigen stammen von 14 Datenpartnern. Unabhängig nachgeprüft hat das bisher niemand. Im Artikel lädt SemiAnalysis Labore ein, ihre nächsten Modelle evaluieren zu lassen, und will „die besten Datenanbieter präsentieren“. Konditionen nennt SemiAnalysis nicht. Der dev.to-Autor nennt GDPx deshalb ein bezahltes Produkt. Google wiederum ist bei PLE zugleich Herausgeber und Anbieter der Gemini-Modelle und lässt 13 von ihm gesponserte Modelle kostenlos auf eigenen Servern laufen. Gewonnen hat dort allerdings ein Anthropic-Modell.

Der Nebenbefund: Das Modell zählt, die Harness kostet

Eine Harness ist die Arbeitsumgebung um das Modell herum: Werkzeuge, Dateizugriff und die Schleife, in der der Agent plant und handelt. Bekannte Beispiele sind Claude Code, Codex, OpenHands oder Pi. PLE hat 14 Modelle in sieben Harnesses verglichen. Zwischen den Modellen liegen bis zu 50 Punkte, zwischen den Harnesses beim selben Modell im Median nur 3,0. Opus 5.5 kommt über alle sieben auf 47,3 bis 50,6 % (alle 85 Aufgaben). Es gibt Ausreißer: Gemini 4 Argon fällt in OpenHands auf 31,1 %, in Claude Code erreicht es 43,2 %.

Stark unterscheiden sich dagegen die Kosten. Für Opus 5.5 pro Aufgabe:

GPT-6 Astra in Codex kommt laut Paper für 9,15 $ auf 48,3 %. Vorsicht beim Zitieren: Diese 48,3 % gelten für alle 85 Aufgaben. Die gleich lautenden 48,3 % von Opus 5.5 auf dem Leaderboard beziehen sich auf die 56 versteckten Testaufgaben, dort liegt GPT-6 Astra bei 45,8 %. Unsere Einschätzung: Wer einen Agenten auswählt, sollte zuerst das Modell wählen und dann die Harness nach Preis und Bedienung. Die Wahl der Harness ist eher eine Kostenfrage als eine Qualitätsfrage.

Und die vier Uber-Fahrten?

Ubers Finanzchef Balaji Krishnamurthy sagte im Quartalsgespräch, in der Halloween-Woche seien rund 320 Millionen Fahrten und Bestellungen abgewickelt worden:

„Bei Uber Eats waren es etwa 500 Bestellungen über KI-Agenten. Bei Fahrten waren es insgesamt 4.“

Das sind etwa 1,6 Agenten-Buchungen pro Million Vorgänge. Konzernchef Dara Khosrowshahi nannte die Resonanz „sehr, sehr früh und sehr begrenzt“ und lieferte die Erklärung gleich mit: Eine Fahrt ist in der App im Schnitt in 50 Sekunden gebucht, das Lieblingsessen in 90 Sekunden nachbestellt. DoorDash meldete eine Woche zuvor ebenfalls nur „einige hundert“ Agenten-Bestellungen. Diese Zahl misst nicht, was Agenten können, sondern ob Menschen sie überhaupt benutzen. Ein Agent kann im Test gut abschneiden und im Alltag trotzdem überflüssig sein, wenn der direkte Weg schneller ist.

Fünf Fragen an jede Agenten-Prozentzahl

1. Was zählt als Erfolg? Teilpunkte pro Vorgabe, alles oder nichts, oder ein Gate, das bei einem Sicherheitsfehler alles auf null setzt?
2. Wie oft wurde gelaufen? Ein Lauf, ein Mittelwert, der beste Versuch (pass@k) oder jedes Mal (pass^k)? Werden Bestwerte als Schlagzeile verkauft?
3. Wie wird gewichtet? Zählen Aufgaben oder Fachgebiete gleich, und wechselt der Maßstab zwischen den Bereichen?
4. Wer hat gebaut, wer bewertet, wer verdient daran? Prüft der Hersteller selbst? Bewertet ein Sprachmodell, vielleicht das getestete? Sind die Aufgaben öffentlich und nachprüfbar?
5. Was genau lief da – und zu welchem Preis? Welche Rechenstufe, welche Harness, wie viele Dollar und Stunden pro Aufgabe? Ähnelt die Aufgabe dem, was du tatsächlich delegieren willst?

Einordnung

Die drei Benchmarks dieser Woche liegen nicht so weit auseinander, wie die Schlagzeilen vermuten lassen. Sie messen unterschiedliche Fragen. LifeVal fragt, wie viel von einer Alltagserledigung brauchbar vorangebracht wird. PLE fragt, ob ein Ingenieursentwurf vollständig sicher und baubar ist. GDPx fragt, ob eine harte Fachaufgabe komplett bestanden wird. Die Modelle können also schon sehr viele Teilschritte, liefern aber selten ein vollständig fehlerfreies Ergebnis. Bei PLE erreichen 48 von 85 Aufgaben selbst beim Spitzenreiter weniger als 50 %.

Am nachvollziehbarsten ist nach unserer Einschätzung PLE, mit öffentlichem Teil, offengelegter Formel und eigener Prüfung des Richtermodells. LifeVal ist am wenigsten überprüfbar. GDPx ist anspruchsvoll, aber weitgehend eine Blackbox mit gemischten Maßstäben. Offen bleibt, ob Agenten im Alltag gebraucht werden, wenn die App schneller ist. Die vier Uber-Fahrten sind dafür derzeit der ehrlichste Messwert.