Testsieger sieht anders aus: GPT-6.2 Astra nur Siebter im Vals Index
OpenAIs neues Spitzenmodell GPT-6.2 Astra landet im unabhängigen Vals Index nur auf Platz 7, hinter allen drei getesteten Gemini-4-Modellen von Google und mehreren Claude-Modellen. Frühe Tester wie Ethan Mollick und Matt Shumer gehen ungewöhnlich hart mit dem Modell ins Gericht. Bei Kosten und Wissenschaftsaufgaben glänzt die neue Generation dagegen.

Worum es geht
OpenAI hat mit GPT-6.2 Astra und dem günstigeren GPT-6.2 Sol eine neue Generation seiner Spitzenmodelle herausgebracht. Der Empfang fällt gemischt bis schlecht aus. Im Vals Index, einer unabhängigen Rangliste für Aufgaben aus dem Berufsalltag, kommt Astra nur auf Platz 7 mit 67,66 Prozent. Sol landet mit 66,06 Prozent auf Platz 9. Darüber berichtet das Portal OfficeChai. Vor Astra liegen Claude Fable 5.2, Claude Sonnet 5.5, Claude Opus 5.5 und Gemini 4 Carbon, aber auch Googles älteres Gemini 4 Argon und das erst vergangene Woche erschienene, günstige Gemini 4 Hydrogen. Die ersten sechs Plätze gehören damit komplett Anthropic und Google.
Dazu kommen ungewöhnlich harte Urteile von Leuten, die das Modell schon vor dem Start testen durften.
Was der Vals Index misst
Hinter dem Index steht Vals AI, ein 2023 gegründetes Start-up aus San Francisco. Gründer sind die Stanford-Absolventen Rayan Krishnan (CEO) und Langston Nashold (CTO). Vals entwickelt Tests, die KI-Modelle an echter Berufsarbeit messen, und verkauft solche Auswertungen an KI-Labore und Unternehmen. OpenAI, Anthropic, Google, Meta und xAI haben Vals-Ergebnisse schon in ihren Modellbeschreibungen zitiert. Anfang des Jahres sammelte Vals 40 Millionen Dollar ein, angeführt von der Investmentfirma Andreessen Horowitz. Das Unternehmen wurde dabei Berichten zufolge mit 400 Millionen Dollar bewertet.
Der Index ist keine einzelne Prüfung, sondern setzt sich aus vielen agentischen Aufgaben zusammen. Gemeint sind Aufgaben, bei denen die KI selbstständig mehrere Schritte erledigt und dabei Werkzeuge benutzt, etwa Code ausführt oder Dokumente durchsucht. Die Aufgaben stammen aus vier Bereichen: Finanzen, Programmieren, Recht und Steuern. Jeder Bereich zählt so stark, wie er ungefähr zur Wirtschaftsleistung der USA beiträgt. Finanzen machen mehr als die Hälfte des Index aus, Programmieren folgt auf Platz zwei, Recht zählt weniger als ein Zehntel. Die Testaufgaben hält Vals geheim, damit Modelle nicht gezielt darauf trainiert werden. Wenn Spitzenmodelle einen Test fast perfekt lösen, nimmt Vals ihn aus dem Index.
Zahlen im Vergleich
Das Feld liegt eng beieinander: Zwischen Platz 1 und Platz 10 liegen nur 6,3 Punkte. Aus den Angaben von OfficeChai ergibt sich:
| Modell | Vals Index | Kosten pro Aufgabe | Anmerkung |
|---|---|---|---|
| Claude Fable 5.2 | ca. 71,3 % | mehr als 5× Sol (über 15,90 $) | Platz 1 |
| Gemini 4 Carbon | ca. 70,5 % (2,8 Punkte vor Astra) | 10,51 $ | |
| Gemini 4 Hydrogen | knapp 1 Punkt vor Astra | günstiger als Astra | Googles Budgetmodell |
| GPT-6.2 Astra | 67,66 % | 10,68 $ | Platz 7 |
| GPT-6.2 Sol | 66,06 % | 3,18 $ | Platz 9, günstigstes Modell der Top 10 |
| Muse Wonder Full (Meta) | – | 6,81 $ | |
| GPT-6 Astra (Vorgänger) | ca. 65,0 % | 21,28 $ |
Peinlich ist für OpenAI vor allem der Vergleich mit Google. Gemini 4 Carbon liegt 2,8 Punkte vorn und ist pro Test sogar etwas billiger. Selbst das Budgetmodell Hydrogen schlägt Astra und ist dabei günstiger und schneller fertig.
Wo die neuen Modelle punkten
Bei den Kosten sieht es besser aus. GPT-6.2 Sol ist das günstigste Modell unter den ersten zehn. Es kostet weniger als ein Drittel von Astra, weniger als die Hälfte von Metas Muse Wonder Full und weniger als ein Fünftel von Claude Fable 5.2. Trotzdem liegt Sol nur etwa 5 Punkte hinter Fable und erreicht damit rund 93 Prozent von dessen Wert.
Auch gegenüber dem eigenen Vorgänger hat sich Astra verbessert: 2,6 Punkte mehr bei etwa halben Kosten. Laut Vals braucht Astra von allen Top-10-Modellen die wenigsten Ausgabe-Tokens, also die Textbausteine, die das Modell erzeugt und nach denen abgerechnet wird. Im Schnitt sind es 91.000 pro Aufgabe. Das passt zu OpenAIs Versprechen, die 6.2-Modelle lieferten mit weniger Ausgabe bessere Ergebnisse.
Schwach ist dagegen das Tempo. Astra braucht für einen Test 52 Minuten und 16 Sekunden, rund 19 Minuten länger als GPT-6 Astra. Unter den ersten zehn sind nur die beiden Claude-5.5-Modelle und Muse Wonder Full langsamer.
Große Unterschiede je nach Fachgebiet
Laut Vals schwanken die Ergebnisse je nach Bereich viel stärker, als die knappen Gesamtwerte vermuten lassen:
- Wissenschaft: Astra ist neuer Spitzenreiter im Vals Science Index und auch auf Terminal-Bench Science und VCB 1–100 vorn. Dabei kostet es etwa die Hälfte von GPT-6 Astra und ist in der halben Zeit fertig. Sol erreicht auf Terminal-Bench Science Platz 3 zu etwa einem Viertel der Kosten von Astra. Der Science Index fließt allerdings nicht in den Vals Index ein.
- Programmieren: Auf Terminal-Bench 4 belegt Astra Platz 5 und Sol Platz 7. Das ist solide, aber nicht führend. Artificial Analysis kam zu einem ähnlichen Ergebnis: In dessen Coding Agent Index zeigte Astra keinen Fortschritt gegenüber dem Vorgänger.
- Recht: Hier sind die Basismodelle deutlich schwächer. Auf HLAB, dem juristischen Agenten-Test der Kanzlei-KI-Firma Harvey, verdoppeln Astra und Sol zwar die Werte ihrer Vorgänger, kommen aber nur auf Platz 11 und 21. Bei der juristischen Recherche reicht es nur für Platz 30 und 52. Das passt nicht zu OpenAIs eigenen Diagrammen zum Start. Dort hatte Astra auf einer Variante des Harvey-Tests mehr als doppelt so viele Aufgaben bestanden wie Claude Fable 5.2.
Die Sonderversion Astra for Law, die OpenAI eigens für Juristen eingerichtet hat, kommt bei der juristischen Recherche dagegen auf Platz 6. Ein großer Teil der Schwäche liegt also offenbar an der Einrichtung des Modells und nicht an seinen grundsätzlichen Fähigkeiten. In den Index fließt allerdings nur das allgemeine Modell ein.
Vals hat außerdem beobachtet, dass Astra und Sol fast doppelt so viele Tool-Aufrufe machen wie ihre Vorgänger. Gemeint sind Zugriffe auf externe Werkzeuge wie Suche oder Code-Ausführung. Ihre abschließenden Antworten fallen dafür kürzer aus. Das kann Punkte kosten, wenn ein Test vollständige schriftliche Ergebnisse verlangt, etwa ein juristisches Gutachten. Artificial Analysis führt den Rückgang von Sol um drei Punkte in seinem Coding-Index auf einen Einbruch um 14 Punkte bei SWE-Atlas-QnA-AA zurück. Dort ließ Sol häufiger wichtige Fakten in seinen Antworten weg.
Harte Worte von frühen Testern
Noch deutlicher als die Rangliste fallen die Urteile mancher Tester aus, die das Modell vor dem Start nutzen durften. Ethan Mollick, Professor an der Wharton School, schrieb auf X:
„Ich fand es sehr ungleichmäßig und seltsam. Einerseits war es schwerer zu steuern und damit zu arbeiten als andere Modelle. Andererseits konnte es bei einem ehrgeizigen Projekt (eine Weltraumaufzug-Fahrt von Grund auf mit Blender und Unity bauen) gut liefern.“
Der YouTuber Theo nannte Astra „das schlechteste Modell, das OpenAI je veröffentlicht hat“. Dan Shipper, Chef des Medienunternehmens Every, sprach von einer Enttäuschung im Vergleich zu Fable 5.2. Beim Schreiben sei 6.2 ein Rückschritt gegenüber Astra 6. Es sei so stark auf knappe, umsetzbare Antworten trainiert, dass die Texte schwer verständlich würden und kurz blieben, wo eine lange Antwort angebracht wäre. Beim Programmieren höre das Modell bei kompletten Projekten oft zu früh auf. Beim Design habe es gute Instinkte, falle aber in einen erkennbaren „Hausstil“. Am deutlichsten wurde der Investor Matt Shumer: Die Modelle seien „im Grunde unbrauchbar“, er empfehle sie nicht.
Auf anderen Ranglisten schneidet GPT-6.2 besser ab. Im Intelligence Index von Artificial Analysis, der stark auf Wissenschaft, Wissen und logisches Denken setzt, steht Astra mit 62 Punkten auf Platz 2. Laut einem Beitrag auf Reddit (r/singularity) teilt es sich außerdem Platz 1 im Epoch Capabilities Index.
Einordnung
Der Fall zeigt, wie stark Ranglisten davon abhängen, was sie gewichten. Am selben Tag sieht ein Index Astra auf Platz 2, der andere auf Platz 7. Der Vals Index war Anthropic und Google allerdings schon immer freundlicher gesinnt: GPT-6 Astra lag bei 65,0 Prozent, als Gemini 4 Carbon mit 70,4 Prozent startete. Mit 6.2 ist der Abstand kleiner geworden, aber nicht verschwunden.
Für Unternehmen dürfte der Preis wichtiger sein als die Platzierung. Sol bietet viel Leistung fürs Geld, Astra ist bei Wissenschaftsaufgaben vorn, und mit Astra for Law setzt OpenAI offenbar auf Spezialversionen für einzelne Berufe. Die wichtigste offene Frage ist der Widerspruch zwischen ordentlichen Testwerten und dem schlechten Eindruck in der Praxis. Mehrere erfahrene Tester berichten unabhängig voneinander von zu knappen Antworten und Abbrüchen mitten in der Arbeit. Dass Vals die gleichen Muster misst, spricht dafür, dass hier ein echtes Problem vorliegt und nicht bloß Geschmackssache. Ob OpenAI mit Updates nachbessert, ist noch offen.
Quellen
- Merkliste: officechai.com officechai.com
- Merkliste: officechai.com officechai.com
- Reddit r/singularity reddit.com
- Merkliste: xenospectrum.com xenospectrum.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.