Wurde Claude Opus 5.5 heimlich dümmer? Was die Messdaten wirklich zeigen

Darum geht es

Seit Anfang November häufen sich Vorwürfe, Anthropic habe Claude Opus 5.5 heimlich verschlechtert. In der Szene heißt das „generft“. Auslöser war ein Post des Entwicklers Shane Melaugh am 7. November mit über 450.000 Aufrufen. Zwei Tage später folgte der Hacker-News-Thread „Is Opus 5.5 nerfed? Thinking patterns changed on November 3“ mit 817 Punkten und 511 Kommentaren. Laut i10x erschienen zeitweise rund 2.700 Beiträge in 24 Stunden. Anthropic hat sich bis zum 11. November nicht geäußert. Weder auf der Statusseite noch im Changelog fanden wir einen Hinweis auf ein geändertes Modell.

Unsere These: Viele der angeblichen Belege messen gar nicht das Modell. Sie messen ein separates Modell, das die Denkzusammenfassungen schreibt, geänderte Einstellungen im Programmierwerkzeug Claude Code oder schlicht Zufallsschwankungen. Echte Verschlechterungen ohne neues Modell gibt es allerdings. Anthropic hat das selbst schon zweimal eingeräumt.

Vier Messungen nebeneinander

Was sich am 3. November sicher geändert hat: die Zusammenfassungen

Opus 5.5 zeigt seine Gedankenkette nicht im Original. Laut Anthropics Thinking-Dokumentation wird die Zusammenfassung von einem anderen Modell erstellt als dem angefragten, und das denkende Modell sieht sie nie. Abgerechnet werden trotzdem die vollen Denk-Tokens.

Melaughs Diagramm zeigt ab etwa 18 Uhr UTC am 3. November einen Sprung. Rund 61 Prozent der Denkblöcke begannen danach mit „I'm…“, Formulierungen wie „I should“ fielen auf etwa 11 Prozent. Theo Browne fand in seinen Logs dasselbe Muster: „I'm…“ stieg von 27 auf 61 Prozent, „I should / I need to“ fiel von 47 auf 13 Prozent. Seine Konten wechselten allerdings zu verschiedenen Zeitpunkten zwischen dem 30. Oktober und dem 4. November, eines davon um 18 Uhr UTC am 3. November. Theos Fazit:

Anthropic scheint kontoweise eine Änderung am Reasoning-Summarizer auszurollen. Bei mir keine Anzeichen verschlechterter Fähigkeiten.

Melaugh räumt in der Fußzeile seines Diagramms selbst ein, dass die Daten eine Verhaltensänderung der Zusammenfassungen zeigen und keine geänderten Gewichte. Ein weiterer Nutzer, @argofowl, wertete 67.000 Nachrichten aus. Bei ihm blieben die Tool-Aufrufe pro Nachricht bei 1,06, fehlgeschlagene Aufrufe sanken sogar von 1,9 auf 1,8 Prozent.

Offen bleibt der Widerspruch bei den Denk-Tokens. Melaugh misst den Median vor dem ersten Werkzeugaufruf, Theo den Durchschnitt pro Antwort. Wie aitoolranked anmerkt, können beide Zahlen gleichzeitig stimmen. Ob Melaughs Auswertung abgerechnete Tokens zählte oder sichtbaren Zusammenfassungstext, ist aus den öffentlichen Angaben nicht erkennbar.

Der stille Hebel: Effort

Die Effort-Einstellung legt fest, wie viel Rechenzeit ins Nachdenken fließt. Laut Anthropic-Doku läuft eine Anfrage ohne Angabe bei Opus 5.5 mit „medium“, bei Opus 5 lief sie mit „high“. Anthropic behauptet, Opus 5.5 auf medium sei in den eigenen Tests mindestens so gut wie Opus 5 auf high. Das ist eine Herstellerangabe.

In Claude Code gibt es dazu mehrere Fallstricke. Seit Version 2.1.280 wird der Effort pro Modell gespeichert. Ein älterer effortLevel in der Benutzerdatei greift bei Opus 5.5 deshalb nicht mehr, wie ein dev.to-Beitrag zeigt. Laut offiziellem Changelog kam am 3. November Version 2.1.317 (bei npm laut aitoolranked am 2. November, 23:57 UTC). Seitdem nutzen Subagenten, also Hilfsinstanzen, die Teilaufgaben übernehmen, auf einem anderen Modell dessen eigenen gespeicherten oder Standard-Effort statt des Effort der Sitzung. Version 2.1.318 erlaubt zudem, älteres Denken beim Fortsetzen sehr alter Gespräche zu verwerfen.

Wie viel das ausmacht, zeigt die Validierung von LiveNerf. Medium statt high kostete dort 4,2 Punkte Trefferquote und 26 Prozent Tokens, low kostete 8,3 Punkte und 62 Prozent. Melaugh berichtet von einem Fehler, den Opus 5.5 auf high in über drei Stunden nicht löste. Laut Gigazine waren es 160 Interaktionen. Mit „xhigh“ gelang es in fünf.

Unsere Einschätzung: Wer unbemerkt auf medium zurückfällt, erlebt genau das „dümmere“ Modell, ohne dass sich an Anthropics Servern etwas geändert hat. Melaughs Messung lief allerdings auf high, und er sagt, seine CLI-Version sei gleich geblieben. Seine Daten erklärt das also nicht vollständig.

Die Nachmessung aus Japan

Der bisher einzige kontrollierte Vorher-nachher-Test stammt vom Qiita-Autor suwa_nobu. Er hatte am 2. November zufällig Messdaten erhoben und wiederholte die Läufe am 11. November zur gleichen Uhrzeit mit derselben Claude-Code-Version 2.1.316. Die Aufgabe: Aus einer Diff-Datei sollten eine PR-Beschreibung und ein README-Abschnitt auf Englisch und Japanisch entstehen, unter drei Bedingungen mit je drei Wiederholungen. Das ergab 36 Läufe pro Tag und Werkzeug. Verglichen hat er die Tage mit einem Permutationstest, einem statistischen Verfahren, das prüft, wie oft ein solcher Unterschied durch reines Mischen der Daten zustande käme.

Die Ergebnisse: - An beiden Tagen fehlte kein einziger der vier bzw. sechs Kernfakten. - Fette Überschriften ohne Regeldatei stiegen von 6 auf 8 von 12 Läufen. Mit p=0,68 ist das nicht signifikant. - Die Mediankosten pro Lauf stiegen von 0,126 auf 0,133 Dollar (p=0,013), die Summe von 4,41 auf 4,66 Dollar. Das sind 5,7 Prozent mehr.

Die Kostenaufteilung haben wir mit Anthropics Listenpreisen nachgerechnet:

Die Summe von rund 0,135 Dollar passt zum gemessenen Median. Die Ausgabe macht nur rund 20 Prozent aus. Die Mehrkosten könnten also ebenso gut aus dem Cache stammen wie aus mehr Denken. Das schreibt auch der Autor.

Zwei Einschränkungen sind wichtig. Erstens lassen sich Feature-Flags, also serverseitig geschaltete Funktionen, in 2.1.316 nicht abschalten. Die passende Umgebungsvariable CLAUDE_CODE_DISABLE_FEATURE_FLAGS kam erst mit 2.1.319. Ganz eingefroren war das Werkzeug also nicht. Zweitens hat der Autor am 2. November die Denk-Tokens nicht erfasst. Ausgerechnet die strittige Größe fehlt damit. Aufschlussreich ist der Gegentest: Bei OpenAIs Codex stieg die Laufzeit signifikant von 6 auf 9,5 Sekunden (p<0,001), die fehlenden Kernfakten von 12 auf 15. Tagesschwankungen gibt es also auch anderswo.

Tracker und der härteste Einzelbefund

LiveNerf beantwortet täglich 78 feste Fragen aus GPQA, MMLU-Pro und Mathewettbewerben, mit fixierter Claude-Code-Version 2.1.280 und Opus 5 als Kontrollmodell. Die Fenster 1 bis 3 (bis 2. November) lagen bei +0,7, −1,5 und +2,8 Punkten gegenüber der Startwoche. Das ist keine Veränderung. Das entscheidende Fenster 4 vom 3. bis 12. November läuft noch. Die Nachweisgrenze liegt bei 6,6 Punkten pro Fenster. Ein Rückfall von high auf medium (−4,2 Punkte) bliebe also womöglich unentdeckt, ebenso ein Tausch gegen Opus 5. Das räumt das Repo selbst ein. Außerdem misst es nur ein einziges Max-Konto. Eine kontoweise ausgerollte Änderung kann es übersehen.

BridgeBench NerfBench sah Opus 5.5 stets im Normalband von 90 bis 110 Prozent des Startwerts, zuletzt am 16. Oktober bei 105,8 Prozent. Werte aus dem November konnten wir nicht finden.

Am schwersten wiegt das GitHub-Issue #105112. Darin stieg die Korrekturquote eines Nutzers von 5,2 Prozent (5.738 Antworten) auf 25,4 Prozent (900 Antworten). Der Sprung liegt aber zwischen dem 18. und 19. Oktober, also zwei Wochen vor dem 3. November. In der saubersten Variante, die nur Erstantworten zählt, sind es 5,2 statt 15,4 Prozent, Anfang November dann 17,0 Prozent. Das Skript zählt unter anderem Antworten, die mit „you're right“ beginnen. Am 20. Oktober ergänzte der Autor seine CLAUDE.md um die Regel, eigene Fehler zuzugeben. Das kann die Quote verzerren. Allerdings stiegen auch die reinen Korrekturen durch den Nutzer, von 3,3 auf 20,2 Prozent. Anthropic hat bis heute nicht geantwortet.

Warum „kein Befund“ nicht „nichts passiert“ heißt

Anthropic hat zweimal öffentlich eingeräumt, dass Claude ohne neue Gewichte schlechter wurde. Im Postmortem vom September 2025 beschrieb die Firma drei Infrastruktur-Fehler. Einer davon war ein Routing-Fehler, der zur Spitze am 31. August 16 Prozent der Sonnet-4-Anfragen fehlleitete. Rund 30 Prozent der Claude-Code-Nutzer waren mindestens einmal betroffen. Hinzu kamen eine TPU-Fehlkonfiguration und ein Compilerfehler bei der Token-Auswahl. Die eigenen Tests hatten das nicht erkannt. Damals schrieb Anthropic:

Wir verringern die Modellqualität niemals wegen Nachfrage, Tageszeit oder Serverlast.

Im Postmortem vom 23. April 2026 gab Anthropic drei Produktänderungen zu. Die erste war ein von high auf medium gesenkter Standard-Effort, im Rückblick „der falsche Kompromiss“. Die zweite war ein Cache-Fehler, der bei jedem Turn alte Gedanken löschte. Die dritte war ein Systemprompt, der die Codequalität um 3 Prozent drückte. Pikant: Eine geänderte Anzeige des Denkens verdeckte den Cache-Fehler damals in den meisten internen Sitzungen. Anthropic versprach, Produktentscheidungen künftig über @ClaudeDevs und GitHub zu erklären. Zu einer kontoweisen Änderung am Summarizer fanden wir keine solche Erklärung.

So prüfst du selbst, ob dein Modell nachlässt

1. Effort prüfen: In Claude Code zeigen /effort status und /model, was wirklich läuft. Setze den Effort pro Modell ausdrücklich, für Subagenten notfalls mit CLAUDE_CODE_SUBAGENT_EFFORT=high.
2. Werkzeug fixieren: Bleib beim Testen auf einer festen Claude-Code-Version. Ab 2.1.319 kannst du Feature-Flags mit CLAUDE_CODE_DISABLE_FEATURE_FLAGS abschalten.
3. Eigenes Mini-Testset: Nimm etwa zehn echte Aufgaben mit prüfbarem Ergebnis und lass jede dreimal laufen, mit fester Modell-ID claude-opus-5-5 statt Alias. Die Durchläufe sollten jeweils zur selben Tageszeit stattfinden. Ein fertiges Skript steht im erwähnten dev.to-Beitrag.
4. Richtige Zahlen loggen: Speichere Erfolgsquote, usage.output_tokens_details.thinking_tokens (die abgerechneten Denk-Tokens) und das tatsächlich antwortende Modell. Der Text der Zusammenfassung sagt nichts über die Denkmenge.
5. Eigene Historie nutzen: Die Transkripte unter ~/.claude/projects (.jsonl) zeigen Wiederholungen und fehlgeschlagene Tool-Aufrufe vor und nach einem Stichtag.
6. Geduld mit der Statistik: Bei 30 Läufen sind ein, zwei Fehlschläge mehr oft Zufall. Melde echte Ausreißer per /bug mit Request-ID.

Einordnung

Belegt ist bisher nur eines: Um den 3. November herum hat sich der Stil der sichtbaren Denkzusammenfassungen geändert, offenbar kontoweise. Diese Zusammenfassungen stammen von einem anderen Modell. Belegt ist auch, dass Opus 5.5 mit niedrigerem Standard-Effort läuft und Claude-Code-Updates die Effort-Logik mehrfach verändert haben. Dass Opus 5.5 selbst schlechter wurde, zeigt keine der vier Messungen. Die japanische Nachmessung findet gleiche Qualität bei rund 6 Prozent höheren Kosten, deren Ursache offen ist.

Unsere Einschätzung: Die meisten „Beweise“ in sozialen Netzwerken sind Ablesungen am falschen Instrument. Die Nutzer haben trotzdem einen Punkt. Anthropic ändert sichtbare Teile seines Produkts ohne Ankündigung und hat es damit selbst schwer gemacht, Zusammenfassung, Werkzeug und Modell auseinanderzuhalten. Nach den eigenen Versprechen vom April wäre eine Erklärung fällig. Klarer wird es frühestens mit dem LiveNerf-Fenster, das am 12. November schließt. Ob Issue #105112 auf ein echtes Serverproblem zeigt, bleibt offen, solange Anthropic schweigt.