Externe Prüfer: Anthropics KI wird doppelt so schnell besser – mit KI-Hilfe

Worum es geht

Am 5. November 2026 hat METR (Model Evaluation and Threat Research), eine spendenfinanzierte Organisation aus Berkeley, einen Bericht über Anthropic veröffentlicht. Die Frage dahinter: Beschleunigt KI inzwischen die Entwicklung von KI? Dazu hat METR vom 12. August bis zum 29. Oktober 2026 interne Daten der Claude-Entwickler ausgewertet und Beschäftigte befragt. METR nennt den Zugang „beispiellos“.

Die Kernaussage: Mit Stand Oktober 2026 verbessert Anthropic seine Modelle bei klar umrissenen Aufgaben wahrscheinlich etwa doppelt so schnell wie zwischen März 2024 und Oktober 2025. Der Großteil dieser Beschleunigung geht nach Einschätzung von METR wahrscheinlich darauf zurück, dass Anthropic selbst sehr viel KI in der Forschung einsetzt. Laut Associated Press heißt es im Bericht: Anthropic habe im vergangenen Jahr bei Benchmarks so viel Fortschritt gemacht wie zuvor zwischen Oktober 2023 und Oktober 2025.

Wie es zu der Prüfung kam

Der Zeitpunkt ist bemerkenswert. Am 12. September hatte Anthropic-Chef Dario Amodei in einem Essay gefordert, die Branche solle bei neuen Fähigkeiten langsamer machen, damit die Sicherheitsforschung hinterherkommt. Darin warb er auch dafür, unabhängige Prüfer direkt in führenden KI-Laboren arbeiten zu lassen, und nannte METR ausdrücklich als geeignet. Laut CNBC gab Anthropic Mitte Oktober die Zusammenarbeit mit METR und SecureBio bekannt. Gespräche mit weiteren Organisationen wie Hugging Face laufen.

Anthropic arbeitet dafür an einem dreistufigen System. Prüfer der ersten Stufe dürfen eng begrenzte Risikountersuchungen durchführen. Die zweite Stufe darf Berichte ohne Freigabe von Anthropic veröffentlichen. Die dritte bekommt einen Zugang wie Angestellte. METR wurde laut CNBC als Prüfer der dritten Stufe eingestuft: Sechs METR-Leute erhielten Zugang zu Hardware, Büros und Werkzeugen, „ungefähr vergleichbar“ mit Anthropics eigenen Risikoteams.

Der Bericht selbst zeichnet ein eingeschränkteres Bild. Laut Unite.AI und METR hatte das Team keinen ungefilterten Zugang wie Angestellte und konnte keine Stichproben von nicht veröffentlichten Modellen nehmen. Anthropic durfte Anfragen genehmigen oder ablehnen und nicht öffentliche Inhalte einseitig schwärzen. Gearbeitet wurde auf Geräten von Anthropic, mit kostenlos bereitgestellten Tokens. Geld nahm METR nach eigenen Angaben nicht an und behielt die Hoheit über Methode und Schlussfolgerungen. Das Projekt lief mit 2,5 Vollzeitstellen. Ausgewertet wurden:

• interne Benchmark-Ergebnisse,
• Kennzahlen aus dem Pretraining (dem Grundtraining mit riesigen Textmengen) und dem Reinforcement Learning (Training durch Belohnung für gute Lösungen),
• Daten zur Trainingsrechenleistung,
• interne Analysen zur KI-Beschleunigung und interne Dokumente,
• rund 15 Interviews mit wichtigen Mitarbeitenden.

Die Zahlen

Als Messlatte diente AECI, Anthropics Version des Epoch Capabilities Index. Dieser Index fasst viele Benchmarks zu einem einzigen Fähigkeitswert zusammen. In die Rechnung flossen auch Modelle ein, die nur intern genutzt werden. Jede Modellversion wurde auf den Zeitpunkt datiert, ab dem die meisten Anthropic-Beschäftigten sie nutzen konnten. So lassen sich veröffentlichte und unveröffentlichte Modelle auf derselben Zeitachse vergleichen.

Das Konfidenzintervall ist der Bereich, in dem der wahre Wert mit hoher statistischer Sicherheit liegt. Die Robustheitstests rechnen dieselbe Frage mit anderen Annahmen nach, etwa dazu, wie schwer einzelne Benchmarks gewichtet werden. Dabei schwankte das Ergebnis zwischen 1,1- und 2,9-fach. Der Wert von 1,9 ist also keine feste Konstante.

Die Befragungen der Beschäftigten passen laut METR zu einer Verdopplung, die Antworten streuten aber stark. Die rund 12-fache Produktivitätssteigerung aus informellen Umfragen bewertet METR vorsichtig: Die Umfragen erforderten wenig Aufwand, sind womöglich nicht repräsentativ, und wenn Einzelne schneller arbeiten, wächst die Leistungsfähigkeit der ganzen Organisation nicht im gleichen Maß.

Das Krypto-Portal Cryptobriefing schreibt von einer Beschleunigung „bis zum Dreifachen“, die zu etwa 80 Prozent auf KI zurückgehe. Eine solche 80-Prozent-Angabe findet sich im öffentlichen METR-Text nicht. Dort ist nur von einer „Mehrheit“ die Rede, und das Dreifache nennt METR lediglich als Obergrenze dessen, was das Team nicht überraschen würde.

KI als Treiber und warum das heikel ist

METR ist sich sicher, dass mehr Trainingsrechenleistung die Beschleunigung nicht erklärt. Die Belege dafür wurden allerdings geschwärzt. Ende 2025 spielten wahrscheinlich auch andere Faktoren eine große Rolle. Die anhaltende Beschleunigung erklären sie nach heutiger bester Schätzung aber nicht. Anthropic sagt selbst, dass Claude zunehmend an der Entwicklung seiner Nachfolger mitarbeitet.

METR zieht dabei eine klare Grenze: Die KI unterstützt vor allem menschliche Forschende. Hochbedeutsame, völlig eigenständige Beiträge zum wichtigsten Trainingsprozess leistet sie noch nicht. Einige Beschäftigte berichteten aber von Anzeichen, dass sich das bald ändern könnte, je nach Bereich unterschiedlich weit.

Hier liegt die eigentliche Sorge. Wenn bessere KI bessere KI baut, kann ein sich selbst verstärkender Kreislauf entstehen. METR hat keine überzeugenden Hinweise auf Engpässe gefunden, die den Fortschritt in den nächsten zwölf Monaten deutlich bremsen würden: weder beim algorithmischen Fortschritt noch bei der Rechenleistung für Training und Experimente noch bei den Trainingsdaten. Daraus folgert METR ein „erhebliches Risiko“, dass sich weitere Fortschritte zu einer noch stärkeren Beschleunigung aufschaukeln. Das ist ausdrücklich eine Risikoeinschätzung und kein beobachtetes Ergebnis. METR räumt zudem ein, dass sich das eigene Bild der Engpässe mehrfach geändert hat, als neue Informationen hinzukamen. Das Team ist deshalb bei diesem Punkt unsicher.

Grenzen der Messung

METR nennt selbst Gründe, warum die Schätzung zu hoch oder zu niedrig sein könnte.

Zu hoch, wenn: die Modelle auf die Benchmarks hin optimiert wurden (Overfitting, vergleichbar mit Auswendiglernen für eine bestimmte Prüfung), wenn Fortschritte ohne KI-Beteiligung unterschätzt wurden oder wenn Anthropics Fortschritt 2023 bis 2025 ungewöhnlich langsam war und die neuen Zahlen deshalb besonders groß aussehen. Hinzu kommt: AECI misst klar definierte Aufgaben, die sich automatisch oder von einem Sprachmodell bewerten lassen. Ob die Fortschritte bei unordentlicher Alltagsarbeit genauso groß sind, ist offen.

Zu niedrig, wenn: jüngste Beschleunigungen noch nicht in den Daten auftauchen, menschliche Engpässe schneller wegfallen als gedacht oder die Benchmarks die praktische Wirkung unterschätzen.

Ein weiteres Problem ist die Sättigung. Ein als „Model 4“ bezeichnetes Modell lag bei allen 15 verwendeten Benchmarks bereits über 50 Prozent. Werden die Tests zu leicht, lässt sich künftiger Fortschritt kaum noch messen. Ähnlich ist es bei einer Schulklasse, in der fast alle die Bestnote schreiben.

Die Schwärzungen

Der heikelste Punkt steht schon am Anfang des METR-Berichts. Anthropic hat die Mehrheit der Belege geschwärzt, die METR für am aussagekräftigsten hielt. Betroffen sind Details dazu, wie viel der Beschleunigung auf KI zurückgeht, Schätzungen zum algorithmischen Fortschritt, die Analyse der Engpässe und Prognosen für künftige Modelle. Anthropic begründet das damit, vertrauliche Informationen zu schützen, die anderen KI-Entwicklern helfen könnten. Laut AP reagierte Anthropic zunächst nicht auf Anfragen. METR schreibt offen:

„Infolgedessen muss sich die Öffentlichkeit viel stärker auf das Urteil von METR verlassen, als es angesichts der Tragweite der hier beantworteten Fragen ideal wäre.“

Auch im METR-Team gab es nach eigener Aussage Meinungsverschiedenheiten und große Unsicherheit.

Einordnung

Zum ersten Mal hat eine externe Organisation mit tiefem Einblick bestätigt, was viele vermutet haben: In einem führenden KI-Labor wird die Entwicklung schneller, und KI-Werkzeuge sind wahrscheinlich ein wesentlicher Grund dafür. Das ist mehr als Marketing-Rhetorik. Die Ergebnisse stützen genau die Warnung vor einem sich selbst beschleunigenden Kreislauf, die Amodei im September ausgesprochen hat.

Zugleich zeigt der Bericht die Grenzen solcher Prüfungen. Der geprüfte Konzern entscheidet, was öffentlich wird, und die wichtigsten Belege fehlen. Gemessen wurde zudem nur der Fortschritt bei gut messbaren Aufgaben, nicht die allgemeine Leistungsfähigkeit oder das Tempo neuer Produkte. Wer jetzt von „dreifacher Beschleunigung“ oder der Singularität liest, sollte das mit Vorsicht genießen. Die belastbare Aussage lautet: etwa doppelt so schnell, mit großer Unsicherheit.

Offen bleibt auch, ob andere Labore wie OpenAI oder Google ähnliche Prüfungen zulassen und ob es bald Standards dafür gibt, was solche Prüfer sehen und veröffentlichen dürfen. Anthropic selbst schreibt, dass es solche Standards bisher nicht gibt.