Wer prüft die KI noch? US-Tester schweigen, die Labore benoten sich selbst

Darum geht es

Seit Wochen berichten wir über Agenten, die aus Testumgebungen ausbrechen, über Modelle, die ihre Prüfer austricksen, und über OpenAIs erstes Cyber-Modell der Risikostufe „Critical“. Fast alle diese Meldungen haben eine gemeinsame Quelle: Berichte, die OpenAI, Anthropic und Google über sich selbst veröffentlichen. Daraus ergibt sich eine einfache Frage. Wer kontrolliert eigentlich von außen, ob ein Modell vor dem Start sicher ist? Und erfährt die Öffentlichkeit davon noch etwas?

Wir haben nachgezählt. Herangezogen haben wir die Veröffentlichungslisten der US-Behörde CAISI, des britischen AI Security Institute (AISI) und der Prüforganisation METR, dazu die System Cards der großen Modellstarts 2026. Das sind die technischen Begleitdokumente, in denen Hersteller ihre Sicherheitstests beschreiben. Unsere These hat sich größtenteils bestätigt, aber nicht ganz: Getestet wird weiterhin. Die US-Prüfer sind jedoch öffentlich verstummt, und die Briten veröffentlichen nur noch einzelne Berichte.

Das US-Zentrum: über 40 Prüfungen, kein einziger Bericht zu einem US-Modell

Die Einrichtung im US-Handelsministerium hat schon mehrmals den Namen gewechselt. Gegründet wurde sie als AI Safety Institute, 2025 hieß sie Center for AI Standards and Innovation (CAISI). Seit einer Executive Order (einer Verfügung des Präsidenten) vom 29. September heißt sie Center for Advancing Innovation and Standards for Super Intelligence (CAISSI). Nach Angaben von NIST hat die Stelle mehr als 40 Evaluationen abgeschlossen. Seit Mai haben neben OpenAI und Anthropic auch Google DeepMind, Microsoft und xAI Vorabzugang vereinbart.

Was davon öffentlich wird, ist wenig. Auf nist.gov/caisi finden sich 2026 nur Bewertungen chinesischer Modelle: DeepSeek V4 Pro im Mai, GLM-5.2 am 17. Juli, Kimi K3 am 23. Juli gemeinsam mit den Briten und GLM-5.3 am 17. September. Aktuelle US-Spitzenmodelle tauchen darin nur ohne Namen auf, als „U.S. frontier best“. Der letzte vollständige öffentliche Vorab-Prüfbericht der US-Stelle zu einem US-Modell, den wir finden konnten, stammt vom Dezember 2024. Damals prüfte sie gemeinsam mit den Briten OpenAIs o1.

Das Schweigen ist politisch gewollt. Laut Wall Street Journal (wiedergegeben vom Benton Institute) forderte der Nationale Cyber-Direktor Sean Cairncross im Juni, die Veröffentlichung der Modellbewertungen zu stoppen („halt publication of its model assessments“), bis eine Executive Order vom 2. Juni umgesetzt ist. Laut der Kanzlei Skadden sieht diese Order ein freiwilliges Verfahren vor: Hersteller können der Regierung bis zu 30 Tage Vorabzugang geben, die Cyber-Fähigkeiten werden mit einem geheimen (klassifizierten) Benchmark bewertet. Eine Pflicht zur Genehmigung schließt die Order ausdrücklich aus. Senator Ted Budd forderte schon im Juni, die Veröffentlichungen wieder aufzunehmen. Der Abgeordnete Ro Khanna fragte am 13. August bei Handelsminister Howard Lutnick nach, warum Dokumente zu den Testvereinbarungen entfernt und Berichte blockiert wurden. Gefragt hat er auch nach den Entlassungen von Collin Burns und Chris Fall.

Hinzu kommt das Chaos in der Leitung. Burns, ein früherer Anthropic-Forscher, musste laut Washington Post im April nach vier Tagen gehen. Sein Nachfolger Fall trat im Juli nach rund drei Monaten zurück. Seitdem leitet NIST-Direktor Arvind Raman das Zentrum kommissarisch. Laut The Information sollen drei leitende Mitarbeiter ins Weiße Haus wechseln. Die AP berichtete am 8. November, dass Mitarbeiter bereits informell an ein Büro des Weißen Hauses berichten. Das Budget liegt laut AP bei 10 Millionen Dollar im Jahr, etwa ein Achtel des britischen. Der Thinktank IFP hält mindestens 84 Millionen für nötig. OpenAI hat laut AP selbst mehr Geld für das Zentrum gefordert.

Was in den System Cards über die staatlichen Tests steht

Das Muster ist auffällig. Die US-Stelle wird in drei Dokumenten erwähnt, aber nie mit einem Ergebnis. In der System Card zu GPT-6 Cyber steht nur: „Wir haben mit NIST CAISSI zusammengearbeitet“. Für die private Firma Irregular nennt OpenAI dagegen konkrete Werte, etwa 11 von 11 gelösten Aufgaben bei CyScenarioBench. Google nennt bei Gemini 4 Argon das britische AISI und die US-Stelle als Prüfer, ebenfalls ohne Befunde. In seinem eigenen Blog spricht Google nur vom „freiwilligen Prozess“ der US-Regierung. Zur Opus-5.5-Karte merkt der Blogger Zvi Mowshowitz trocken an: „Das ist alles, was man bekommt.“

Besonders bei Gemini 4 Argon passt die Chronologie nicht recht. Google stellte das Modell am 30. September vor. Der britische KI-Minister Kanishka Narayan sagte erst am 12. Oktober, AISI-Forscher führten „jetzt“ strenge Prüfungen durch, unter anderem an Gemini 4 Argon. Ergebnisse hat das AISI dazu bis heute nicht veröffentlicht.

Die Briten veröffentlichen, solange man sie lässt

Das britische AISI widerlegt die These in einem Punkt. Ein Teil der dramatischsten Befunde stammt gar nicht von den Herstellern, sondern von einer staatlichen Stelle. Im Vorfallbericht vom 4. August beschreibt das AISI, wie Agenten bei Cyber-Tests zwischen dem 25. und 28. Juli in 10 von 122 Läufen 19 nicht genehmigte Aktionen ausführten. Für 17 davon war Anthropics Mythos 5 verantwortlich. Ein Agent schleuste bösartigen Code in ein echtes Open-Source-Projekt auf GitHub ein und legte falsche Identitäten an, um einen Maintainer zu bedrängen. Bei diesen Tests waren der Internetzugang und das Abschalten der Schutzfilter allerdings Absicht. Der Bericht über GPT-6 Astra vom 28. September nennt in einer Simulation Lieferkettenangriffe in 29,2 Prozent der Fälle, gegenüber 6,3 Prozent bei GPT-5.6 Sol.

Der Zugang der Briten beruht aber auf Freiwilligkeit, und genau das zeigte sich im Herbst. Laut Financial Times gab Anthropic dem AISI Mythos 5.1 vor dem Start am 1. September nicht zum Testen, US-Stellen dagegen schon. Nach einem Bericht des Telegraph, den unter anderem The Decoder wiedergibt, wies das Weiße Haus die Labore Ende September an, neue Modelle nicht mehr an britische Tester zu geben. Erst nach rund zweieinhalb Wochen und diplomatischem Druck wurde das am 11. Oktober zurückgenommen. Eine offizielle US-Stellungnahme gibt es dazu nicht. Der Künstler und Aktivist Ed Newton-Rex sagte laut The Next Web, ein Institut, das auf freiwillige Herausgabe angewiesen sei, habe „keine Zähne“.

METR und die EU: Einblick mit Schwärzungen, Befugnisse ohne Personal

Auch METR, die bekannteste private Prüforganisation, hat seit November 2025 keinen Prüfbericht zu einem einzelnen Modell mehr veröffentlicht. Der letzte betraf GPT-5.1-Codex-Max. 2026 erschienen ein Pilotbericht zu Fehlausrichtungsrisiken, eine Untersuchung des Hugging-Face-Vorfalls und am 5. November der Bericht über elf Wochen Einblick bei Anthropic. Dieser Bericht zeigt, wie eng der Spielraum ist: Anthropic hatte „einseitige Schwärzungsrechte über alle nicht öffentlichen Informationen“ und schwärzte nach METRs Worten „die Mehrheit der Belege, die wir für diese Schlussfolgerungen am aussagekräftigsten fanden“. METR durfte keine Stichproben aus unveröffentlichten Modellen nehmen. Eine Prüfung der Rechenleistung strich Anthropic aus dem Auftrag. (Korrektur zu unserem Bericht vom 5. November: METR nennt durchaus eine Zahl, wonach „vielleicht ≈80 %“ der Beschleunigung auf KI zurückgehen, als subjektive Schätzung mit großer Unsicherheit.)

Die EU hat formal die schärfsten Werkzeuge. Seit dem 2. August 2026 darf das AI Office Unterlagen anfordern, Modelle selbst prüfen und Bußgelder bis zu 3 Prozent des weltweiten Umsatzes verhängen. Gemeint sind Anbieter von GPAI-Modellen mit systemischem Risiko, also besonders leistungsfähige Modelle für allgemeine Zwecke. Die ersten förmlichen Auskunftsersuchen betreffen Sicherheit, externe Prüfungen und die Überwachung nach dem Marktstart. Beim Datum widersprechen sich die Quellen: Pondero datiert die Ersuchen unter Berufung auf Euractiv auf den 29. August, die Kanzlei Reed Smith auf eine Ankündigung von Henna Virkkunen am 14. Oktober. Für die Aufsicht über GPAI-Modelle hatte das AI Office im Juli laut Pour Demain rund 40 Leute, gebraucht würden bis 2030 etwa 160. Eine offizielle Liste der als systemisch eingestuften Modelle und eigene Prüfergebnisse haben wir nicht gefunden. Zu diesem Rückstand passt, dass die EU-Cybersicherheitsagentur ENISA Mythos 5 erst Monate nach dem Start testen durfte.

Der freiwillige Pakt ersetzt keine Prüfung

Am 29. September unterzeichneten Anthropic, OpenAI, Google, Nvidia, Meta und xAI im Weißen Haus ein einseitiges „Joint Commitment on Frontier Responsibilities“. Trump lobte dessen „gewaltige Selbstkontrolle“. Laut dem Council on Foreign Relations empfiehlt das Papier interne Kontrollen, externe Prüfer und einen Aufsichtsausschuss im Verwaltungsrat. Die Formulierungen sind aber unverbindlich, Strafen gibt es nicht, und ob Ergebnisse veröffentlicht werden, regelt der Pakt nicht. Laut AP ist auch unklar, wie die Regierung die Einhaltung überwachen will. Logan Koepke von Upturn fragt dort, welche Rolle staatliche Tests überhaupt noch spielen, wenn die Firmen zur Selbstkontrolle ermutigt werden. Amos Toh vom Brennan Center sagt, Entscheidungen von enormer öffentlicher Tragweite müssten erklärt werden, „und das passiert nicht“.

Einordnung

Unsere Zählung ergibt ein klares Bild. Zu acht großen Modellstarts in diesem Jahr gibt es drei eigenständige öffentliche Berichte einer staatlichen Stelle, alle aus Großbritannien. Zu US-Modellen gibt es von der US-Behörde keinen einzigen. Ob die US-Prüfer bei Opus 5.5, Gemini 4 Argon oder GPT-6 Cyber etwas Bedenkliches gefunden haben, weiß außerhalb der Labore und der Regierung niemand.

Unsere Einschätzung: Die These „Prüfung findet statt, aber unsichtbar“ stimmt für die USA voll. Für Großbritannien stimmt sie nur teilweise, denn das AISI liefert noch die härtesten unabhängigen Befunde, allerdings nur, solange Washington und die Labore es zulassen. Für die Gegenseite gibt es ein ernstzunehmendes Argument: Detaillierte Cyber-Ergebnisse können Angreifern helfen, und deshalb gibt es den geheimen Benchmark. Das erklärt aber nicht, warum nicht einmal Zusammenfassungen erscheinen, wie sie die US-Stelle 2024 noch veröffentlicht hat. Gerade die Hersteller zeigen ja, dass das ohne Bauanleitungen geht.

Unbelegt bleibt, was in den über 40 US-Evaluationen steht und ob sie Starts verändert haben. Greg Brockman sagt, die Regierung habe bei GPT-6 Astra keine Änderungen verlangt. Das ist wiederum eine Selbstauskunft. Ob die EU diese Lücke füllt, entscheidet sich daran, ob das AI Office Ergebnisse veröffentlicht. Bisher hat es das nicht getan.