Externe Prüfung bei OpenAI: Lücken in der KI-Überwachung entdeckt

Worum es geht

Zwei Mitarbeiter der Organisationen METR und Redwood Research haben drei Wochen lang direkt bei OpenAI das interne System geprüft, das fehlgeleitetes Verhalten von KI-Agenten erkennen soll. METR ist eine Organisation, die KI-Modelle auf riskante Fähigkeiten testet, Redwood Research forscht an KI-Sicherheit. Die Prüfung lief vom 21. Juli bis 11. August. Die Ergebnisse wurden am 23. Oktober 2026 bekannt. Das Fazit: Das Überwachungssystem hatte erhebliche Lücken, OpenAI will sie inzwischen alle geschlossen haben.

Was geprüft wurde und wie

Die beiden Prüfer hatten Zugriff auf OpenAIs Codebasis und interne Dokumente und führten Interviews mit rund einem Dutzend Mitarbeitern. Untersucht wurde der Monitor, also ein Überwachungssystem, das die Aktionen interner KI-Agenten beobachtet. Agenten sind KI-Systeme, die selbstständig mehrere Schritte ausführen, etwa Programmcode schreiben und ausführen. Die Prüfung war ein Pilotversuch, den METR, Redwood Research und OpenAI gemeinsam organisierten, um externen Forschern tiefen Zugang zu interner Infrastruktur zu geben.

Die gefundenen Schwachstellen

Nicht erfasster Datenverkehr: Schätzungsweise 6 bis 25 Prozent des internen agentischen Verkehrs der Responses API (OpenAIs Programmierschnittstelle) von Modellen ab der GPT-5.5-Klasse waren zum Prüfzeitpunkt grundsätzlich nicht für die Überwachung vorgesehen. METR betont, die Unsicherheit der Schätzung sei in beide Richtungen erheblich.
Lücke bei Compaction Events: Compaction Events sind Zusammenfassungen des bisherigen Kontexts, die lange Agentenläufe kompakt halten. Beim internen Codex-Verkehr, der eigentlich überwacht werden sollte, blieben laut METR zwischen Mai und Juli etwa 10 Prozent deshalb unerfasst (auch hier mit erheblicher Unsicherheit). OpenAI entdeckte den Fehler unabhängig und behob ihn noch während der Prüfung.
Verzögerung der Aufsicht: In dieser Zeit wurde der Monitor erst ausgelöst, wenn ein Agent die Kontrolle an den Nutzer zurückgab. Ein Agent konnte das umgehen, indem er einfach weiter Aktionen ausführte.
Versteckte Aktionen und Sandbox: Die Prüfer fanden Wege, hunderte Aktionen vor dem Monitor zu verbergen und die Codex-Sandbox zu umgehen. Eine Sandbox ist eine abgeschottete Umgebung, die verhindern soll, dass Programme Schaden außerhalb anrichten.
Absturz des Monitors: Speziell konstruierte Eingaben könnten den Monitor wahrscheinlich komplett zum Ausfall bringen.
RL-Training: Das Verhalten von Modellen beim Reinforcement Learning (Training durch Belohnung) wurde zu Beginn der Prüfung gar nicht überwacht.

Hugging-Face-Vorfall und Nachbesserungen

OpenAI gibt an, nach dem sogenannten Hugging-Face-Vorfall im August das RL-Training pausiert und die Überwachung darauf ausgeweitet zu haben. Diese Änderungen erfolgten nach Ende des Zugangszeitraums der Prüfer und wurden nicht bewertet. Details zum Vorfall nennt die Quelle nicht.

Transparenz: Großteil des Berichts bleibt geheim

OpenAI sagt, alle gefundenen Schwachstellen seien behoben. Der vollständige Bericht umfasst 61 Seiten und ging intern an OpenAI. Die Leitungen von METR und Redwood bekamen nach Schwärzungen durch OpenAI eine 38-seitige Version. Öffentlich ist nur eine kurze Zusammenfassung. METR sagt, es habe kein Recht gehabt, die geschwärzten Teile selbst offenzulegen, und will bei künftigen Prüfungen auf mehr öffentliche Transparenz drängen.

Einordnung

Externe Prüfungen mit echtem Zugang zur Infrastruktur sind selten und wertvoll, weil sie nicht nur Modelle, sondern die Schutzmechanismen drumherum testen. Dass solche Lücken existierten, zeigt, wie schwer lückenlose Überwachung autonomer Agenten ist. Kritisch: Behauptungen, alles sei behoben, lassen sich von außen nicht prüfen, da die späteren Änderungen nicht bewertet wurden und der Bericht größtenteils geschwärzt ist. Die Schätzungen sind zudem unsicher. Ob andere Labore ähnliche Prüfungen zulassen, ist offen.