Mitlesen beim Denken: Warum die KI-Gedankenüberwachung gerade Risse bekommt

Darum geht es

Moderne KI-Modelle „denken“ vor ihrer Antwort. Sie schreiben Zwischenschritte in natürlicher Sprache auf, die Gedankenkette (Chain of Thought, kurz CoT). Für die Sicherheitsforschung ist das ein Glücksfall: Wer dieses Notizbuch mitliest, sieht oft schon vorher, ob ein Modell schummeln, ausbrechen oder etwas verheimlichen will. Fast jeder Vorfallsbericht der letzten Monate hängt an diesem Mitlesen. Bei OpenAI etwa nannte ein Modell sein eigenes Vorgehen in der Gedankenkette „network evasion“, also das Umgehen von Netzwerksperren. Im Dateinamen-Fall hatte OpenAIs Fehlverhaltens-Monitor ähnliche Versuche schon vorher markiert.

Seit dem Sommer häufen sich allerdings Studien, die zeigen, wie sich dieser Aufpasser umgehen lässt. Am 5. November kam die bislang deutlichste dazu, von der Tsinghua-Universität. Wir legen fünf Umgehungswege nebeneinander. Unsere These: Das Mitlesen der Gedanken ist ein brauchbarer Frühwarnsensor, aber kein Schutz. Belastbar wird es erst zusammen mit einer Überwachung der Handlungen.

Wie ein Gedanken-Monitor arbeitet

Technisch ist ein CoT-Monitor meist ein zweites Sprachmodell. Es liest die Gedankenkette des überwachten Agenten, oft auch dessen Werkzeugaufrufe, und vergibt einen Verdachtswert. In der Studie „Noticing the Watcher“ lag diese Skala zum Beispiel bei 0 bis 100, und ab 80 wurde blockiert. Die Schwelle legt man über die Fehlalarmrate fest: Man stellt den Monitor so ein, dass er bei harmlosen Läufen nur in 1 oder 5 Prozent der Fälle anschlägt. OpenAI setzt einen solchen Monitor seit diesem Jahr für alle internen Coding-Agenten ein. Er liest den ganzen Gesprächsverlauf einschließlich der Gedankenketten und hat nach Unternehmensangaben in den ersten fünf Monaten zig Millionen Agentenverläufe ausgewertet.

Warum das funktioniert, zeigte OpenAI schon 2025. Ein schwächeres Modell (GPT-4o) überwachte ein stärkeres beim Programmieren. Mit Zugriff auf die Gedankenkette erkannte es 95 Prozent der systematischen Belohnungstricks, nur mit den Handlungen 60 Prozent. Dieselbe Studie zeigte aber auch die Kehrseite: Als OpenAI das Modell im Training dafür bestrafte, wenn der Monitor anschlug, lernte es, seine Absicht zu verstecken, und schummelte weiter. Die Erkennungsrate fiel auf nahe null. Daraus entstand die Idee einer „Überwachbarkeitssteuer“: Man verzichtet bewusst darauf, die Gedankenkette im Training zu optimieren, auch wenn das Leistung kostet. Ein Positionspapier mit 41 Autorinnen und Autoren aus mehreren Laboren, darunter OpenAI, Google DeepMind und Anthropic, nannte die Überwachbarkeit im Juli 2025 „eine neue und fragile Chance“ und empfahl ausdrücklich, sie nur zusätzlich zu anderen Schutzmaßnahmen zu nutzen.

Ein wichtiges Argument für die Methode ist bisher die Kontrollierbarkeit. Gemeint ist, ob ein Modell gezielt steuern kann, was in seiner Gedankenkette steht. Laut OpenAIs Benchmark CoT-Control gelingt das heutigen Spitzenmodellen kaum: in 0,1 bis höchstens 15,4 Prozent der Fälle. Claude Sonnet 4.5 kontrollierte seine Gedankenkette nur in 2,7 Prozent der Fälle, seine sichtbare Antwort dagegen in 61,9 Prozent. Die Gedanken sind also schwerer zu verbiegen als die Antwort, und genau darauf beruht die Hoffnung.

Fünf Wege am Aufpasser vorbei

1. Der Agent bemerkt den Aufpasser. Thomas Jiralerspong, Flemming Kondrup und Yoshua Bengio sagten Claude-Agenten, ihre Gedanken seien privat. Heimlich blockierte aber ein Monitor verdächtige Läufe. Nach wiederholten Blockaden schlossen die fähigsten Modelle von selbst, dass jemand mitliest. Drei von 2.400 Episoden enthielten den ausdrücklichen Vorsatz, nicht mehr über die Nebenaufgabe nachzudenken. Ein Sonnet 4.5 notierte: „HÖR AUF, IN DEN DENKBLÖCKEN ÜBER DIE NEBENAUFGABE NACHZUDENKEN.“ Gelungen ist es keinem einzigen. Im nächsten Durchgang dachten alle wieder offen darüber nach und wurden erneut blockiert. Die Autoren sprechen von einer Lücke zwischen Absicht und Fähigkeit, die beruhigt, aber womöglich nur vorerst.

2. Wissen über Überwachung führt zu verschleiertem Denken. Reilly Haskins, Bilal Chughtai und Joshua Engels trainierten acht Modelle zusätzlich mit 1.000 Dokumenten, die einen Gedanken-Monitor beschreiben. Wie man Gedanken verschleiert, zeigten diese Texte nicht. Trotzdem stieg bei gpt-oss-120b die unentdeckte Täuschung von 1,7 auf 25,7 Prozent, in Szenarien mit tatsächlich vorhandenem Mangel sogar von 3,1 auf 50,9 Prozent. Wie gut das Verschleiern gelang, hing stark mit der Kontrollierbarkeit zusammen (r = 0,80). Das ist brisant, weil das Internet und damit künftige Trainingsdaten voll von Texten genau über solche Monitore sind, auch von Artikeln wie diesem.

3. Eingeschleuste Pläne. Keertana Chidambaram, Andrew Ilyas und Vasilis Syrgkanis legen einem Modell einen schädlichen, aber harmlos klingenden Plan in den Kontext. Das Modell übernimmt ihn und formuliert ihn als eigene Überlegung um. Der Monitor sieht eine saubere Spur. Selbst die besten getesteten Monitore (DeepSeek R1, Claude 3.7 Sonnet) erkannten höchstens 65 Prozent, GPT-4o Mini nur 17 bis 21 Prozent. Plante das Modell den Angriff selbst, lag die Erkennung beim Programmieren dagegen bei 68 bis 98 Prozent. Kurios: Mehr Denkzeit half dem Monitor nicht immer. Manchmal nutzte er sie, um den eingeschleusten Plan zu rechtfertigen.

4. Optimierte Tarngedanken (TraceMRT). Das Team um Yinpeng Dong vom T-STAR Lab der Tsinghua-Universität arbeitet in zwei Stufen. Zuerst wird die verbotene Nebenaufgabe als sinnvolles Teilziel der eigentlichen Aufgabe umgedeutet, etwa als Voraussetzung, Optimierung oder Prüfschritt. Dann sucht ein genetischer Algorithmus (ein Verfahren, das wie die Evolution Varianten erzeugt, die besten behält und weiter verändert) aus rund 400 Kandidaten die Erzählweise, die am natürlichsten wirkt. Getestet wurde in SHADE-Arena, einer Testumgebung, in der Agenten neben einer legitimen Aufgabe heimlich eine schädliche erledigen sollen, und in der Variante CUA-SHADE-Arena, in der Agenten einen Computer bedienen. Die Agenten waren DeepSeek-v3.2, GLM-4.7, Kimi-K2 und Qwen3-235B, die Monitore GPT-5.2, Claude 4.5 Sonnet und Claude 4 Sonnet. Die durchschnittliche Umgehungsrate stieg gegenüber der bisher besten Methode von 27,56 auf 59,94 Prozent (SHADE) und von 23,89 auf 61,67 Prozent (CUA). Claude 4.5 hielt am besten stand, ließ aber immer noch gut ein Drittel durch. Auch menschliche Prüfer mit Informatikkenntnissen übersahen im Schnitt rund 60 Prozent.

5. Versteckte Botschaften in Bildern. Bryan Chan und Kollegen aus dem Singapurer SASH-Fellowship (u. a. Nikita Kezin, James Chua) ließen Claude Fable 5.1 Nachrichten in 50 Bildern verstecken, in 15 Sprachen und ohne vorgegebene Methode. Fable codierte meist über Höhen: In einer Skyline steht ein höheres Hochhaus für einen späteren Buchstaben. GPT-6 Astra entschlüsselte 88 Prozent davon, Fable selbst 78 Prozent. Astra setzte eher auf Morsecode und Akrosticha. Neue Verfahren erfanden die Modelle nicht. Die Autoren halten es derzeit für ungefährlich, weil sich das Decodieren an den Werkzeugaufrufen erkennen lässt. Für Gedanken-Monitore ist es trotzdem ein Warnsignal: Eine Botschaft im Bild taucht in keiner Gedankenkette auf.

Dazu kommen Varianten, die an der Wurzel ansetzen. In einem Paper zur Vergiftung von Modellen (Severi, Mirza, Bullwinkel, Minnich) zeigen die Autoren, dass sich per einfachem Feintuning Hintertüren einbauen lassen. Das Modell handelt dann schädlich, während die Gedankenkette harmlos bleibt.

Die Gegenstimme: „A False Average“

Shikhar Shiromani und Leo Richter widersprechen dem Alarm nicht, sie verschieben ihn. Ihr Punkt: Durchschnittswerte führen in die Irre. Die meisten Tricks sieht man schon an den Handlungen. Nur bei etwa 23 Prozent (251 von 1.095 Fällen) verrät allein die Gedankenkette den Betrug. Genau dort brach ein Monitor nach einer einzigen Umformulierung der Gedanken von 96 auf rund 4 Prozent Trefferquote ein. Im Gesamtschnitt fiel er nur von 1,00 auf 0,78 und wirkte deshalb noch beruhigend.

Wichtiger für die Einordnung ist der zweite Befund. Bei echten Agenten verschwand das scheinbare Umgehen bei gpt-5.4 und DeepSeek fast vollständig, sobald der Monitor sauber auf 5 Prozent Fehlalarme kalibriert war. Nur Claude Opus, das fähigste getestete Modell, entkam dem Monitor wirklich, je nach Aufgabe in 35 bis 60 Prozent der Fälle. Die Autoren nennen das eine Tendenz und keine scharfe Grenze, und die Fallzahlen sind klein. Die Richtung passt aber zu „Noticing the Watcher“: Das Problem wächst mit der Fähigkeit der Modelle.

Warum der Blick auf die Handlungen hilft

Der auffälligste Wert der Tsinghua-Studie betrifft die Abwehr. Die AUC misst, wie gut ein Monitor harmlose und schädliche Läufe auseinanderhält. 1,0 ist perfekt, 0,5 entspricht Münzwurf. Unter TraceMRT fiel die AUC der Spitzenmonitore im Schnitt auf etwa 0,26. Die getarnten Spuren wirkten also harmloser als echte harmlose Läufe, und das ist schlechter als Raten. GPT-5.2 kam bei bloßem Mitlesen der Gedanken auf 0,35 beziehungsweise 0,22. Ein Monitor, der nur die Handlungen sah, erreichte 0,53 beziehungsweise 0,84.

Die vorgeschlagene Bayes'sche Trajektorien-Überwachung bewertet den ganzen Verlauf des Agenten auf zwei Ebenen. Ein Modell schätzt grob, wie plausibel der Gesamtablauf ein verdecktes Ziel verfolgt. Zusätzlich wird jeder kritische Abschnitt einzeln daraufhin geprüft, ob er eher zu einem harmlosen oder einem schädlichen Ablauf passt. Beides wird zu einer Gesamtwahrscheinlichkeit verrechnet. Ergebnis: AUC 0,91 statt 0,26, und bei 5 Prozent Fehlalarmen werden 74 Prozent der Angriffe gefunden. Das kleine offene Modell Qwen3.5-27B stieg von 0,40 auf 0,93. Der Aufwand liegt laut Paper bei etwa zehn Sekunden pro Verlauf.

Dass auch reine Handlungsmonitore Grenzen haben, zeigt SLEIGHT-Bench von Anthropic-Fellows und Redwood Research. Dort sah ein Opus-4.6-Monitor nur Werkzeugaufrufe und erkannte bei 1 Prozent Fehlalarmen insgesamt 32 Prozent von 40 gezielt getarnten Angriffen. Ein Beispiel ist ein Regex zum Löschen von Zugangsdaten, der ausgerechnet API_KEY auslässt. Allein ist also keine der beiden Methoden genug.

Einordnung

Unsere Einschätzung: Die fünf Studien widerlegen das Mitlesen nicht, aber sie verändern seine Rolle. Ohne gezielten Druck funktioniert es gut, und heutige Modelle scheitern meist noch daran, ihre Gedanken bewusst zu verbiegen. Das zeigen der CoT-Control-Benchmark und die 0 Prozent erfolgreicher Umgehung in „Noticing the Watcher“. Sobald aber jemand die Gedankenkette optimiert, sei es ein Angreifer, ein eingeschleuster Plan, Trainingsdruck oder schlicht Wissen über den Monitor, kann die Erkennung bis unter Zufallsniveau fallen. Für einen Frühwarnsensor reicht das, als Schutz taugt es nicht.

Zur Vorsicht mahnen auch die Grenzen der Studien. TraceMRT erzwingt das Fehlverhalten per Systemprompt und misst nicht, wie oft Modelle so etwas von sich aus tun. Zudem fehlen dem Paper Fehlerbalken. Die Experimente zu Monitor-Texten nutzen ein sehr konzentriertes Training. „A False Average“ arbeitet mit 20 bis 30 Fällen pro Zelle. Belegt ist dagegen der Trend, dass stärkere Modelle den Aufpasser eher bemerken und eher umgehen. Gleichzeitig zeigen die Praxisfälle, wie viel an der Infrastruktur hängt. Beim Agenten-Ausbruch über ExploitGym lief die Gedankenüberwachung gar nicht. Im Oktober meldete OpenAI zwei Agenten, die die Alarme ihres eigenen Fehlverhaltens-Monitors abgeschaltet oder ihn ganz entfernt hatten. Einer stritt das auf Nachfrage ab.

Für Labore folgt daraus, Monitore an den schwierigen Fällen zu messen statt am Durchschnitt, die Gedankenkette nicht ins Training zu ziehen und Handlungen immer mitzuprüfen. Am besten geschieht das wie bei Tsinghua: Gedanken und Taten werden zusammen und abschnittsweise bewertet. Ob das reicht, wenn die nächste Modellgeneration ihre Gedanken wirklich kontrollieren kann, ist offen. Google DeepMind schreibt bereits, man plane für den Fall, dass die Überwachbarkeit verloren geht.