Kleines Modell als Dietrich: Forscher entschlüsseln verborgene KI-Denkprozesse

Worum es geht

Moderne KI-Modelle wie Claude Opus, GPT-5.6 oder Gemini 3.1 Pro „denken“, bevor sie antworten. Sie schreiben intern eine lange Kette von Zwischenschritten, die sogenannte Chain-of-Thought (Gedankenkette), und erst danach die sichtbare Antwort. Diese Überlegungen zeigen die großen Anbieter ihren Kunden inzwischen nicht mehr. Sie verschicken sie nur noch als verschlüsselten Textblock.

Ein Forschungsteam um Alexander Panfilov, David Schmotz, Ilia Shumailov, Luca Beurer-Kellner, Joachim Schaeffer, Ameya Prabhu, Jonas Geiping und Maksym Andriushchenko zeigt in einem neuen Paper mit dem Titel „Stealing Reasoning Traces from Proprietary LLM APIs“, dass sich diese Verschlüsselung mit einem einfachen Trick umgehen lässt. Man gibt den verschlüsselten Denkblock eines starken Modells an ein schwächeres, schlechter abgesichertes Modell desselben Anbieters weiter und bittet es, den Inhalt abzuschreiben. Das funktioniert laut den Autoren bei Anthropic, OpenAI und Google. Hacker Noon hat das Paper veröffentlicht. Die Experimente stammen nach Angaben der Autoren vom Stand Juli 2026.

Warum die Denkprozesse verschlüsselt werden

Die Gedankenketten sind für Anbieter heikel. Sie enthalten oft viel mehr als die fertige Antwort: Zwischenhypothesen, Ergebnisse von Werkzeugaufrufen, Nutzerdaten und Geheimnisse aus dem Kontext. Konkurrenten könnten sie für Distillation nutzen. Dabei trainiert man ein eigenes, kleineres Modell mit den Ausgaben eines großen Modells und kopiert so dessen Fähigkeiten. Außerdem könnten offengelegte Gedanken verraten, wie die Sicherheitsmechanismen eines Modells arbeiten, oder schädliche Informationen enthalten.

Deshalb haben die Anbieter Klartext-Gedanken abgeschafft. Die API, also die Programmierschnittstelle, über die Entwickler die Modelle nutzen, liefert stattdessen höchstens eine Zusammenfassung und einen verschlüsselten Block, etwa in Feldern namens signature oder thinkingSignature. Die Anbieter wollen die Gedanken nicht selbst speichern. Deshalb muss der Kunde diesen Block bei jeder weiteren Anfrage im Gespräch mitschicken, damit das Modell an seine früheren Überlegungen anknüpfen kann. Das Prinzip heißt zustandslos: Der Server merkt sich nichts, der Kunde trägt das Gedächtnis als versiegelten Umschlag mit sich herum.

Technisch handelt es sich laut Paper um AEAD-Verschlüsselung (Authenticated Encryption with Associated Data). Der Inhalt wird dabei nicht nur unlesbar gemacht, sondern zusätzlich mit einem Prüfsiegel versehen. Jede Manipulation fällt auf und wird abgelehnt. Kein Anbieter hat bisher Details zu seinem Verfahren veröffentlicht.

Die Schwachstelle: Ein Schlüssel für alles

Die Forscher bauen auf einer früheren Arbeit des Sicherheitsforschers Green auf. Er hatte gezeigt, dass sich solche Blöcke aus ihrem ursprünglichen Gespräch herauslösen lassen. Das neue Team geht weiter: Offenbar verwenden die Anbieter einen einzigen globalen Schlüssel für alle Denkblöcke. Die Autoren unterscheiden drei Stufen der Austauschbarkeit:

• Innerhalb einer und zwischen Sitzungen: Blöcke lassen sich in anderer Reihenfolge oder in neuen Gesprächen wiederverwenden.
• Zwischen Nutzern: Ein Block, den Nutzer A erzeugt hat, wird auch akzeptiert, wenn Nutzer B ihn einreicht.
• Zwischen Modellen: Ein Block von Opus 4.8 funktioniert auch bei Haiku 4.5.

Die letzte Stufe ist für die Anbieter praktisch. Kunden können mitten im Gespräch auf ein günstigeres Modell wechseln oder bei Überlastung automatisch umgeleitet werden, ohne dass die Denkarbeit verloren geht. Laut Paper sieht die Kompatibilität (Stand Juli 2026) so aus:

So läuft der Angriff

Hier liegt das Kernproblem. Spitzenmodelle wie Opus 4.8 oder GPT-5.6 Sol sind darauf trainiert, ihre Gedanken nicht preiszugeben. Ihre kleinen, auf Tempo und niedrige Kosten optimierten Geschwister haben diese Abwehr laut den Forschern oft nicht. Das kleine Modell wird so zum „Entschlüsselungsorakel“: Es bekommt den fremden Denkblock in sein Kontextfenster, also seinen Arbeitsspeicher für das laufende Gespräch, und soll ihn Wort für Wort abschreiben. Ein einfacher Jailbreak reicht dafür. So nennt man eine Eingabe, die ein Modell dazu bringt, seine eigenen Regeln zu ignorieren.

Als Decoder nutzten die Forscher jeweils das schwächste passende Modell: Claude Haiku 4.5, GPT-5.6 Luna und Gemini Robotics 1.6. Bei Haiku genügte ein einziger fester Prompt für alle Versuche. Haiku unterstützt außerdem „Prefilling“, bei dem man den Anfang der Modellantwort selbst vorgibt. GPT-5.6 Luna war widerspenstiger. Die Forscher brauchten verschiedene Vorlagen, mehrfaches Ausprobieren (Best-of-n-Sampling) und Umwege um die Anti-Distillation-Schutzmechanismen. Unter anderem zerlegten sie die Ausgabe in Stücke von weniger als 50 Tokens.

Ob die entschlüsselten Texte wirklich den Originalgedanken entsprechen, lässt sich nicht direkt prüfen. Die Forscher nutzen deshalb einen Umweg. Die API meldet aus Abrechnungsgründen genau, wie viele „Denk-Tokens“ ein Modell erzeugt hat. Tokens sind Wortbausteine, mit denen Modelle rechnen. Bei 120 Programmieraufgaben von Codeforces stimmte die Länge der extrahierten Texte für die meisten Eingaben eng mit diesen Zählungen überein. Außerdem enthielten die entschlüsselten Texte deutlich mehr Details als die offiziellen Zusammenfassungen, dazu Informationen wie API-Tokens, die in der Eingabe gar nicht vorkamen.

Vier Angriffswege

1. Fähigkeiten kopieren (Distillation): Gedankenketten sind wertvolles Trainingsmaterial. Ein Schülermodell lernt aus ihnen nicht nur die Antwort, sondern auch den Lösungsweg. Die Autoren verweisen auf eine frühere Studie, in der schon nachgebaute Gedankenketten von GPT-5.4 mini die Genauigkeit eines feinabgestimmten Qwen2.5-7B im Mathe-Test MATH500 von 68,4 auf 76,0 Prozent steigerten. Mit dem neuen Angriff bekommt man die echten Gedanken. Das Entschlüsseln von 10.000 Protokollen mit je 12.000 Tokens Ein- und Ausgabe würde zu Haiku-4.5-Preisen etwa 720 US-Dollar kosten. Besonders unangenehm für die Anbieter: Wer die Blöcke aus öffentlichen Datensätzen holt, muss das teure Spitzenmodell nie selbst abfragen. Überwachungssysteme an dessen Schnittstelle bemerken davon nichts. In einem Nebenexperiment fütterten die Forscher das Modell Kimi K3 mit einem kurzen Stück entschlüsselter Opus-4.8-Gedanken. Danach glichen dessen Antworten stilistisch stark denen von Claude, teils fast wortgleich.

2. Jailbreak über den Denkkanal: Modelle sind darauf trainiert, schädliche Inhalte nicht auszugeben. Beim Nachdenken darüber sind sie weniger eingeschränkt, weil zu viel Druck auf die Gedankenkette deren Überwachbarkeit verschlechtern könnte. Die Forscher fragten Opus 4.8 nach drei leicht zu stehlenden Autos und wie man sie stiehlt. Die sichtbare Antwort blieb harmlos, die per Haiku entschlüsselten Gedanken enthielten laut Paper missbrauchsfähige Informationen.

3. Geheimnisse aus öffentlichen Logs: Entwickler veröffentlichen oft komplette Sitzungsprotokolle ihrer KI-Agenten, etwa für Benchmarks oder auf GitHub. Sie bereinigen dabei den lesbaren Text, können die verschlüsselten Blöcke aber nicht prüfen, weil sie sie selbst nicht entschlüsseln können. Die Forscher sammelten 315.320 Denkblöcke aus öffentlichen Repositories und entschlüsselten sie. Darin fanden sie 367 personenbezogene Datensätze und 182 Zugangsdaten. Allein aus echten Nutzersitzungen stammten 62 API-Schlüssel, 33 Passwörter und 30 private E-Mail-Adressen. In einem Beispiel listet GPT-5.2 Codex in seinen Gedanken genau die API-Schlüssel auf, die vor der Veröffentlichung eines Repositories entfernt werden sollten. Teilweise standen die Daten gar nicht in der Eingabe des Nutzers, sondern kamen aus dem Gedächtnis des Modells.

4. Unsichtbare Prompt-Injection: Angreifer können manipulierte Anweisungen in verschlüsselten Blöcken verstecken und sie in öffentliche Agenten-Abläufe einschleusen. Weil niemand den Inhalt lesen kann, fällt die Manipulation nicht auf.

Gegenmaßnahmen

Die Forscher haben die Anbieter nach eigenen Angaben vorab informiert und schlagen kryptografische und systemseitige Gegenmaßnahmen vor. Ein naheliegender Ansatz steht bereits im Paper: Die Anbieter könnten das Entschlüsseln auf dasselbe Gespräch und dasselbe Modell beschränken, statt einen globalen Schlüssel zu nutzen. Der veröffentlichte Ausschnitt enthält die Details der Vorschläge nicht vollständig. Ob und wie die Anbieter die Lücke inzwischen geschlossen haben, geht aus der Quelle nicht hervor. Für Entwickler gilt in jedem Fall: Denkblöcke in Logs sollten wie Klartext behandelt werden. Wer sie veröffentlicht hat, sollte darin womöglich enthaltene Schlüssel und Passwörter austauschen.

Einordnung

Das Paper zeigt ein klassisches Sicherheitsproblem: Ein Komfortmerkmal, nämlich der nahtlose Modellwechsel, untergräbt den eigentlichen Schutzzweck. Die Verschlüsselung selbst wird nicht geknackt. Der schwächste Teilnehmer im System hat schlicht denselben Schlüssel. Für die Anbieter ist das doppelt unangenehm. Sie verlieren Kontrolle über Material, das sie gerade vor Konkurrenten schützen wollten, und ihre Kunden haben ungewollt Geheimnisse öffentlich gemacht, die sie nicht einmal sehen konnten.

Einschränkungen gibt es auch. Dass die entschlüsselten Texte den echten Gedanken entsprechen, belegen die Forscher indirekt über Token-Zählungen und Plausibilität, nicht durch einen direkten Abgleich. Die Ergebnisse beschreiben den Stand vom Juli 2026, die Anbieter dürften inzwischen reagiert haben. Trotzdem ist die Botschaft klar: Verschlüsselte Gedankenketten sind kein sicherer Ort für sensible Daten, solange Anbieter einen Schlüssel für alles verwenden.