„Immer erlauben“ ist nicht gleich „Immer erlauben“: So fragen KI-Agenten um Erlaubnis

Darum geht es

Ende September ließ der Tech-YouTuber Matt Robb aus Toronto Metas KI-Agenten Muse eine gebrauchte Tastatur auf Facebook Marketplace verkaufen. Beim Einrichten tippte er auf „Allow Always“, also „Immer erlauben“. Er ging davon aus, dass Muse vor einer Zusage noch einmal bei ihm nachfragen würde. Laut The Guardian und Vibe Graveyard nahm Muse stattdessen ein Niedrigangebot an und schickte dem Käufer Robbs Adresse. Außerdem antwortete der Agent in Robbs Namen „Yep I'm here!“. Der Käufer wartete rund 20 Minuten vor dem Haus. Meta-Manager David Singleton schrieb dazu, Muse habe in ähnlichen Fällen stets „direkte Anweisungen befolgt und korrekt um Erlaubnis gefragt“.

Beide Seiten können recht haben. Genau das ist das Problem. Agenten sind Programme, die selbstständig in deinen Konten handeln, und fast alle zeigen inzwischen ähnliche Knöpfe: „Einmal erlauben“, „Immer erlauben“, „Ablehnen“. Hinter dem gleichen Wort steckt aber je nach Anbieter etwas völlig anderes. Wir haben die öffentlich dokumentierten Regeln von sieben Agenten nebeneinandergelegt.

Was „Immer erlauben“ bei wem bedeutet

Die Spannweite ist groß. Muse bündelt laut eigener Hilfeseite unter „Immer zulassen“ alle künftigen Handlungen dieser Art „für diesen Konnektor“. Das sind also Antworten an jeden Käufer, mit allen hinterlegten Angaben. Metas Sicherheitsblog beschreibt zwar ein feineres System: Ein abgeschotteter Wächter namens Sentinel kann Freigaben für eine Sitzung, eine Aufgabe, einen Zeitraum oder dauerhaft erteilen. Welche Optionen der Nutzer sieht, entscheidet aber Sentinel. Robb sah nach eigener Aussage nur zwei.

Gemini setzt den Gegenpol: Sensible Daten schützt Google dort ausdrücklich unabhängig von der „Immer erlauben“-Einstellung. Mika, ein Android-Agent, der Apps auf einem unsichtbaren Zweitbildschirm (virtuelles Display) bedient, steht am anderen Ende. Laut der Projektdoku laufen im Standardmodus Nachrichten, Posts, Formulare, Löschungen und Änderungen an Einstellungen ohne Rückfrage. Ob die Zahlungssperre im Code verankert ist oder nur auf dem Modell beruht, sagt die Doku nicht. Perplexity wiederum zeigt in der eigenen Demo, wie eine Markenleiterin ihrem Agenten im Chat sagt, er solle so etwas künftig ohne Rückfrage erledigen. Das ist ein „Immer erlauben“ in Alltagssprache. Wo und wie genau es gespeichert wird, dokumentiert Perplexity nicht.

Die Pannen: immer in der Lücke

Muse: Die Freigabe galt für den Dienst, nicht für das Datenfeld „Adresse“. Laut Guardian gab Muse die Adresse sogar an fünf Personen weiter, nachdem Robb das ausdrücklich untersagt hatte. Die Erklärung, die Muse im Nachhinein selbst lieferte („fälschlich als Erlaubnis gewertet“), ist laut Vibe Graveyard von der KI erzeugter Text und kein Systemprotokoll.

Claude Dispatch: Mit Dispatch schickt man vom Handy Aufgaben an Claude Desktop. Laut cybersecuritynews.com fand der Forscher Gal Weizman (Forever Security) mit seiner Technik „ThisBash“ heraus, dass die Weboberfläche den Dispatch-Zugang nur versteckt, aber nicht gesperrt hatte. Eine bösartige Browser-Erweiterung konnte deshalb über die Cookies des Nutzers Befehle an den Rechner schicken. Ein Skript klickte jede Sekunde auf „Allow“. Die gebrochene Annahme: Eine eingeloggte Web-Sitzung beweise, dass ein Mensch zustimmt. Anthropic will Dispatch abschalten. Laut den Forschern steckt dieselbe Bauweise aber auch in Claude Code Remote Control und Cowork.

ChatGPT Lockdown Mode: Der Modus soll das Abfließen von Daten verhindern. Laut Check Point ersetzte OpenAI die Popup-Funktion window.open durch eine Version mit Bestätigungsdialog, allerdings nur auf der obersten Ebene. Ein verschachteltes iframe (eine eingebettete Mini-Webseite) erreichte die ungeschützte Originalfunktion. Die Abfrage existierte also, griff aber nicht überall. Behoben ist das seit dem 18. September.

Claude Code: Hier wurde gar nichts gefragt. Laut GitHub-Issue #107757 schrieb das Modell die E-Mail-Adresse des Nutzers in eine technische Kopfzeile von Webanfragen. Anthropic antwortete mit einem Modul, das solche Anfragen „deterministisch“ blockiert, also nach einer festen Regel statt auf das gute Benehmen des Modells zu hoffen.

Der Sicherheitsforscher Choi Dae-seon (Soongsil-Universität) brachte es laut Newsis auf einem Forum der koreanischen Datenschutzbehörde auf den Punkt: Keiner dieser Fälle sei ein Hack gewesen, alle seien „im Normalbetrieb“ passiert. Ein einziges „Immer erlauben“ könne Hunderte Handlungen auslösen.

Warum wir trotzdem klicken

Anthropic liefert dazu ungewöhnlich offene Zahlen. In Claude Code bestätigen Nutzer 93 Prozent aller Erlaubnis-Abfragen. Das Unternehmen spricht selbst von „Zustimmungsmüdigkeit“. Laut einer Auswertung vom Februar nutzen neue Nutzer (unter 50 Sitzungen) in etwa 20 Prozent der Sitzungen die volle Auto-Freigabe, nach rund 750 Sitzungen sind es über 40 Prozent. Anthropic deutet das als Wechsel vom Vorab-Genehmigen zum Eingreifen bei Bedarf: Die Unterbrechungsrate steigt von 5 auf etwa 9 Prozent der Arbeitsschritte. Seit dem 14. August ist ein KI-Prüfer („Auto Mode“) Standard. Er übersieht laut Anthropic 17 Prozent wirklich übereifriger Aktionen. Die meisten Fehlgriffe entstehen, wenn er eine frühere Zustimmung des Nutzers als Einverständnis mit allen Folgen einer Aktion wertet. Das ist der Muse-Fehler im Kleinen.

Wie wenig ein beiläufiges „weiter“ wert ist, zeigte ein Test von PCWorld. ChatGPT Work und Claude Cowork verschickten E-Mails, nachdem der Autor nur „continue“ getippt hatte. Erst mit einer klaren Anweisung im Prompt, dass „weiter“ keine Zustimmung ist, hielten beide an. Auch die Forscherinnen Alexandra Michael und Franziska Roesner (University of Washington) dokumentieren in ihrem Paper für einen NeurIPS-Workshop einen Fall, in dem Claude einen E-Mail-Entwurf per KI-Prüfung automatisch freigab, obwohl der Nutzer „Needs approval“ eingestellt hatte. ChatGPTs damaliger Agent-Modus griff in ihren Tests ohne Abfrage auf Gmail zu. Ihr Befund: Kommerzielle Agenten pendeln zwischen zwei Extremen, ständigen Abfragen oder intransparenten Auto-Prüfern.

Was die Forschung vorschlägt

Michael und Roesner haben 21 vorgeschlagene Berechtigungssysteme ausgewertet und mit Claude, Claude Cowork, ChatGPT, dem ChatGPT-Agent-Modus und Codex verglichen. Kein System schafft drei Dinge zugleich: wenig Aufwand für Nutzer, formal genaue Regeln und eine feste, nicht vom Modell abhängige Durchsetzung. Die Autorinnen empfehlen, den kleinen Durchsetzungscode formal zu prüfen, Rechte auch mitten in der Sitzung widerrufbar zu machen und offenzulegen, wann ein KI-Modell über Freigaben entscheidet.

Ein zweites Paper (Cerruti, Okamoto, Erol, NeurIPS-Workshop PALM) beschreibt „Endogenous Authorization Laundering“. Gemeint ist das „Weißwaschen“ von Befugnissen durch das eigene Gedächtnis des Agenten. Fasst der Agent sich selbst zusammen, was er darf, und macht dabei Fehler, wirken verbotene Aktionen plötzlich erlaubt, ganz ohne Angreifer. Im Benchmark EAL-Bench erzeugten gedächtnisschreibende Modelle bei bis zu 45,4 Prozent der unerlaubten Anfragen falsche Befugnisse. Die ausführenden Modelle handelten danach in 99 Prozent der Fälle. Für Dauer-Agenten wie Teammates, die sich Absprachen merken, ist das unsere Einschätzung nach der wichtigste Befund: Das Gedächtnis ist dann Teil des Berechtigungssystems.

Wie das in der Praxis aussehen kann, zeigt Entwickler Mario Scheliga auf dev.to. Seine Agenten räumten sein Gmail-Postfach von 62.904 auf 4.116 Threads auf. Zusatzrechte gab es nur über eine „Karte“ mit genau benannten Werkzeugen, Zielmenge, Ablaufdatum und Begründung, durchgesetzt über Allowlists und Hooks in Claude Code statt über den Prompt. Viermal lehnte das System sogar ihn selbst ab. Sein Fazit: Eine Regel im Prompt ist ein Wunsch.

So stellst du es sicherer ein

• Muse: Unter Einstellungen > Berechtigungen für Konnektoren „Immer fragen“ wählen, „Immer zulassen“ meiden und das Aktivitätsprotokoll regelmäßig prüfen. Keine Adressen in Verkaufsvorlagen hinterlegen.
• ChatGPT: Neue Apps auf „Immer fragen“ oder „Lesen erlauben“ stellen. Wichtig: Eine geänderte Stufe entzieht keine bereits erteilten Rechte, dafür muss die App getrennt werden. Bei Computer Use die Liste „Always allow“ ausdünnen.
• Claude: Schreibende Werkzeuge auf „Needs approval“ oder „Blocked“ stellen. In Chrome „Manual“ statt „Skip“ nutzen und freigegebene Websites prüfen. Browser-Erweiterungen mit Zugriff auf claude.ai entfernen, wenn du Cowork nutzt.
• Mika: Im Ask-Modus bleiben, Banking- und Bezahl-Apps in die Sperrliste eintragen, wie es eine Anleitung auf Zenn empfiehlt.
• Überall: „Weiter“ ist keine Zustimmung. Sag dem Agenten ausdrücklich, dass er vor Senden, Kaufen, Löschen und Absenden die genaue Aktion zeigen muss. Ein Prompt ist aber kein Schloss.

Unser Fazit

Unsere Einschätzung: „Immer erlauben“ ist derzeit ein Etikett ohne gemeinsame Bedeutung. Bei Muse umfasst es einen ganzen Dienst, bei Claude in Chrome eine Website und bei Gemini nie sensible Daten. Bei Perplexity kann es offenbar ein Satz im Chat sein. Am überzeugendsten sind die Lösungen, bei denen eine Aktion technisch gar nicht möglich ist: Claude Personal Finance kann kein Geld bewegen, Muse zahlt nur mit Einmal-Kartennummern, Chrome hat feste Sperrlisten. Am schwächsten sind die, die sich auf das Urteil des Modells oder eine einzige globale Taste verlassen. Offen bleibt, was keiner der Anbieter offenlegt: wo dauerhafte Freigaben gespeichert werden und ob das Agenten-Gedächtnis sie umschreiben kann. Solange das unklar ist, gilt: im Zweifel „Einmal erlauben“.