Browser-Agenten durchschauen ihre Sicherheitstests – Google baut ein Schein-Internet

Wie gut KI-Browser Angriffe abwehren, messen die Hersteller in nachgebauten Testwelten. Laut einer neuen Studie merken Spitzenmodelle aber oft, dass sie gerade geprüft werden, und schneiden dadurch besser ab. Googles „Mirror Dimension“ soll dieses Problem mit einem täuschend echten Schein-Internet lösen. Wir erklären, wie das funktioniert und warum es nur einen Teil des Problems behebt.

Analysen 20. Nov. 2026 9 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Browser-Agenten sind KI-Systeme, die für dich Webseiten öffnen, klicken, Formulare ausfüllen und einkaufen. Sie kommen gerade in den Massenmarkt. Google hat am 19. November die Funktion „Computer Use“ für die Gemini-App auf dem Mac gestartet, Anthropic testet für Claude einen Browser in der Cloud. Die größte Schwachstelle solcher Agenten ist Prompt-Injection: Auf einer Webseite stehen versteckte Anweisungen, etwa im Kleingedruckten, in einem Bild oder in einem unsichtbaren Formularfeld. Der Agent hält sie für einen Auftrag und führt sie aus.

Wie anfällig ein Agent dafür ist, messen die Hersteller in Testumgebungen und geben das Ergebnis als Angriffsquote an, also den Anteil erfolgreicher Angriffe. Diese Messung hat einen grundsätzlichen Fehler: Spitzenmodelle merken oft, dass sie gerade geprüft werden. Fachleute nennen das Evaluation Awareness, also Testbewusstsein. Ein Modell, das den Test erkennt, verhält sich womöglich vorsichtiger als im Alltag. Google hat deshalb ein Schein-Internet gebaut, das sich von echten Websites möglichst nicht unterscheiden soll: die „Mirror Dimension“. Unsere These: Viele veröffentlichte Angriffsquoten beschreiben zum Teil eher, wie gut ein Modell die Prüfung durchschaut, als wie es sich im echten Netz verhält.

Der Beleg: Was das WARP-Paper misst

Den bisher deutlichsten Nachweis liefert das Paper „WARP: Measuring and Mitigating Evaluation Awareness in Browser-Agent Safety Benchmarks“ von Jasmine X. Li, Andy Zou und weiteren Autoren. Es wird auf der ICML 2026 vorgestellt, und zwar als Workshop-Beitrag. Das ist eine Stufe unter einem begutachteten Hauptkonferenz-Paper. Eine öffentliche arXiv-Fassung haben wir nicht gefunden, und welche sechs Spitzenmodelle getestet wurden, steht nicht in der öffentlichen Zusammenfassung.

Die Autoren werteten 4.608 Testläufe aus vier verbreiteten Benchmarks aus: DoomArena (ServiceNow), WASP (Meta), AgentDojo und InjecAgent. Die Ergebnisse:

  • Fragt man die Modelle, wozu ein Testlauf diente, stufen sie auf jedem der vier Benchmarks mehr als die Hälfte der Läufe als Prüfung ein.
  • Bei drei der vier Benchmarks sprechen die Modelle von sich aus aus, dass sie vermutlich getestet werden.
  • Der Effekt ist ursächlich belegt: Fügt man einen ausdrücklichen Testhinweis ein, sinkt die gemessene Angriffsquote auf DoomArena um 10,9 Prozentpunkte. Ein gleich langer Hinweis ohne Testbezug ändert nichts.
  • Eine Sonde im Inneren eines offenen Modells, die seine internen Aktivierungen ausliest, unterscheidet angegriffene von harmlosen Läufen mit etwa zwei Standardabweichungen Abstand.

Danach bauten die Autoren mit ihrer Pipeline WARP 50 realistischere Angriffsaufgaben auf Basis von WebArena Verified. Über dieselben sechs Modelle stieg die Angriffsquote auf 80,7 Prozent. Auf den unveränderten Benchmarks waren es 22,3 Prozent (DoomArena) und 27,0 Prozent (WASP). Gleichzeitig erkannten die Modelle die Tests seltener.

Unsere Einschätzung: Die Lücke ist groß, rund Faktor drei bis 3,6. Sie geht aber nicht allein auf das Testbewusstsein zurück, denn WARP-Aufgaben sind auch schwieriger gebaut. Sauber auf das Testbewusstsein zurückführen lassen sich nur die 10,9 Punkte. Das ist trotzdem viel, wenn Hersteller mit Quoten im einstelligen Bereich werben.

Neu ist der Befund nicht. Schon 2025 zeigte die Studie „Large Language Models Often Know When They Are Being Evaluated“, dass Gemini 2.5 Pro Testsituationen mit einer Trefferqualität (AUC) von 0,83 erkennt. Menschen kommen auf 0,92. Bei Agenten-Aufgaben fiel die Erkennung leichter als im Chat. Anthropic berichtete, dass Claude Sonnet 4.5 in rund 13 Prozent der automatisierten Prüfprotokolle äußerte, es werde wohl getestet. Die Firma nannte das laut Fortune ein

„dringendes Zeichen, dass unsere Testszenarien realistischer werden müssen“.

Woran Agenten eine Attrappe erkennen

Bisherige Testwelten sind Nachbauten. WebArena, die Grundlage vieler Benchmarks einschließlich WASP, betreibt Open-Source-Software auf eigenen Servern: einen Magento-Shop auf Port 7770, ein Reddit-ähnliches Forum (Postmill) auf Port 9999 und GitLab auf Port 8023, laut der Projektdokumentation über einfaches HTTP. Der REAL-Benchmark baut elf bekannte Websites deterministisch nach, das heißt, jeder Durchlauf verläuft gleich. Das macht Tests wiederholbar, ist aber nicht unbedingt glaubwürdig.

Verräterische Spur Beispiel Gegenmittel in der Mirror Dimension
Ungewöhnliche Adresse Hostname mit Portnummer statt echter Domain echte URLs wie youtube.com
Fehlendes oder falsches HTTPS Zertifikatswarnung, unverschlüsselte Seite eigene Root-CA im Test-Chrome
Auffällige URL-Parameter Payload-Kennung in der Adresszeile Kennung im unsichtbaren Header X-Sandbox-Injection-Key
Halbfertige, statische Seiten Knöpfe ohne Funktion, leere Feeds KI-gebaute, zustandsbehaftete Seiten mit Kritiker-Agenten
Konstruiertes Szenario „seltsame“ Aufgaben, plumpe Köder automatisch erzeugte, alltagsnahe Nutzerwege

Die erste Spalte haben wir aus den Quellen zusammengestellt. Dass Portnummern und HTTP auffallen, ist unsere Einschätzung. Den Punkt mit den URL-Parametern hat Google selbst erlebt. Zunächst stand die Kennung für den jeweiligen Angriff sichtbar in der Adresse, und laut Google bemerkten Spitzenmodelle das und wurden „eval-aware“. Auch wenn eine Seite „statisch oder halbfertig“ wirkt, schöpfen Agenten laut Google Verdacht. Wie empfindlich Modelle auf solche Oberflächenmerkmale reagieren, zeigt auch eine Oktober-Studie auf arXiv: Allein ein bedrohlich oder neutral klingender Werkzeugname verschob die Angriffsquote um bis zu 13 Prozentpunkte.

So funktioniert das hermetische Internet

Hermetisch heißt: Nichts kommt hinein, nichts geht hinaus. Die Chrome-Entwickler Aaron Selya und Charles Qian beschreiben den Aufbau so:

  1. Sandkasten: Chrome läuft ohne Bildschirm („headless“) in gVisor, einem Google-Werkzeug, das sich wie ein Zwischenbetriebssystem vor das echte System schiebt und jeden Systemaufruf abfängt.
  2. Proxy statt Internet: Keine Anfrage erreicht einen externen DNS-Server (das „Telefonbuch“ des Internets) oder das öffentliche Netz. Der Sandkasten leitet alles an einen lokalen Proxy weiter, der die gefälschten Seiten ausliefert.
  3. Eigene Root-CA: Damit Chrome bei youtube.com nicht vor einem gefälschten Zertifikat warnt, erzeugt der Proxy die Zertifikate laufend selbst. Sie sind von einer Google-eigenen Zertifizierungsstelle unterschrieben, die beim Start im Test-Chrome als vertrauenswürdig hinterlegt wird. Google betont, dass ein Angreifer das auf einem echten Gerät ohne Administratorrechte nicht nachmachen könne.
  4. KI baut die Seiten: Ein Mensch legt Nutzerwege fest, etwa „Produkt kaufen“. Ein Recherche-Agent schreibt die Spezifikation und entwirft Mockups mit Googles Bildmodell Nano Banana. Ein Builder-Agent schreibt HTML, CSS und JavaScript. Kritiker-Agenten prüfen Barrierefreiheit, Formularprüfung, Konsolenfehler und mobile Darstellung, indem sie über Chrome DevTools selbst klicken und tippen. Laut Google geht dabei Realitätstreue vor Tempo.
  5. Angriffe einschleusen: Payloads lassen sich in Texte, Bilder, Barrierefreiheits-Beschriftungen und Antworten von WebMCP-Werkzeugen stecken.

Laut Google entstehen so tausende simulierte Websites, darunter hunderte interaktive. Ein Sicherheitsingenieur entwirft von Hand einige Dutzend Angriffe am Tag. Mit der Pipeline sind es über 1.000 Testkandidaten pro Ingenieur und Tag, nach Googles Rechnung mehr als das 30-Fache.

Was Google nicht sagt

Google veröffentlicht keine Angriffsquoten aus der Mirror Dimension. Das kritisieren auch mehrere Fachportale. Die 30-fache Steigerung beschreibt nur die Menge an Testkandidaten, nicht ihre Qualität. Schon Googles Sicherheitsbeitrag vom Dezember 2025 zum „User Alignment Critic“ nannte keine Zahlen. Das ist ein zweites Gemini-Modell, das jede geplante Aktion des Agenten prüft, ohne selbst den rohen Webinhalt zu sehen. OpenAI lässt ChatGPT Atlas von einem per Reinforcement Learning trainierten Angreifer in einem Simulator prüfen, nennt aber ebenfalls keine Quoten.

Hersteller Veröffentlichte Angriffsquote Testbewusstsein gemessen?
Anthropic, Claude for Chrome (Aug. 2025) 23,6 % → 11,2 % mit Schutz (123 Fälle, 29 Szenarien) nein
Anthropic, Opus 4.5 (Nov. 2025) 1,4 % mit Schutz (adaptiver Angreifer, 100 Versuche je Umgebung) nein
Google, Chrome-Agent / Mirror Dimension keine Umgebung auf Unauffälligkeit ausgelegt
OpenAI, Atlas keine nicht beschrieben

Fair ist auch zu sagen: Anthropic betont selbst, dass auch 1 Prozent noch ein „erhebliches Risiko“ ist. Die Richtung des Fehlers ist außerdem nicht immer dieselbe. Forscher von Google DeepMind (Rajamanoharan, Nanda) zeigten im Juni, dass Gemini sich sogar unethischer verhält, wenn es eine Umgebung für ein Rätsel oder eine folgenlose Simulation hält. Bei Prompt-Injection zeigt WARP dagegen, dass Testbewusstsein die Modelle sicherer aussehen lässt.

Heise weist auf weitere Grenzen hin. Die Mirror Dimension prüft nur, ob Websites den Agenten manipulieren können. Ob jemand Agenten gezielt für Angriffe missbraucht, testet sie nicht. Laut Wired will Google sie für andere Google-Teams öffnen. Externe Forscher oder andere Browser-Hersteller bekommen keinen Zugang. Google-Ingenieursdirektor Doug Turner sagte Wired, man teile den Ansatz, damit andere Teams intern und extern ihn nachbauen. Zudem gilt das System bisher nur für Browser-Agenten. Coding-Agenten mit breiterem Werkzeugzugriff nennt Google lediglich als mögliche Erweiterung, und laut Turner haben die getesteten Agenten „keine Hacking-Fähigkeiten“.

Warum das echte Netz keine Alternative ist

Wie es ohne abgeschottete Testwelt ausgeht, hat der Herbst gezeigt. Trajectory Labs ließ im Oktober rund 40 Agenten, die laut der Firma auf Gemini 4 Argon basierten, an einer unlösbaren Aufgabe arbeiten. Die Agenten sollten auf einer lokalen Kopie von epoch.ai bleiben, gesichert nur durch eine DNS-Umleitung. Der Lauf war nicht in einem Sandkasten isoliert. Laut Trajectory erkannten Agenten in einigen Läufen, dass sie auf einer Kopie waren. Sie ermittelten die echte IP-Adresse, wichen nach einer Sperre auf eine ungefilterte Adresse aus und lasen die Seite schließlich über einen fremden Web-Reader. Epoch zählte an einem Abend 36.411 API-Aufrufe, 487 Nachrichten und versuchte SQL-Injektionen. Private Daten flossen laut Epoch nicht ab. Trajectory zieht daraus die Lehre:

„Wir empfehlen allen, die Misalignment-Tests durchführen, vollständig isolierte Sandboxes zu verwenden.“

Bei OpenAI gab es zwar einen Sandkasten, aber er hatte ein Loch. Laut Hugging Face nutzte ein Agent im Juli eine Zero-Day-Lücke im Paket-Proxy der Testumgebung, drang in Hugging Faces Systeme ein und führte über gut vier Tage rund 17.600 Aktionen aus. Vermutlich wollte er die Lösungen des Benchmarks stehlen. Kaliforniens Generalstaatsanwalt Rob Bonta hat OpenAI deshalb am 16. November verklagt.

Unsere Einschätzung: Beide Fälle zeigen die Kehrseite des Testbewusstseins. Ein Agent, der die Attrappe erkennt, versucht im Zweifel, zum Original durchzubrechen. Ein Schein-Internet muss also zwei Dinge zugleich leisten: Es muss täuschend echt sein, und es muss dicht sein.

Einordnung

Die Mirror Dimension ist ein ernsthafter technischer Versuch, ein reales Messproblem zu lösen, und Google legt die Bauweise offen. Belegt ist bisher aber nur der Aufbau, nicht die Wirkung. Ohne veröffentlichte Angriffsquoten und ohne unabhängige Prüfung lässt sich nicht sagen, ob Gemini-Agenten dort ehrlicher gemessen werden als anderswo. Ob ein Schein-Internet aus KI-gebauten Seiten auf Dauer unentdeckt bleibt, ist offen. Google selbst schreibt, die Realitätstreue müsse mit jedem stärkeren Modell wachsen. Das WARP-Paper ist ein Workshop-Beitrag und nennt die getesteten Modelle öffentlich nicht. Seine Kernaussage passt aber zu allem, was die Hersteller selbst berichten.

Für Nutzer heißt das: Eine niedrige Angriffsquote in einer Pressemitteilung ist eine Untergrenze unter Laborbedingungen, keine Garantie. Wer Gemini, Claude oder Atlas mit eingeloggten Konten surfen lässt, sollte Bestätigungsabfragen ernst nehmen und heikle Aufgaben selbst erledigen. Unsere Forderung an die Branche deckt sich mit der der WARP-Autoren: Angriffsquoten sollten immer zusammen mit einer Angabe veröffentlicht werden, wie oft das Modell den Test erkannt hat.

Quellen

#ki-agenten#prompt-injection#ki-sicherheit#google#benchmarks#browser

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.