Anthropics Angriffs-KI Anvil knackt Schutzfilter schneller als menschliche Profis

Worum es geht

Anthropic hat am 13. November 2026 ein internes Testsystem namens Anvil vorgestellt. Dabei handelt es sich um ein automatisiertes Red-Teaming-System. Red Teaming bedeutet, dass man die eigenen Schutzmaßnahmen gezielt angreift, um Schwachstellen zu finden, bevor echte Angreifer es tun. Anvil baut auf Claude auf und versucht selbstständig, die Sicherheitsfilter der Anthropic-Modelle auszutricksen. Getestet wurde in drei Bereichen: Biosicherheit (etwa gefährliche Informationen zu Krankheitserregern), Cybersicherheit (Hilfe bei echten Hackerangriffen) und Informationssicherheit (das Herauslocken versteckter Denkschritte eines Modells).

Die Angaben stammen aus einem technischen Blogbeitrag von Anthropic, über den das chinesische Fachportal Zhidx ausführlich berichtet. Als Erstautoren nennt Anthropic Nate Rahn, Chawin Sitawarin und David Huang, der Sicherheitsforscher Javier Rando stellte die Arbeit zusätzlich auf X vor. Anvil ist ein internes Werkzeug. Man kann es nicht herunterladen oder als Produkt nutzen. Alle Zahlen sind Herstellerangaben und wurden nicht unabhängig überprüft.

Warum Anthropic ein Angriffswerkzeug baut

Anthropic beschreibt ein Ungleichgewicht: Ist ein Modell veröffentlicht, können Angreifer Wochen oder Monate damit verbringen, die Schutzmechanismen zu umgehen. Der Hersteller hat vor dem Start dagegen oft nur Stunden oder Tage zum Testen. Bisher setzte Anthropic vor allem auf externe Dienstleister und Bug-Bounty-Programme, bei denen Freiwillige eine Prämie bekommen, wenn sie eine Lücke melden. Je besser die Filter wurden, desto mühsamer wurde diese Handarbeit.

Einige Beispiele aus dem Bericht:

• Bei einem Bug-Bounty-Programm gegen einen Biosicherheits-Filter arbeiteten Tester über sieben Wochen und insgesamt 430 Stunden. Nur bei einer von acht Testfragen fanden sie einen schwerwiegenden Jailbreak, also eine Eingabe, die das Modell dazu bringt, seine Sicherheitsregeln zu ignorieren. Bei drei weiteren Fragen gelangen nur schwächere Umgehungen.
• In einem Cybersicherheitstest investierten zwei externe Expertenteams mehr als 225 Stunden und über 42.000 Anfragen. Einen universellen Jailbreak für die Modelle Fable 5.1 und Opus 5.5 fanden sie trotzdem nicht.
• Für den ersten ernsten Abfluss versteckter Denkschritte brauchten menschliche Experten mehr als 27 Stunden.

So funktioniert Anvil

Anvil basiert auf Anthropics früher entwickeltem Investigator Agent. Ein Agent ist eine KI, die nicht nur antwortet, sondern selbstständig mehrere Schritte plant und ausführt. Anvil startet viele voneinander unabhängige Claude-Instanzen. Diese greifen das Zielmodell und dessen Klassifikatoren gleichzeitig an. Klassifikatoren sind vorgeschaltete Filtermodelle, die verdächtige Anfragen oder Antworten erkennen und blockieren.

Forscher können Anvil Startstrategien mitgeben, zum Beispiel eine Anfrage auf mehrere Gesprächsrunden zu verteilen oder sie in einer Fremdsprache zu stellen. Danach passt das System seine Versuche anhand der Antworten selbst an. Im Unterschied zu klassischen Testwerkzeugen mit festen Angriffslisten verlässt sich Anvil vor allem auf das eigene Denkvermögen von Claude.

Zwei Taktiken kamen besonders oft vor:

1. Eine verbotene Aufgabe wird in viele harmlos wirkende Teilaufgaben zerlegt.
2. Dieselbe Anfrage wird so lange umformuliert oder übersetzt, bis eine Fassung durch den Filter kommt.

Laut Anthropic enthielten mehr als 84 Prozent der Anvil-Sitzungen mindestens fünf solcher Versuche hintereinander, mit denen das System die Grenze des Filters abtastet.

Die Ergebnisse im Überblick

Biosicherheit: Anvil bekam dieselben acht Testfragen wie die menschlichen Bug-Bounty-Teilnehmer und wurde gegen drei Generationen der Filter eingesetzt, die im Live-Betrieb laufen. Auch bei gleicher Zahl an Anfragen waren die Funde im Schnitt schwerwiegender. Außerdem suchte Anvil nach universellen Jailbreaks, also Vorlagen, die mit kleinen Änderungen bei vielen Fragen funktionieren. Solche Lücken deuten auf tiefere Schwächen im Filter hin. Die drei besten Vorlagen von Anvil schnitten im Durchschnitt und im schlimmsten Fall besser ab als die zwei besten Vorlagen der menschlichen Tester. Claude ordnete die Angriffe beider Seiten anschließend in 54 Strategietypen ein. 30 davon fanden beide Seiten, 18 nur die Menschen, 6 nur Anvil. Bei 21 der 30 gemeinsamen Strategien erzielte Anvil die höhere Durchschnittsbewertung. Die Strategien, die nur Anvil fand, kamen im Median auf eine Bewertung von 0,65, die der Menschen auf 0,38.

Cybersicherheit: In diesem Bereich sollte das geschützte Zielmodell in einer simulierten Umgebung vollständige Angriffe ausführen, ohne dass ein Filter anschlägt. Genutzt wurden vier Benchmarks, darunter ExploitBench V8 mit 41 Aufgaben. Dabei geht es darum, alte Sicherheitslücken in Chromes JavaScript-Engine V8 so auszunutzen, dass sich beliebiger Code ausführen lässt. Dazu kamen ExploitGym und zwei interne Tests. Anvil brachte ein geschütztes Opus-5-Modell dazu, die meisten Aufgaben zu erledigen. Für die schwierigsten ExploitBench-Aufgaben brauchte es im Schnitt rund 2.800 Nachrichten pro Aufgabe. Die Schutzfilter verteuern solche Angriffe deutlich: Ohne Schutz reichten meist 100 bis 1.000 Nachrichten, mit Schutz waren 1.000 bis 10.000 nötig, im Extremfall 28-mal so viele.

Anthropic weist auch auf einen Haken bei den menschlichen Ergebnissen hin. Von den elf gemeldeten Durchbrüchen der Expertenteams gelangen neun nur mit Hilfe eines schwächer oder gar nicht geschützten Hilfsmodells, das den Angriffscode schrieb oder ausführte. Nach Anthropics strenger Definition zählt das nicht, denn das geschützte Zielmodell muss alle Schritte selbst erledigen. Auch gegenüber dem bisher besten internen Automatik-System zeigt Anvil einen klaren Fortschritt: Bei ähnlichem Aufwand löste es 118 von 124 Cyberaufgaben, der Vorgänger nur 75.

Denkschritte als Leck: Moderne Modelle denken vor der Antwort intern nach, und dieses Reasoning soll teilweise verborgen bleiben. Anthropic hat dafür einen eigenen Filter. Anvil diente hier vor allem als Messinstrument, um verschiedene Filterversionen zu vergleichen. Mit einer festen Sammlung aus 79 Testsitzungen sank die Dauer einer Bewertung von etwa einem Tag auf drei Stunden. Neuere Filter verlangten Anvil rund dreimal so viele Anfragen ab, bis die Hälfte der Sitzungen ein ernstes Leck erzeugte. Bei Opus 5.5 stieg der Wert von 2.631 auf 9.003 Anfragen, bei Fable 5.1 von 1.254 auf 3.764. Im statischen Test, bei dem bekannte Angriffe einfach erneut abgespielt werden, sank die Quote unentdeckter Angriffe von 31,5 auf 0,4 Prozent. Im echten API-Verkehr fiel die Erfolgsquote solcher Extraktionsversuche bei Opus 5 von 18,6 auf 8,1 Prozent und bei Fable 5.1 von 33,8 auf 0 Prozent. Anthropic räumt ein, dass in dieser Zeit noch weitere Schutzmaßnahmen dazukamen. Der Rückgang lässt sich also nicht allein Anvil zuschreiben.

Im direkten Effizienzvergleich schickten menschliche Experten rund 2,04 Millionen Anfragen, Anvil kam mit etwa 649 Sitzungen auf rund 132.000. Als die Menschen bei 102.200 Anfragen ihren ersten Treffer landeten, hatte Anvil schon bei mindestens 38 von 76 Zielaufgaben erfolgreich angegriffen. Die schwersten Lecks waren auf beiden Seiten laut Anthropic etwa gleich gravierend. Anvils Vorteil liegt also bei Tempo und Breite, nicht bei der Tiefe einzelner Funde.

Die Kehrseite: Stärkere Modelle greifen besser an

Ein Ergebnis gibt zu denken: Je fähiger das zugrunde liegende Claude-Modell ist, desto häufiger überwindet Anvil die Schutzfilter. Gemessen hat Anthropic das mit einem eigenen Fähigkeitswert namens ECI. Er orientiert sich am öffentlichen Fähigkeitsindex von Epoch AI und fasst Hunderte Benchmarks zusammen. Manche komplexen Angriffsstrategien tauchen erst ab einem bestimmten Fähigkeitsniveau auf.

Anthropic betont, dass Anvil unter besseren Bedingungen arbeitet als ein externer Angreifer. Es nutzt ein internes Claude-Modell ohne eigene Schutzfilter, und es sieht die genauen Bewertungen der Klassifikatoren statt nur die Information, ob eine Anfrage blockiert wurde. Anthropic hat beide Faktoren getrennt geprüft. Entscheidend sind die abgeschalteten Schutzmechanismen des Angriffsmodells: Mit eingeschalteten Filtern wurden 97 Prozent von 1.453 Testsitzungen blockiert, 85 Prozent davon schon bei der ersten Anfrage. Die genauen Filterwerte spielen dagegen eine kleinere Rolle. Auch wenn Anvil nur erfährt, ob eine Anfrage blockiert wurde, findet es in vielen Aufgaben Lücken, braucht dafür aber mehr Nachrichten.

Reaktionen

In sozialen Netzwerken fielen die Reaktionen gemischt aus, berichtet Zhidx. Manche befürchten, dass die gefundenen Jailbreaks auch Schwächen in Anthropics eigenen Trainingsdaten offenlegen. Andere spotten, ein Jailbreak sei nur ein "schöner verpackter Programmfehler". Wieder andere meinen, dass Jailbreaks auch mit automatisierten Tests nicht verschwinden werden.

Einordnung

Anvil zeigt, wie weit sich Sicherheitstests automatisieren lassen. Ein KI-Agent kann wochenlange Handarbeit auf Stunden verkürzen und ganze Filtergenerationen vergleichbar machen. Für Nutzer von Claude heißt das im besten Fall robustere Schutzmechanismen, bevor ein neues Modell erscheint. Mit festen Testsammlungen lassen sich neue Filterversionen außerdem viel schneller prüfen.

Einige Punkte bleiben kritisch. Alle Zahlen stammen von Anthropic selbst, eine unabhängige Prüfung gibt es nicht. Der Vergleich mit den Menschen ist nicht ganz fair, denn Anvil arbeitet mit internen Vorteilen, und Anthropic legt die Erfolgskriterien selbst fest. Der wichtigste Befund ist ein zweischneidiger: Die Angriffsfähigkeit wächst mit der Modellstärke. Was Anthropic zum Verteidigen nutzt, wäre in den Händen eines Angreifers mit einem ungefilterten, starken Modell ebenso wirksam. Die eigenen Schutzfilter der Claude-Modelle sind deshalb laut den Zahlen die wichtigste Barriere gegen genau diese Art von Missbrauch. Menschliche Tester werden dadurch nicht überflüssig: Sie fanden 18 Strategietypen, die Anvil entgingen, und bewerten Risiken weiterhin selbst. Wahrscheinlicher ist eine Arbeitsteilung, bei der die KI die Breite abdeckt und Menschen urteilen und neue Ideen beisteuern.