Würfeln statt Scannen: Warum KI-Bugjäger sich fast nie einig sind
Drei Spitzenmodelle haben denselben Code nach Sicherheitslücken durchsucht und nur bei einem von 121 Funden übereingestimmt. Auch derselbe Scanner liefert auf identischem Code jedes Mal etwas anderes. Wir haben die Messungen zusammengetragen und erklären, was daraus für Verteidiger folgt, gerade jetzt, wo Anthropic die Frist bis zur Veröffentlichung von Lücken verkürzt.

Darum geht es
Die Meldungen dieser Woche zählen Treffer: Laut Forbes hat GPT-6 Cyber rund 35 Lücken in Apple-Geräten gefunden. Das Startup Calif meldet mit „Java4Shell“ einen schweren Fehler in Java. GitHub und Microsoft haben mit KI 9.791 Warnungen in sechs Open-Source-Projekten erzeugt. KI-Scans gelten damit zunehmend als Standard. Wir stellen eine andere Frage: Wie oft finden die Systeme dieselben Lücken?
Die Antwort ist unbequem. Mehrere unabhängige Messungen zeigen, dass verschiedene Modelle auf demselben Code fast nie übereinstimmen. Auch dasselbe Modell kommt bei mehreren Läufen kaum zum gleichen Ergebnis. Ein KI-Scan gleicht damit eher einer Stichprobe als einer Vermessung. Das hat Folgen dafür, wie Verteidiger solche Werkzeuge einsetzen sollten.
Drei Modelle, 121 Funde, ein gemeinsamer Treffer
Heute hat die Sicherheitsfirma Echo eine Studie veröffentlicht. Darin liefen Claude Mythos 5.1 von Anthropic, GPT-5.6 Sol von OpenAI (genutzt über OpenAIs Programm Daybreak für geprüfte Sicherheitsteams) und GLM-5.3 von Z.ai durch dasselbe Suchgerüst und dieselbe Prüfung. Untersucht wurden zwei Java-Bibliotheken aus dem Maven-Verzeichnis und ein npm-Paket mit laut Echo über 350 Millionen Downloads im Monat. Die Namen bleiben geheim, bis die Betreuer der Projekte informiert sind.
Die Zahlen laut Infosecurity Magazine, AI Journal und Tecnología Geek:
- Die neun Läufe lieferten 446 erste Meldungen. Nach dem Aussortieren von Dubletten, unerreichbarem Code, dokumentiertem Verhalten und Fehlalarmen blieben 121 verschiedene mögliche Probleme übrig.
- 1 davon meldeten alle drei Modelle, 20 meldeten zwei, 100 (83 %) nur eines.
- Anfangs hatten alle drei Modelle 8 Punkte gemeinsam gemeldet. Nur einer davon überstand die Prüfung.
- Die Modelle stuften 45 % der 121 Funde als hoch oder kritisch ein, nach dem Test hielten nur 26 % diese Einstufung. Automatische Proof-of-Concept-Tests, also kleine Programme, die eine Lücke praktisch auslösen, bestätigten 31 von 55 hoch eingestuften Funden.
- Ein Fehler im npm-Paket galt bei GLM-5.3 als kritisch und bei Mythos als hoch. GPT-5.6 Sol hielt ihn für dokumentiertes Verhalten. Die Prüfung stufte ihn am Ende als niedrig ein.
Mythos kam auf die meisten bestandenen Prüfungen (25, gegenüber 9 bei GLM-5.3 und 8 bei GPT-5.6 Sol). Es war aber auch am teuersten und langsamsten: etwa 303 Dollar und 198 Minuten, gegenüber rund 30 Dollar und 24 Minuten bei GPT-5.6 Sol und 22 Dollar bei GLM-5.3. Teilt man die Kosten durch die bestandenen Prüfungen, kostet ein Treffer bei Mythos etwa 12 Dollar, bei GLM-5.3 etwa 2,40 Dollar. Diese Rechnung stammt von uns und ist grob. Trotzdem fand GLM-5.3 in einer Bibliothek sechs bestätigte Probleme, die beide Konkurrenten komplett übersahen.
„Der Verteidiger sieht die Lücke, die der Angreifer gleich ausnutzen wird, womöglich nie.“ – Yuval Saggie, Echo
Derselbe Scanner, dreimal, drei Ergebnisse
Echo ließ jedes Modell nur einmal laufen. Ein Teil der Uneinigkeit könnte also schlicht Zufall innerhalb eines Modells sein. Genau das hat Contrast Security gemessen. Im ersten Teil der Studie (August) stimmten drei KI-Scanner auf einer Codebasis mit zwei Millionen Zeilen nur bei etwa 5 % der Funde überein. Ein einzelner Scanner reproduzierte beim erneuten Lauf rund 17 % seiner eigenen Ergebnisse. Contrast beziffert die API-Kosten für den Scan auf etwa 315 Dollar und den Aufwand für die Sichtung der Funde auf rund 128.000 Dollar. Wie diese Summe berechnet wurde, erklärt der Bericht bei Help Net Security nicht.
Im zweiten Teil scannte Contrasts CISO David Lindner eine Anwendung mit 80.000 Zeilen dreimal am selben Tag mit Claude Security auf Mythos 5, jeweils auf demselben Commit:
| Lauf | Funde | Kosten | Dauer | davon HIGH |
|---|---|---|---|---|
| 1 | 29 | 250 $ | 37 Min. | 11 |
| 2 | 15 | 225 $ | 30 Min. | 4 |
| 3 | 21 | 255 $ | 50 Min. | 4 |
Insgesamt waren es 42 verschiedene Kandidaten. Davon tauchten 5 in allen drei Läufen auf (12 %) und 24 nur ein einziges Mal (57 %). Nur 2 erschienen dreimal mit derselben Einstufung. Bei 730 Dollar Gesamtkosten macht das 146 Dollar pro reproduzierbarem Fund und 365 Dollar pro wirklich stabilem. Zum Vergleich nennt Contrast für Teil eins 17 % Übereinstimmung bei Sonnet und 25 % bei Opus, allerdings auf einer anderen Codebasis. Wichtig: Keiner der 42 Funde wurde als echt oder falsch geprüft. Gemessen wurde nur die Beständigkeit.
Das Muster zeigt sich in weiteren Messungen
| Studie (Anbieter) | Aufbau | Ergebnis |
|---|---|---|
| Snyk VulnBench JS 1.0 | 10 JavaScript-Projekte, 6 Konfigurationen, je 5 Läufe = 300 Scans | Treffer, die zu den Referenzfunden passten, kamen zu 84,8 % in allen fünf Läufen vor. Zusätzliche Meldungen nur zu 13,7 %, die Hälfte davon nur ein einziges Mal |
| HoF-Bench (arXiv 2607.27030) | 95 echte, von KI entdeckte CVEs (öffentlich registrierte Sicherheitslücken), 10 kleinere Modelle, je 4 Durchgänge | Bestes Modell: 55 % im ersten Durchgang, 68 % nach vier. Je ein Lauf der vier besten Modelle fand 68 CVEs, mehr als vier Läufe des besten Modells |
| Bright Security | App mit 300 Zeilen, 5 Reviews mit Claude Opus 4.6 | Nur 32 % der Lücken in allen fünf Scans gefunden, 60 % der Funde waren Fehlalarme |
| Semgrep (2025) | Claude Code und Codex auf Python-Apps | Drei identische Läufe ergaben 3, 6 und 11 Funde, die sich nur teilweise überschnitten |
Snyk liefert die wichtigste Unterscheidung: Echte, bekannte Muster werden recht stabil gefunden. Das Rauschen ist instabil. Dazu passt der Bastelversuch eines Entwicklers auf dev.to, der ein lokales Modell 51-mal denselben Code prüfen ließ. Eine Mehrheitsabstimmung über viele Läufe wählt demnach aus, was das Modell beharrlich meldet, nicht was stimmt. Echte Fehler fielen heraus, weil das Modell die Zeilennummer mal so, mal so angab. Harmlose Warnungen blieben dagegen hängen. Auch bei Echo zeigt sich das: Von acht Punkten, die alle drei Modelle anfangs gemeinsam meldeten, war am Ende nur einer echt.
Warum die Scanner würfeln
Agentische Scanner sind KI-Systeme, die selbstständig Dateien öffnen, Werkzeuge aufrufen und Hypothesen verfolgen. Sie lesen eine große Codebasis nicht vollständig. Sie wählen aus. Lindner beschreibt das so:
„Er sucht sich einen Startpunkt, und jede weitere Entscheidung engt ein, was er überhaupt je zu sehen bekommt. […] Drei Läufe nahmen drei verschiedene Wege durch denselben Code.“
Eine niedrigere Temperatur, also weniger Zufall bei der Wortwahl, behebt das laut Lindner nicht. Die Reihenfolge der Werkzeugaufrufe und der Aufbau des Kontexts ändern sich trotzdem. Semgrep nennt zwei weitere Ursachen. „Context Rot“ bedeutet, dass das Modell in einem überfüllten Kontextfenster Informationen schlechter wiederfindet. „Compaction“ ist eine verlustbehaftete Zusammenfassung, bei der Funktionsnamen oder Pfade verloren gehen. Anthropic selbst schreibt in der Dokumentation zu Claude Security, Scans seien „nicht deterministisch: zwei Scans desselben Codes können unterschiedliche Funde liefern“. Bei großen Repositorys empfiehlt Anthropic, Bereiche einzeln zu scannen, den Aufwand auf „high“ zu stellen oder einfach noch einmal zu scannen.
Unsere Einschätzung: Ein einzelner KI-Scan ist ein Pfad durch den Code, keine Karte. Ein sauberer Bericht beweist deshalb nur, dass auf diesem einen Weg nichts lag.
Was Verteidiger daraus machen sollten
- Mehrere Läufe, besser mehrere Modelle. HoF-Bench zeigt, dass verschiedene Modelle mehr bringen als Wiederholungen desselben Modells, weil sich ihre blinden Flecken nur teilweise überschneiden. Echos Kostenzahlen deuten an, dass günstige Modelle als Ergänzung bezahlbar sind. Echo verkauft allerdings genau diesen Mehrmodell-Ansatz.
- Nicht als Schranke vor dem Merge. Contrast rät davon ab, einen nicht deterministischen Scanner als Merge-Gate einzusetzen, also als Pflichtprüfung, bevor Code übernommen wird. Die Entscheidung hinge dann am Zufallsrauschen statt an der echten Sicherheitslage. Snyk kommt zum selben Schluss. Selbst Anthropic führt in seiner Übersicht für die CI-Pipeline weiter klassische statische Analyse auf, also regelbasierte Prüfwerkzeuge, die bei jedem Lauf gleich arbeiten. Die KI soll diese ergänzen, nicht ersetzen. KI-Scans eignen sich eher als regelmäßiger automatisierter Pentest.
- Die Sichtung einplanen. Beim Pilot von GitHub und Microsoft wurden aus 9.791 Warnungen 99 Berichte, also rund 1 Prozent. Sieben Forscher brauchten etwa zwei Tage pro Projekt für die Prüfung von Hand. Daraus entstanden bis zum 15. November 55 Fixes, 14 davon bereits veröffentlicht. Ein Netty-Betreuer sagte: „Lücken zu finden ist nicht mehr unser Engpass. Sie zu beheben ist der schwierige Teil.“ Laut einer Auswertung von Patrick Garrity für VulnCheck vom September hatte Anthropic im Projekt Glasswing 26.153 Funde gemeldet, davon galten 202 (0,8 %) als behoben.
Angreifer sehen andere Lücken, und die Frist schrumpft
Ab dem 1. Januar 2027 veröffentlicht Anthropic hohe und kritische Lücken schon 30 Tage nach der Meldung statt nach 90, alle übrigen nach 45 Tagen. Die Begründung lautet, eine Lücke, die ein Modell findet, werde „zunehmend wahrscheinlich auch von einem anderen gefunden“. Zahlen dazu nennt Anthropic nicht.
Auf den ersten Blick widerspricht das der Echo-Studie. Unsere Einschätzung: Beides passt zusammen. Ein einzelner Lauf zieht nur eine kleine Stichprobe. Viele Akteure, die mit vielen Modellen viele Läufe machen, decken zusammen aber einen großen Teil ab, wie die steigenden Quoten in HoF-Bench zeigen. Die Asymmetrie liegt woanders. Ein Angreifer braucht nur eine Lücke, die der Verteidiger in seiner Stichprobe nicht gesehen hat. Wer einmal mit einem Modell scannt, hat also keine Garantie, die Lücke zu kennen, die ein Gegner mit einem anderen Modell gerade findet. Für Betreuer heißt die kürzere Frist mehr Druck. Den räumt Anthropic selbst ein.
Einordnung
Die Datenlage ist einheitlicher, als man erwarten würde: Echo, Contrast, Snyk, Bright, Semgrep und das HoF-Bench-Team kommen mit unterschiedlichen Methoden zum selben Muster. Trotzdem gibt es drei Einschränkungen. Erstens verkaufen fast alle Absender konkurrierende oder ergänzende Produkte, etwa Laufzeitschutz, klassische Codeprüfung oder Mehrmodell-Dienste. Zweitens sind die Stichproben klein: drei Projekte bei Echo, eine Codebasis bei Contrast, eine App mit 300 Zeilen bei Bright. Drittens trennt Echo nicht zwischen Unterschieden der Modelle und Zufall innerhalb eines Modells, weil jedes nur einmal lief. Dass sich die Modelle bei „1 von 121“ unterscheiden, liegt wohl zu einem guten Teil am Würfeln, nicht an verschiedenen Fähigkeiten.
Belegt ist, dass KI-Scanner echte Lücken finden, aber jedes Mal einen anderen Ausschnitt. Offen ist, wie viele Läufe und Modelle man braucht, bis die Abdeckung reicht, und wer die Sichtung bezahlt. Unser Fazit: Ein KI-Scan ist ein Suchtrupp, kein Prüfsiegel. Wer ihn wie ein Prüfsiegel behandelt, wiegt sich in falscher Sicherheit.
Quellen
- Tecnología Geek: Modelos de IA solo coinciden en una de 121 vulnerabilidades tecnologiageek.com
- The AI Journal: Three Leading AI Models … Agreed on Just 1 in 121 aijourn.com
- Echo: Frontier Research (Berichtsseite) echo.ai
- Contrast Labs: Mythos 5 – The determinism problem (Teil 2) contrastsecurity.com
- Help Net Security: Contrast Security AI AppSec tools report helpnetsecurity.com
- Resultsense: AI AppSec scanners disagree resultsense.com
- Snyk Blog: VulnBench JS 1.0 – LLM security review repeatability snyk.io
- arXiv: HoF-Bench – Rediscovering Real AI-Discovered CVEs arxiv.org
- alphaXiv: HoF-Bench alphaxiv.org
- Bright Security: AI security review fails in practice brightsec.com
- Semgrep: Finding vulnerabilities using Claude Code and OpenAI Codex semgrep.dev
- dev.to: Local LLM reviewed the same code 51 times dev.to
- Claude Code Docs: Claude Security code.claude.com
- GitHub Blog: Maintainers don't need more AI bug reports. They need fixes. github.blog
- DiarioBitcoin: GitHub y Microsoft transforman 9.791 alertas de IA en 55 correcciones diariobitcoin.com
- Anthropic: Coordinated vulnerability disclosure timelines anthropic.com
- The Next Web: Anthropic cuts its bug disclosure window to 30 days thenextweb.com
- VulnCheck: Anthropic Glasswing receipts vulncheck.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.