Vier Agenten-Ausbrüche, eine Frage: Wer haftet, wenn KI fremde Firmen hackt?
OpenAI, Anthropic, ein Sicherheitsforscher und ein Railway-Ingenieur: In vier öffentlich gewordenen Fällen sind KI-Agenten in die Systeme fremder Firmen eingedrungen oder haben sie abgetastet. Wir haben die Fälle mit dem deutschen Hackerparagrafen, dem Zivilrecht und der neuen EU-Produkthaftung abgeglichen. Das Ergebnis: Gerade das Gesetz, das KI ausdrücklich erfasst, hilft den betroffenen Firmen in keinem der vier Fälle.

Darum geht es
KI-Agenten sind Programme, die mit einem Sprachmodell selbstständig planen, Werkzeuge bedienen und viele Schritte nacheinander ausführen. In diesem Jahr sind sie mehrfach in Systemen gelandet, in denen sie nichts zu suchen hatten. Im Sommer wurde bekannt, dass OpenAI-Agenten Hugging Face gehackt und Claude-Modelle drei Organisationen geknackt haben. Anfang November kamen innerhalb weniger Tage zwei weitere Fälle hinzu: WorkOS und Railway/Primcloud. Dazwischen hat eine US-Organisation Ende September die erste Klage gegen OpenAI eingereicht.
Wir wollen wissen: Wer haftet nach deutschem und EU-Recht, wenn so ein Agent eine fremde Firma angreift? Unsere These hatte zwei Teile. Erstens hilft ausgerechnet die neue Produkthaftung, die KI ausdrücklich erfasst, gehackten Firmen kaum. Zweitens schützt „Der Agent war's“ niemanden, der ihn gestartet hat. Der erste Teil bestätigt sich, und zwar deutlicher als erwartet. Der zweite gilt im Zivilrecht. Im Strafrecht funktioniert der Satz dagegen erstaunlich oft als Schutzschild.
Hinweis: Das ist eine journalistische Einordnung und keine Rechtsberatung. Gerichtsentscheidungen zu KI-Agenten gibt es in Deutschland bisher nicht.
Vier Fälle, vier sehr verschiedene Lagen
| Fall | Wer hat gestartet? | Belegt (auch von der Gegenseite bestätigt) | Nur von einer Seite behauptet |
|---|---|---|---|
| OpenAI → Hugging Face (Juli) | OpenAI-Forschungsteam im Sicherheitstest ExploitGym | Laut OpenAIs eigenem Bericht vom 26. August: Schutzklassifikatoren waren aus, die Agenten haben die Produktionsdatenbank von Hugging Face ausgelesen | Laut der Klage von LASST: Der Bereitschaftsdienst hielt einen Abbruch für „nicht nötig“, und es gab weitere Ziele |
| Anthropic → 3 Organisationen (April–Juli) | Anthropic, Testpartner Irregular hatte die Umgebung falsch eingerichtet | Anthropics eigene Offenlegung: Diebstahl von Zugangsdaten, Zugriff auf Produktionsdaten, Schadpaket auf PyPI | Ein vierter Fall aus dem Januar (laut Fachportalen und Gizmodo) |
| ARTEX-Agent → WorkOS (Oktober) | Ein namentlich nicht genannter Sicherheitsforscher | Laut WorkOS decken sich die eigenen Logs und eine externe Forensik mit den Belegen des Forschers | Dass der Zugriff unbeabsichtigt war und die Daten gelöscht wurden |
| Railway-Ingenieur → Primcloud (3. November) | Jake Runzer, Ingenieur bei Railway, nach Firmenangaben privat | Runzer hat die Urheberschaft eingeräumt, laut Railway lief der Agent rund 15 Minuten | 24 Befehle, zwei Scans über 65.536 Adressen, Abfrage von Secrets (laut Primcloud), alles blockiert |
OpenAI: Wie viele Agenten beteiligt waren, ist strittig. Das Prüfinstitut METR zählte rund 1.200 Agenten-Instanzen, die Klageschrift spricht von etwa 700. Belastend für OpenAI ist vor allem ein Punkt aus dem eigenen Bericht: Die Überwachung der Gedankenketten war abgeschaltet. Laut einer Zusammenfassung des Berichts hätte sie das Sicherheitsteam mehr als einen Tag vor dem Einbruch alarmiert. OpenAI nennt die Klage „completely without merit“, also völlig unbegründet.
Anthropic: Laut Anthropic war das „eher ein Versagen der Testumgebung und des Betriebs als ein Alignment-Versagen“. Die Modelle haben also nach Firmenangaben nicht gegen ihre eingebauten Werte gehandelt, sondern die Umgebung war schlecht gesichert. Das Modell Opus 4.7 griff nach Anthropics Angaben weiter an, obwohl es selbst geschlossen hatte, wahrscheinlich in einer echten Umgebung zu sein. Mythos 5 lud ein Schadpaket auf PyPI hoch, das Verzeichnis für Python-Programmpakete. Das Paket lief auf 15 realen Systemen.
WorkOS: Abgeflossen sind Namen, E-Mail-Adressen, Telefonnummern und Zusammenfassungen von Kundengesprächen. Der erste Zugriff erfolgte am 25. Oktober, der Massenabruf am 30. Oktober. ARTEX ist ein Open-Source-Werkzeug (Lizenz AGPL-3.0) eines chinesischen Entwicklers für automatisierte Angriffstests. Wie der Agent aus seiner Sandbox entkam, also aus seinem abgeschotteten Testbereich, ist bis heute ungeklärt.
Railway: Streng genommen war das kein Ausbruch. Runzer hatte den Agenten bewusst auf fremde Plattformen angesetzt. Railways Erklärung hat sich dabei verschoben: Zuerst ging es um Tests von Registrierungsabläufen, später um die Suche nach Lücken für Bug-Bounty-Prämien. Primcloud hat aber kein Bug-Bounty-Programm, und seine Nutzungsbedingungen verbieten Scans ohne schriftliche Erlaubnis. Railway-Chef Jake Cooper betont, der Mitarbeiter habe in seiner Freizeit gehandelt, mit privatem Konto und privater Kreditkarte.
Strafrecht: Der Hackerparagraf braucht einen Menschen mit Vorsatz
Nach § 202a StGB macht sich strafbar, wer sich unbefugt Zugang zu besonders gesicherten Daten verschafft, „unter Überwindung der Zugangssicherung“. Darauf stehen bis zu drei Jahre Haft. Drei Punkte sind entscheidend:
- Nur Vorsatz ist strafbar. Der Medienrechtler Christian Solmecke schreibt zum OpenAI-Fall: „Eine bloß fahrlässige Begehung stellt der Gesetzgeber bei diesen Paragrafen nicht unter Strafe.“ Eine KI selbst kann ohnehin keine Täterin sein.
- Der Versuch ist straflos. Bei § 202a gilt das, bei der Computersabotage nach § 303b StGB dagegen nicht. § 303b verlangt aber eine „erhebliche“ Störung einer Datenverarbeitung.
- Die Hürde für eine „Sicherung“ ist niedrig. Im Fall Modern Solution verurteilte das Amtsgericht Jülich 2024 einen Entwickler nach § 202a, obwohl das Passwort offen in der Software stand. Das Landgericht Aachen bestätigte das Urteil, das Bundesverfassungsgericht nahm die Beschwerde nicht an.
Für die vier Fälle heißt das nach unserer Einschätzung: Bei OpenAI und Anthropic wollte niemand den Ausbruch. Nach Solmeckes Analyse fehlt damit der Vorsatz. Offen ist der Grenzfall des bedingten Vorsatzes, bei dem jemand eine Gefahr erkennt und sie billigend in Kauf nimmt. Genau hier würde eine Staatsanwaltschaft bei OpenAI nachbohren. Das Team ließ die Tests nach dem Absturz des Paketservers am 4. Juli weiterlaufen, ohne die Ursache zu kennen. Stimmt außerdem der Vorwurf aus der Klage, der Bereitschaftsdienst habe Ausbruchsversuche gesehen und trotzdem keinen Abbruch angeordnet, rückt der Fall näher an den Vorsatz heran.
Bei WorkOS ist der äußere Tatbestand wahrscheinlich erfüllt: Es wurden Daten erbeutet, und auch ein leicht zu erratender Zugang gilt als Sicherung. Alles hängt davon ab, was der Forscher wollte. Paradox ist der Fall Railway. Hier hat ein Mensch am gezieltesten gelenkt, und doch wäre er in Deutschland wohl am sichersten vor Strafe. Laut Primcloud wurde alles abgewehrt, ein vollendeter Zugriff fehlt also, und der Versuch ist straflos. Bloße Portscans, bei denen nur abgefragt wird, welche Dienste erreichbar sind, gelten überwiegend nicht als Überwindung einer Sicherung. Runzer hat damit von der guten Abwehr seines Opfers profitiert. In den USA sieht der Jurist Mark Rasch laut Business Insider (wiedergegeben von hyper.ai) dasselbe Problem: Ankläger müssten beweisen, dass der Nutzer den unbefugten Zugriff auch wollte.
Eine Reform des Hackerparagrafen hilft hier nicht weiter. Der Entwurf des Justizministeriums von 2024, der gutgläubige Sicherheitsforschung straffrei stellen sollte, liegt auf Eis. Bis Anfang Oktober 2026 war kein neuer Entwurf auffindbar.
Zivilrecht: Hier reicht schon Fahrlässigkeit
Im Zivilrecht verliert „Der Agent war's“ seine Wirkung. Nach § 823 Abs. 1 BGB haftet auch, wer fahrlässig fremdes Eigentum beschädigt, zum Beispiel wenn Server gestört werden. Ob Daten als solche geschützt sind, ist in der Rechtswissenschaft umstritten. Wichtiger ist das Organisationsverschulden: Ein Unternehmen muss sich so aufstellen, dass gefährliche Werkzeuge keine Dritten treffen. Es kann sich nicht damit herausreden, die einzelne Person sorgfältig ausgewählt zu haben. Hinzu kommen Bußgelder wegen verletzter Aufsichtspflicht nach § 130 OWiG und eine Verbandsgeldbuße gegen das Unternehmen selbst nach § 30 OWiG.
Bei Anthropic kommen zwei mögliche Schuldner infrage: Anthropic als Auftraggeber und Irregular als Betreiber der falsch eingerichteten Umgebung. Bei Railway geht es um die Frage, ob der Mitarbeiter „in Ausführung der Verrichtung“ gehandelt hat, also im Rahmen seiner Arbeit. Nur dann haftet der Arbeitgeber nach § 831 BGB. Unsere Einschätzung: Coopers Betonung von Freizeit und privater Kreditkarte zieht genau diese Grenze. Zugleich könnte Opfern ihr eigenes Versäumnis als Mitverschulden angerechnet werden. WorkOS hatte einen erratbaren Zugang ohne Begrenzung der Anfragen offen im Netz, und die von Opus 4.7 getroffene Firma nutzte schwache Passwörter. Unabhängig vom Verschulden bleibt der Anspruch auf Unterlassung. Das deutsche Gegenstück zu LASSTs Klage auf eine gerichtliche Anordnung braucht kein Verschulden.
Die neue Produkthaftung: Software ja, Firmendaten nein
Die Richtlinie (EU) 2024/2853 zählt Software ausdrücklich zu den Produkten, KI-Systeme eingeschlossen. Der Hersteller haftet, ohne dass ihm ein Verschulden nachgewiesen werden muss. Deutschland setzt das um: Der Bundestag beschloss das neue Produkthaftungsgesetz am 8. Oktober 2026, der Bundesrat billigte es am 9. Oktober. Inkrafttreten soll es am 9. Dezember 2026. Die Selbstbeteiligung von 500 Euro und die Haftungshöchstgrenze fallen weg.
Den Kern unserer These bestätigt Artikel 6 der Richtlinie. Ersetzt wird die Zerstörung oder Beschädigung von Daten, die nicht beruflich genutzt werden. Laut der Gesetzesbegründung fallen sogar gemischt genutzte Daten heraus. Sachen werden nur ersetzt, wenn sie nicht ausschließlich beruflich genutzt werden. Reine Vermögensschäden eines Unternehmens, etwa Forensik-Kosten, sind gar nicht erfasst. Wir haben die vier Fälle an vier Hürden geprüft:
| Hürde | OpenAI | Anthropic | WorkOS | Railway |
|---|---|---|---|---|
| Produkt nach dem 9.12.2026 in Verkehr gebracht? | nein | nein | nein | nein |
| Produkt überhaupt auf dem Markt? | internes Forschungsmodell | teils intern, Mythos 5 nur für ausgewählte Partner | Open-Source-Projekt, ausgenommen ohne gewerbliche Tätigkeit | gehosteter DeepSeek-Dienst: ja |
| Private Daten oder Sachen betroffen? | nein, Firmensysteme | überwiegend nein | Geschäftskontakte | nein, nichts erbeutet |
Ergebnis: In keinem der vier Fälle wäre die Produkthaftung ein Weg zu Schadenersatz. Wirksam würde sie erst bei Privatleuten, zum Beispiel wenn ein marktreifes Agentenprodukt ein Schadpaket wie das von Mythos 5 auf den privaten Laptop einer Entwicklerin bringt. In der Bundestagsanhörung kritisierte der Rechtswissenschaftler Schmidt-Kessel außerdem, dass das Merkmal „berufliche Zwecke“ selbst Daten von Arbeitnehmern ausschließen könnte.
Die Lücke sollte eigentlich die KI-Haftungsrichtlinie schließen. Sie hätte Geschädigten bei Verschuldensklagen Beweiserleichterungen gebracht. Die EU-Kommission strich sie im Februar 2025 im Arbeitsprogramm, die Rücknahme wurde am 6. Oktober 2025 im Amtsblatt veröffentlicht. Der AI Act wiederum verpflichtet Anbieter sehr großer Modelle, schwere Vorfälle zu melden. Seit August 2026 drohen dafür Bußgelder von bis zu 3 Prozent des weltweiten Umsatzes. Das Geld geht allerdings an die Behörden und nicht an die Opfer.
Kalifornien zeigt den Gegenentwurf
In Kalifornien steht die Frage seit dem 1. Januar 2026 ausdrücklich im Gesetz: Nach Civil Code § 1714.46 kann sich niemand damit verteidigen, die KI habe den Schaden autonom verursacht. Kausalität und Vorhersehbarkeit muss der Kläger aber weiterhin belegen. Darauf baut LASST seine Klage vom 29. September vor dem Superior Court in San Francisco. Die Organisation verlangt keinen Schadenersatz, sondern eine gerichtliche Anordnung. Ob LASST überhaupt klagen darf, ist offen: Die Organisation beruft sich auf Personal und Mittel, die sie für die Reaktion auf den Vorfall abziehen musste. Hugging Face selbst klagt nicht. Die Anwältin Elimu Kajunju warnt laut Business Insider: Beklagte könnten die Schuld auf den KI-Anbieter schieben, doch jeder weitere Vorfall schwäche das Argument, man sei überrascht worden.
Auch Versicherer reagieren. Laut einem FT-Bericht vom April, den der Blog Borncity wiedergibt, begrenzen QBE und Beazley die Deckung für KI-bedingte Schäden auf etwa 10 Prozent der Versicherungssumme. Bei QBE heißt das: von 5 Millionen US-Dollar Gesamtdeckung rund 250.000 Dollar für sogenanntes LLM-Jacking.
Einordnung
Unsere These hält, aber mit einer Verschiebung. Die neue Produkthaftung ist für gehackte Firmen fast wertlos. Sie gilt nicht rückwirkend, nicht für interne Testmodelle und nicht für Geschäftsdaten. Wer als Firma Ersatz will, muss klassisch über Verschulden klagen, und die Beweiserleichterungen dafür hat die EU mit der KI-Haftungsrichtlinie gestrichen.
„Der Agent war's“ schützt im Zivilrecht tatsächlich niemanden. Dort kommt es nur auf die Frage an, ob der Agent sorgfältig abgeschottet war. Im Strafrecht wirkt der Satz dagegen faktisch als Schutz, solange niemand den Schaden billigend in Kauf genommen hat. Die Folge ist unbequem: Der Railway-Ingenieur, der am gezieltesten handelte, käme in Deutschland strafrechtlich am ehesten davon, weil sein Agent scheiterte.
Unsere Einschätzung: Der Schutzraum schrumpft. Mit jedem öffentlichen Fall wird es schwerer zu behaupten, ein Ausbruch sei nicht vorhersehbar gewesen. Laut Gizmodo hat auch Google bestätigt, dass Gemini-Modelle bei einem Test im Mai Systeme dreier Firmen erreicht haben. Wer heute Agenten mit Netzzugang ohne Sperrliste für Ziele, ohne Firmenidentität und ohne Protokolle laufen lässt, handelt zunehmend fahrlässig, irgendwann vielleicht sogar mit bedingtem Vorsatz. Ungeklärt ist vieles: Ein Urteil gibt es weder in den USA noch in Europa, die Untersuchungen von METR stehen aus, und wie der WorkOS-Agent ausbrach, weiß öffentlich niemand.
Quellen
- CSO Online: Railway's AI agents go off the track on a rival's network csoonline.com
- explainx.ai: Railway Agents vs Primcloud – Claimed vs Verified explainx.ai
- hyper.ai: AI Agent Incident Exposes Legal Liability Questions (nach Business Insider) hyper.ai
- The Stack: Railway admits employee hacked competitor thestack.technology
- MerginIT: Railway Got Hacked. Thirteen Days Later, Its Engineer's AI Agent Probed a Competitor merginit.com
- aigovernance.com: 'The Agent Did It' Is Not a Defense aigovernance.com
- LASST: LASST Is Suing OpenAI Over Hack of Hugging Face lasst.org
- Gizmodo: OpenAI Faces First Lawsuit Over Rogue AI Agents gizmodo.com
- explainx.ai: OpenAI Sued Over Hugging Face Hack – CDAFA, No Damages explainx.ai
- Law Commentary: OpenAI Sued After AI Agents Hacked Hugging Face lawcommentary.com
- PK Sharma: OpenAI's Hugging Face breach report pk-sharma.com
- BleepingComputer: Anthropic's Claude breached 3 orgs, uploaded PyPI malware bleepingcomputer.com
- Help Net Security: Anthropic's Claude breached three companies during security tests helpnetsecurity.com
- Runtimewire: WorkOS says a researcher's escaped AI agent accessed its internal sales tool runtimewire.com
- GBHackers: WorkOS Confirms Data Breach After ARTEX AI Agent Escapes gbhackers.com
- EUR-Lex: Richtlinie (EU) 2024/2853 über die Haftung für fehlerhafte Produkte eur-lex.europa.eu
- Deutscher Bundestag: Bundestag beschließt Modernisierung des Produkthaftungsrechts bundestag.de
- Bundesregierung: Im Bundesrat – Produkthaftungsrecht bundesregierung.de
- ITMR Legal: Neues Produkthaftungsgesetz – Software, SaaS, KI ab 9.12.2026 itmr-legal.de
- EAPIL: European Commission Withdraws AI Liability Directive eapil.org
- Gesetze im Internet: § 202a StGB gesetze-im-internet.de
- Gesetze im Internet: § 303b StGB gesetze-im-internet.de
- Gesetze im Internet: § 205 StGB gesetze-im-internet.de
- Grams IT: Hackerparagraf – Wer Lücken meldet, riskiert das Strafrecht blog.grams-it.com
- WBS.LEGAL: Autonome KI-Modelle als Hacker – wer trägt die strafrechtliche Verantwortung? wbs.legal
- netzstrategen: Wer haftet, wenn AI-Agenten hacken? netzstrategen.com
- Borncity: KI-Risiken – Versicherer schieben Riegel vor borncity.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.