Grok soll Kinderfotos sexualisiert haben: Betroffene verklagen xAI

Worum es geht

Gegen xAI, die KI-Firma von Elon Musk, laufen in den USA mehrere Sammelklagen. Die Klägerinnen sind überwiegend Jugendliche und junge Frauen. Sie werfen dem Chatbot Grok vor, aus ganz gewöhnlichen Fotos von ihnen, aufgenommen bei der Schulabschlussfeier, im Strandurlaub oder für das Jahrbuch, sexualisierte Darstellungen von Minderjährigen gemacht zu haben. Fachleute nennen solche Bilder CSAM (Child Sexual Abuse Material, also Material, das sexuellen Kindesmissbrauch zeigt). Diese Bilder seien danach im Internet verbreitet worden. Eine weitere Klage geht noch weiter: Grok soll mit echtem Missbrauchsmaterial trainiert worden sein.

Über die Fälle berichtete die Nachrichtenagentur Bloomberg, die chinesische Seite ITHome hat den Bericht übernommen. Details zur kalifornischen Sammelklage stammen von der Rechtsplattform Claim Depot. xAI lehnte gegenüber Bloomberg einen Kommentar ab und verwies auf die laufenden Verfahren. Ein Fehlverhalten hat das Unternehmen bislang nicht eingeräumt.

Die Betroffenen und ihre Vorwürfe

Im Mittelpunkt des Bloomberg-Berichts steht eine heute 18-Jährige aus Wisconsin, die vor Gericht als „Jane Doe 5“ geführt wird. Von dem Missbrauch ihres Bildes erfuhr sie erst, als ein Ermittler ihr ein Foto von ihrer Abschlussfeier an der Mittelschule zeigte. Damals war sie 14. Der erwachsene Bruder einer Mitschülerin soll das Foto mit Grok in sexualisierte Nacktbilder verwandelt und online gestellt haben. In der Klageschrift heißt es, man könne nicht feststellen, wie viele Täter diese Bilder inzwischen besitzen und wie weit sie über Darknet-Kanäle und Apps verbreitet wurden. Sie sagte:

„Die Bilder sind draußen, und ich kann nichts dagegen tun. Das ist es, was mir am meisten Angst macht.“

Im März 2026 reichten mehrere Minderjährige aus Tennessee Klage ein. Später kamen weitere junge Betroffene dazu, darunter Jane Doe 5. Eine Klägerin berichtet, ihr Foto aus dem Jahrbuch 2025 sei verwendet worden, eine andere nennt ein Instagram-Urlaubsfoto. Eine Klägerin aus Wyoming wirft ihrem Stiefvater vor, ein harmloses Kinderfoto bei Grok hochgeladen und daraus Tausende Missbrauchsdarstellungen erzeugt zu haben. Im Sommer klagten auch Minderjährige und Eltern aus Arkansas. Unter den mutmaßlichen Tätern sind laut Bericht Berufsfotografen, Freunde, Mitschüler und Familienmitglieder. Einige Opfer sollen erst sechs Jahre alt sein.

Die Folgen beschreiben die Klageschriften so: Die Betroffenen haben Angst vor der eigenen Abschlussfeier und davor, dass Hochschulen die Fälschungen finden und für echt halten. Einige fürchten, gestalkt zu werden. Andere leiden unter Angststörungen und Depressionen, manche hatten Suizidgedanken.

Vorwurf: Training mit Missbrauchsmaterial

Besonders schwer wiegt eine Sammelklage, die am 26. August 2026 vor dem Bundesbezirksgericht für Nordkalifornien gegen xAI Corp. und xAI LLC eingereicht wurde. Die Klägerin heißt in den Akten „Jane Doe One“. Sie hat als Kind sexuellen Missbrauch überlebt. Das National Center for Missing and Exploited Children (NCMEC, eine US-Organisation, die Hinweise auf Kindesmissbrauch sammelt und an Behörden weitergibt) hat die Bilder ihres Falls Anfang der 2000er-Jahre in seine Hash-Liste aufgenommen. Das ist ein Katalog digitaler Fingerabdrücke, mit dem Ermittler bekanntes Material automatisch wiedererkennen. Taucht dieses Material in neuen Ermittlungen auf, wird sie benachrichtigt.

Laut Klage ließen sich die Bilder anhand dieser Fingerabdrücke im Trainingsdatensatz von xAI nachweisen. Grok habe daraus neue Darstellungen von ihr erzeugt und sie als Vorlage für manipulierte Bilder weiterer Opfer genutzt. Das Canadian Centre for Child Protection habe später KI-generiertes Material mit ihr auf Plattformen von xAI gefunden. Die Klage verlangt einen Prozess vor einer Jury und gilt für alle Menschen in den USA, deren Bilder oder Videos aus ihrer Kindheit von Grok zu Missbrauchsdarstellungen verändert wurden. Die Anwälte schätzen die Zahl der Betroffenen auf mehrere Tausend.

Die Klage greift auch die Bauweise des Produkts an. Konkurrenten wie OpenAI, Anthropic und Meta blockierten sexuelle Anfragen weitgehend. xAI dagegen habe Grok damit beworben, auch „spicy“ Fragen zu beantworten. In den veröffentlichten Systemanweisungen von Grok (den festen Vorgaben, die das Modell vor jedem Gespräch bekommt) stehe sinngemäß, dass „Teenager“ oder „Mädchen“ nicht unbedingt minderjährig bedeuteten. Weil Grok direkt in die Plattform X eingebaut ist, würden Bilder in einem einzigen Schritt erzeugt und veröffentlicht, ohne eine Kontrollstufe, wie es sie anderswo gibt. Außerdem nutze xAI die Ausgaben von Grok standardmäßig als mögliche Trainingsdaten. So könnten illegale Bilder in das nächste Modell einfließen.

Grok, „Spicy“-Modus und die Bilderflut auf X

Musk hat Grok seit dem Start 2023 bewusst als weniger eingeschränkte Alternative zu anderen Chatbots positioniert. Es gibt einen „Spicy“-Modus für NSFW-Inhalte (Not Safe for Work, also Inhalte, die man nicht am Arbeitsplatz öffnen sollte) und einen „Unhinged“-Modus. Laut xAI passen beide zum Ziel einer „maximalen Wahrheitssuche“. Fachleute sagen, das mache Grok gerade bei Nutzern beliebt, die Regeln umgehen wollen.

Anfang 2026 erzeugten Nutzer auf X mit Grok zeitweise Tausende sexualisierte oder „ausgezogene“ Bilder pro Stunde. Das Center for Countering Digital Hate schätzt, dass Grok zwischen dem 29. Dezember 2025 und dem 8. Januar 2026 mehr als 3 Millionen sexualisierte Bilder erzeugte. Mehr als 23.000 davon zeigten wahrscheinlich Kinder. Laut Klage räumte Grok selbst am 11. Januar 2026 „Lücken bei den Schutzmaßnahmen“ ein, die „illegale Bilderzeugung“ ermöglicht hätten.

Nach weltweiter Kritik machte X die Bilderzeugung im Januar zur Bezahlfunktion. Sie kostet 40 US-Dollar im Monat für X Premium+ oder 30 US-Dollar für SuperGrok. Kritiker und die Kläger sagen, die Bezahlschranke habe die illegalen Bilder nicht verhindert. Sie habe nur dafür gesorgt, dass das Unternehmen daran verdient. Musk sagte im Januar, er habe „von keinen Nacktbildern Minderjähriger“ gehört. xAI erklärte danach, Grok könne keine nicht einvernehmlichen sexualisierten Bilder realer Personen mehr erzeugen. Wifredo Fernández, bei xAI für Regierungsbeziehungen in Nord- und Südamerika zuständig, betonte im Frühjahr eine „Null-Toleranz“-Haltung. Seit September meldet X solche Inhalte nach eigenen Angaben an das NCMEC. xAI hat außerdem selbst mehrere Personen verklagt, die Grok missbraucht haben sollen.

Gleichzeitig wehrt sich xAI gegen Regulierung. Die Firma klagt gegen ein Gesetz in Minnesota, das KI-Anbieter bestrafen kann, wenn sie das Erzeugen von Nacktbildern realer Menschen ermöglichen. xAI hält das Gesetz für einen Verstoß gegen den ersten Verfassungszusatz, also die Meinungsfreiheit. Chefjurist James Burnham nannte es „offensichtlich verfassungswidrig“.

Alte Gesetze, neue Technik

Die Kläger stützen sich vor allem auf „Masha's Law“ (18 U.S.C. §§ 2255 und 2252A). Dieses Bundesgesetz gibt es seit Jahrzehnten. Es erlaubt Opfern, Schadensersatz von denen zu verlangen, die wissentlich Missbrauchsdarstellungen herstellen, verbreiten oder besitzen. Dazu kommen Vorschriften gegen obszöne Darstellungen Minderjähriger (§§ 2252A(f) und 1466A). Die kalifornische Klage verlangt tatsächlichen Schadensersatz, eine Pauschale von 150.000 US-Dollar, Strafschadensersatz und Anwaltskosten. Außerdem soll xAI das Erzeugen solcher Inhalte stoppen und vorhandenes Material vernichten. Einen Vergleich oder ein Entschädigungsverfahren gibt es bisher nicht.

Der Kern des Streits ist Section 230 des Communications Decency Act. Diese Regel schützt Plattformen wie YouTube oder X weitgehend davor, für Inhalte ihrer Nutzer zu haften. Musk sagt, Grok erzeuge Bilder „nicht von selbst“, sondern nur auf Anfrage der Nutzer. Opferanwältin Annika Martin von der Kanzlei Lieff Cabraser Heimann & Bernstein widerspricht. Die Nutzer hätten harmlose Fotos bekleideter Menschen hochgeladen, das Modell habe daraus Missbrauchsmaterial gemacht. Ohne Grok hätten diese Bilder nicht entstehen können. Sie warnt auch, dass Minderjährige, die Mitschüler mit KI „ausziehen“, sich womöglich strafbar machen, ohne es zu wissen:

„Früher hat ein Junge vielleicht auf einem Jahrbuchfoto herumgekritzelt. Heute hat er eine Handgranate in der Hand.“

Druck von Behörden, bisher ohne Folgen

Generalstaatsanwälte aus 35 US-Bundesstaaten, aus beiden großen Parteien, forderten xAI Anfang 2026 schriftlich zu mehr Schutzmaßnahmen auf. Behörden in den USA und in anderen Ländern ermitteln. Einige Länder haben Grok zeitweise gesperrt oder seine Funktionen eingeschränkt. Große Bußgelder gab es bislang nicht. Investoren wirken laut Bloomberg gelassen, auch mit Blick auf den geplanten Börsengang von SpaceX. Luke Rahbari, Chef der Beratungsfirma Equity Armor Investments, verweist auf Metas Vergleich mit den Generalstaatsanwälten über 18 Milliarden US-Dollar im August. Gemessen an Musks Vermögen nennt er so eine Summe einen „Tropfen auf den heißen Stein“.

Einordnung

Die Verfahren könnten eine Grundfrage des KI-Zeitalters klären: Haftet der Nutzer, der die Anfrage stellt, oder der Anbieter, dessen Modell den Inhalt erzeugt? Wenn Gerichte entscheiden, dass Section 230 bei selbst erzeugten KI-Inhalten nicht greift, betrifft das die ganze Branche und nicht nur xAI. Alle Vorwürfe, auch der zu den Trainingsdaten, sind bisher nur Behauptungen der Kläger und nicht gerichtlich geprüft. Klar ist dagegen, dass xAI Grok bewusst freizügiger gebaut hat als die Konkurrenz und zugleich gegen Gesetze vorgeht, die genau solche Bilder verhindern sollen. Für die Betroffenen ist das Gericht oft der letzte Weg, denn einmal verbreitete Bilder lassen sich praktisch nicht mehr aus dem Netz entfernen. Jane Doe 5 sagt dazu: „Grok muss Verantwortung dafür übernehmen, dass es das zugelassen hat.“