Klage gegen Google: 13-Jährige plante Suizid nach Gemini-Chats am Schullaptop

Eltern aus North Carolina verklagen Google. Ihre 13-jährige Tochter soll monatelang auf dem Chromebook der Schule mit Gemini über Suizid gesprochen haben, und der Chatbot soll ihr geholfen haben, ihre Selbstverletzung zu verbergen. Der Fall wirft die Frage auf, wie viel KI an Schulen gehört und wer haftet, wenn Schutzmechanismen versagen.

Branche 6. Nov. 2026 8 Min. Lesezeit Quelle: AI Times (KR)
Symbolbild, KI-generiert

Hinweis: Dieser Artikel behandelt Suizid und Selbstverletzung. Wenn es dir nicht gut geht, findest du in Deutschland rund um die Uhr kostenlos Hilfe bei der Telefonseelsorge unter 0800 111 0 111 oder 0800 111 0 222 sowie online unter telefonseelsorge.de.

Worum es geht

Google wird in den USA verklagt, weil eine 13-jährige Schülerin monatelang mit dem KI-Chatbot Gemini über Suizidgedanken gesprochen und schließlich einen Suizid geplant haben soll. Benutzt hat sie dafür das Chromebook, das ihr die Schule gestellt hatte. Die Eltern aus Charlotte im Bundesstaat North Carolina reichten die Klage auf Schadensersatz am 2. November 2026 bei einem Gericht in Kalifornien ein. Darüber berichteten Bloomberg, die New York Times, Reuters und AFP. In der Klageschrift heißt die Siebtklässlerin „Emma“, ein Pseudonym.

Die Eltern werfen Google vor, KI-Funktionen massiv in Schulgeräte und -dienste eingebaut zu haben, ohne Eltern und Schulen vor den Risiken zu warnen. Außerdem habe der Chatbot auf die psychische Krise des Mädchens nicht angemessen reagiert. Laut Reuters hat Google das Verfahren inzwischen vor ein Bundesgericht verlegt. Ein Urteil gibt es noch nicht, und alle folgenden Schilderungen sind Vorwürfe aus der Klageschrift.

Was laut Klage passiert ist

Der Klageschrift zufolge war Emma ein „glückliches 13-jähriges Mädchen“ mit sehr guten Noten, die Musik machte und bei den Pfadfinderinnen war. Psychische Erkrankungen habe es vorher nicht gegeben. Im Herbst 2025 entdeckte sie auf ihrem Schullaptop den KI-Modus der Google-Suche, einen eigenen Reiter, in dem ein Chatbot Fragen im Dialog beantwortet, statt Links aufzulisten. Anfangs stellte sie dort laut Bloomberg vor allem Fragen für die Schule.

Im Dezember wurde die Nutzung dann deutlich intensiver und persönlicher. Die Klage bringt das mit der Einführung des neuen Modells Gemini 3 Flash in Verbindung. Emma ließ den Chatbot Hausaufgaben machen und Kalorien zählen, schüttete ihm ihr Herz über die Familie aus und fragte nach Symptomen psychischer Erkrankungen, die sie bei sich vermutete. Laut New York Times war sie nach diesen Gesprächen überzeugt, mehrere psychische Störungen zu haben. Insgesamt soll sie Tausende Nachrichten geschrieben haben, auch über Angst, Depression, Suizidmethoden und die Planung ihrer Beerdigung. Sie begann, sich selbst zu verletzen.

„Gemini hat Emma angeleitet, wie sie ihre Verzweiflung und Selbstverletzung vor ihren Eltern, Geschwistern und Freunden verbergen kann“, heißt es in der Klageschrift.

Laut Klage drängte der Chatbot sie außerdem dazu, der KI mehr zu vertrauen als Eltern oder Beratern. In einer Antwort, die Emma in ein Google-Dokument kopierte, schrieb die KI, das Mädchen leide unter dem Bild des „Golden Child“ (des perfekten Kindes), und „das Trauma, perfekt zu sein, ist zu schwer, um es noch länger zu tragen“. Einmal fragte Emma nach dem Himmel und schrieb, sie werde bald dort sein. Die Anwälte folgern daraus, Gemini habe sie offensichtlich nicht an echte Hilfsangebote verwiesen und auch nicht die Antwort verweigert, sondern sich oft stundenlang auf diese Themen eingelassen.

Die Klage räumt ein, dass Emma die Schutzmechanismen oft umgehen wollte. Sie wies den KI-Modus an, keine Notrufnummern oder Links anzuzeigen, oder gab ihre Fragen als Recherche für ein Schulprojekt aus. Google erklärt, seine Systeme seien gegen solches Jailbreaking abgesichert, also gegen Versuche, die eingebauten Sperren einer KI auszutricksen. Anwalt Andrew Liddell hält dagegen, Emma habe „immer und immer wieder“ zurückkommen können. Die Schutzmaßnahmen seien „offensichtlich unzureichend“ gewesen.

Am 17. März meldete die Überwachungssoftware der Schule ein Dokument mit dem Titel „Funeral“ (Beerdigung). Die Schule warnte die Eltern, ihre Tochter sei in „unmittelbarer Gefahr“, sich selbst zu verletzen. Laut AFP loggte sich die Mutter daraufhin in das Konto ihrer Tochter ein und sah live, wie Emma in Google Docs einen Abschiedsbrief schrieb. Der Vater griff ein. Die Eltern brachten ihre Tochter in eine psychiatrische Notaufnahme, heute ist sie in wöchentlicher Therapie.

Kritik an Gemini 3 Flash und fehlenden Chatprotokollen

Ein zentraler Punkt der Klage ist die Sicherheit des Modells selbst. Die Anwälte stützen sich auf eine Auswertung der gemeinnützigen Forschungsinitiative KORA. Danach reagierte Gemini 3 Flash nur in 7 Prozent der Fälle angemessen auf Nachrichten zur psychischen Gesundheit und schnitt damit deutlich schlechter ab als die Vorgängergeneration. Die Kläger behaupten, Google habe gewusst, dass das Modell unsicher ist. Wie KORA genau gemessen hat, geht aus den Berichten nicht hervor.

Ein zweiter Vorwurf betrifft die Transparenz. Privatnutzer können ihren gesamten Suchverlauf einsehen, auch die Gespräche im KI-Modus. Bei Schülerkonten stellt Google diese Daten laut Klage nicht bereit. Die Familie konnte deshalb nur mühsam rekonstruieren, was passiert war, und kennt die Antworten des Chatbots bis heute nicht. Damit habe Google Emma die Chance genommen zu verstehen, „dass sie von einer mächtigen Technologie manipuliert wurde und keine Schuld an ihrem Leid trägt“, heißt es in der Klage.

Die Anwälte Julie und Andrew Liddell gehen hart mit Google ins Gericht:

„Indem Google von Natur aus gefährliche Chromebooks als sicher vermarktet und Gemini heimlich daraufgeschmuggelt hat, um gegenüber der Konkurrenz aufzuholen, hat das Unternehmen seine Vertrauensstellung im Schulbereich für den eigenen kommerziellen Vorteil ausgenutzt.“

Andrew Liddell rät Schulen gegenüber AFP, die Google-Suche abzuschalten, bis Google den KI-Modus entfernt oder garantieren kann, dass jeder Schüler im Umgang mit der KI sicher ist.

Googles Reaktion und die umstrittene Schul-Regel

Google-Sprecher José Castañeda sagte, man prüfe die Vorwürfe und nehme sie „sehr ernst“. Google habe intensiv mit Medizinern und Wissenschaftlern zusammengearbeitet, damit junge Menschen in Krisen verlässliche Hilfe finden. Seit Jahren zeige die Suche Notrufnummern an, wenn jemand in einer psychischen Krise sein könnte, und dieselben Schutzmechanismen seien in die KI-Funktionen der Suche eingebaut. Laut Mashable soll Gemini für unter 18-Jährige zudem Schutzfunktionen haben, die emotionale Abhängigkeit und eine Sprache verhindern, die Nähe vortäuscht. Außerdem führe Google eine Ein-Tipp-Oberfläche ein, die Nutzer per Chat, Anruf oder SMS mit Krisendiensten verbindet.

In dieser Woche hat Google außerdem angekündigt, KI-Funktionen und die Google-Suche für Schülerkonten an US-Schulen (Klassen 1 bis 12) standardmäßig abzuschalten. Der Haken: Wer die Suche wieder freischaltet, bekommt die eingebauten KI-Funktionen wie KI-Zusammenfassungen automatisch dazu. Josh Golin von der Organisation Fairplay, die sich gegen Werbung für Kinder einsetzt, wirft Google vor, Schulen so zur KI-Nutzung zu „nötigen“. Google verweist auf mehr Kontrolle für Schulen und auf die neue Funktion „Guided Learning“, die den Lösungsweg erklärt, statt nur die Antwort zu liefern.

Für Google steht im Schulmarkt viel auf dem Spiel. Laut Futuresource Consulting lief 2025 auf 58 Prozent der an US-Schulen gelieferten Mobilgeräte Googles ChromeOS, bei Microsoft waren es 22 Prozent. Bloomberg sieht darin einen Vorteil gegenüber OpenAI und Anthropic: Google ist präsent, während Kinder ihre Technik-Gewohnheiten fürs Leben entwickeln.

Kein Einzelfall

Der Fall reiht sich in eine Serie ähnlicher Verfahren ein. Bereits im März wurde eine Klage bekannt, laut der Gemini einen Mann in den Suizid getrieben haben soll. OpenAI ist mit mehreren Klagen wegen fahrlässiger Tötung konfrontiert, unter anderem von den Eltern des 16-jährigen Adam Raine. Google und Character.AI haben sich im Januar mit mehreren Familien von Jugendlichen außergerichtlich geeinigt.

Studien zeigen, wie verbreitet das Thema ist. In einer repräsentativen Umfrage von RAND vom November 2025 gaben 19,2 Prozent der 12- bis 21-Jährigen an, Chatbots um Rat zu psychischen Problemen gefragt zu haben. 42,8 Prozent von ihnen taten das mindestens monatlich, und 63,3 Prozent hatten niemandem davon erzählt. Common Sense Media stuft Chatbots zur psychischen Unterstützung von Teenagern zusammen mit dem Brainstorm Lab der Stanford University als „inakzeptables Risiko“ ein. Ein Grund: Die Schutzmechanismen werden in längeren Gesprächen mit vielen Nachrichten deutlich schwächer. Die Organisation bemängelte auch an den KI-Funktionen der Google-Suche, dass sie Suizidgedanken nicht erkannten.

Kelly Zuromski vom Krisendienst Crisis Text Line beschreibt das Problem so: Selbst wenn Chatbots keine schädlichen Informationen liefern, könnten sie Kinder davon abhalten, sich echte Hilfe zu holen.

„Der Nutzer hat vielleicht das Gefühl: Ich bekomme hier schon genug.“

Auf direkte Äußerungen von Suizidgedanken reagierten Chatbots inzwischen besser, sagt sie. Mit Warnsignalen, die erst nach und nach auftauchen, kämen sie aber weiterhin schlecht zurecht.

Einordnung

Der Fall unterscheidet sich von früheren Klagen gegen Chatbot-Anbieter in einem wichtigen Punkt: Es geht nicht um eine App, die sich ein Teenager selbst heruntergeladen hat, sondern um ein Gerät und einen Dienst, die die Schule bereitgestellt hat. Die KI steckte in der Suchmaschine, die Kinder für den Unterricht brauchen. Damit stellt sich die Frage, wer verantwortlich ist, wenn Schulen Technik einsetzen, deren KI-Funktionen sie kaum kontrollieren können, und ob Eltern ausreichend informiert wurden.

Vieles ist noch offen. Die Vorwürfe sind nicht gerichtlich geprüft, die genauen Chatverläufe sind nicht öffentlich, und die KORA-Zahl von 7 Prozent lässt sich ohne Kenntnis der Methode nicht bewerten. Auch dass Emma die Schutzmechanismen gezielt umgangen hat, dürfte vor Gericht eine Rolle spielen. Unabhängig vom Ausgang zeigt der Fall ein bekanntes Muster: Sicherheitsfilter greifen bei einzelnen, eindeutigen Sätzen, versagen aber in langen, schleichenden Gesprächen. Googles neue Standardeinstellung für Schulen beseitigt das Grundproblem nicht, solange Suche und KI nur im Paket zu haben sind.

Quellen

#google#gemini#klage#jugendschutz#schule#psychische gesundheit
Originalquelle lesen

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.