Googles KI macht unbescholtene Krankenhaus-Mitarbeiterin zur verurteilten Trunkenheitsfahrerin

Worum es geht

Tracey Melsom-Page arbeitet seit 39 Jahren als Anästhesie-Technikerin in West-Auckland in Neuseeland. Sie hatte in öffentlichen Krankenhäusern drei leitende Stellen inne und arbeitet eng mit Chirurgen und Anästhesisten zusammen. Mit dem Gesetz hatte sie nach eigener Aussage nie Probleme, abgesehen von dem einen oder anderen Strafzettel wegen zu schnellen Fahrens. Wer ihren Namen aber bei Google eingab, bekam etwas anderes zu lesen. Laut Googles „AI Overview“ war sie wegen Trunkenheit am Steuer verurteilt und vom Health Practitioners Disciplinary Tribunal belangt worden, weil sie über ihre Vorstrafen gelogen habe. Das Tribunal ist das Disziplinargericht für Gesundheitsberufe in Neuseeland. Die AI Overview ist die KI-generierte Zusammenfassung, die Google über den eigentlichen Suchergebnissen anzeigt.

Nichts davon stimmt. Melsom-Page hat keine Vorstrafen und darf ihren Beruf weiterhin ausüben. Bekannt wurde der Fall durch einen Bericht des New Zealand Herald, den Newstalk ZB veröffentlicht hat. Das Ehepaar Melsom-Page hatte sich verzweifelt an die Zeitung gewandt.

Wie die KI auf die falsche Spur kam

Vor etwa drei Monaten suchte eine Kollegin online nach ihrem Namen. Dabei stieß sie auf einen Link zu einem Herald-Artikel aus dem Jahr 2023. Darin ging es um eine Anästhesie-Technikerin oder einen Anästhesie-Techniker, gegen die wegen Trunkenheitsfahrten und falscher Angaben ein Disziplinarverfahren lief. Der Artikel nannte die betroffene Person jedoch nicht und erwähnte Melsom-Page an keiner Stelle.

Wie die KI ihren Namen mit dem Fall verknüpfte, ist unklar, auch für sie selbst. Auffällig ist vor allem, was der Herald dokumentiert hat. Als die Zeitung nachhakte, blieb die KI zunächst dabei. Sie behauptete, die Akten des Tribunals würden Melsom-Page namentlich nennen, und sie habe das mit offiziellen Datenbanken abgeglichen. Erst nach weiteren Nachfragen räumte das System einen „logischen Fehler“ ein. Die zitierte Entscheidung belege gar keine Verbindung zu ihr.

Fachleute sprechen bei solchen Fehlern von „Halluzinationen“: Ein Sprachmodell erzeugt Aussagen, die plausibel klingen, aber falsch sind. Es hat kein echtes Wissen, sondern setzt Wörter danach zusammen, was statistisch wahrscheinlich ist. In diesem Fall passten Berufsbezeichnung und Region zusammen. Die KI stellte dann offenbar selbst eine Verbindung zu einer echten Person her und behauptete obendrein, sie habe Quellen geprüft, die das bestätigen.

„Das ruiniert mein Leben“

Für die Betroffene sind die Folgen erheblich.

„Das ruiniert mein Leben. Und es fühlt sich an, als könnte ich nichts dagegen tun.“

Am meisten sorgt sie sich darum, was Kolleginnen und Kollegen, Chirurgen und mögliche künftige Arbeitgeber glauben könnten. „Leute, die mich kennen, wissen, dass ich das nicht getan habe, aber es ist ziemlich verletzend und schwer“, sagte sie dem Herald. Und weiter: Neununddreißig Jahre im Beruf und alles, was sie sich aufgebaut habe, das sei „einfach niederschmetternd“.

Ihr Mann denkt an die Enkel: Wenn die eines Tages ihre Großmutter googeln, werden sie genau das finden. Das Paar bezeichnet sich selbst als „Cyber-Einsiedler“. Melsom-Page meidet soziale Medien und hält ihr Privatleben bewusst aus dem Netz heraus. Gegen eine KI, die aus fremden Inhalten selbst Zusammenhänge herstellt, hilft das allerdings nicht. „KI übernimmt jetzt mein Leben für die Zukunft. Wie wird das in fünf bis zehn Jahren aussehen?“, fragt sie.

Drei Stunden Formulare, kein Ergebnis

Unterstützung bekam das Paar von Netsafe, der neuseeländischen Anlaufstelle für Online-Sicherheit. Dort riet man ihnen, sich direkt an Google zu wenden. Am vergangenen Wochenende versuchten sie es über drei Stunden lang mit Online-Formularen und Links, die teils nicht funktionierten. Erfolg hatten sie nicht. Ihr Mann nannte das Ganze „erbärmlich“. Erst danach gingen sie an die Presse.

Auf Anfrage des Herald teilte Google mit, man untersuche die falsche Verknüpfung und werde das Problem beheben. Ein Sprecher erklärte, die „große Mehrheit“ der AI Overviews liefere korrekte Informationen, die Technik könne aber manchmal falsch liegen:

„Wenn unsere Funktionen Webinhalte falsch interpretieren oder wichtigen Kontext übersehen, handeln wir und nutzen diese Beispiele, um unsere Systeme zu verbessern.“

Der Herald fragte auch, ob Google sich förmlich entschuldigen oder Melsom-Page entschädigen werde. Darauf antwortete der Konzern bis zum Redaktionsschluss nicht.

Kein Einzelfall in Neuseeland

Der Fall erinnert an einen anderen aus Neuseeland. Den Unternehmer Wayne Wright jnr, der auf den Listen der reichsten Neuseeländer steht, verwechselte Grok, der KI-Chatbot von Elon Musks Firma xAI, mit einem Mann, der wegen des Besitzes von Darstellungen sexuellen Kindesmissbrauchs verurteilt worden war. Für den tatsächlichen Täter galt eine dauerhafte Namenssperre: In Neuseeland können Gerichte anordnen, dass der Name eines Angeklagten nicht veröffentlicht werden darf. Grok brachte trotzdem Wright mit dem Fall in Verbindung. Wright wandte sich direkt an Musk, um eine Korrektur zu erreichen. Außerdem forderte er den echten Täter auf, sich zu erkennen zu geben, damit keine Unschuldigen mehr beschuldigt werden.

Beide Fälle haben etwas gemeinsam. In den Originalberichten ist die Person absichtlich nicht genannt, entweder aus redaktionellen Gründen oder weil ein Gericht es so angeordnet hat. Ausgerechnet diese Lücke füllt die KI dann mit einem echten, aber falschen Namen.

Was Betroffene tun können

Sean Lyons, Chief Online Safety Officer bei Netsafe, sieht darin eine neue Form von Schaden. KI könne enorme Datenmengen auswerten und dabei Verbindungen zwischen Menschen und Ereignissen herstellen, die logisch wirken, aber falsch sind. Systeme, die womöglich ohne passende Schutzmechanismen gebaut wurden und solchen Schaden „autonom“ anrichten, sollten nach seinen Worten allen Sorgen machen.

Bei Netsafe gehen bisher nur wenige Beschwerden ein, die ausdrücklich KI-Falschinformationen betreffen. Lyons vermutet aber, dass das Problem weiter verbreitet ist, als viele ahnen. Auch die Schwierigkeiten, Tech-Konzerne zu einer Korrektur zu bewegen, sind ihm bekannt: Wenn jemand dabei gegen eine Wand laufe, sei das „nicht gut genug“.

Lyons verweist auf den Harmful Digital Communications Act, ein neuseeländisches Gesetz gegen schädliche digitale Inhalte. Es greife unabhängig davon, ob ein Mensch oder eine KI den Inhalt erstellt hat. Entscheidend sei, dass jemand durch einen digitalen Inhalt ernsthaft seelisch leidet. Das District Court, das Bezirksgericht, habe Suchmaschinen schon früher angewiesen, Links zu entfernen, die Personen mit schädlichem Material in Verbindung bringen. Betroffene sollten sich auch dann an Netsafe wenden, wenn sie nicht wissen, wie die Falschinformation entstanden ist.

Einordnung

Der Fall geht über eine peinliche Panne hinaus. AI Overviews stehen ganz oben in der meistgenutzten Suchmaschine der Welt. Viele lesen nur diese Zusammenfassung und klicken nicht auf die Quellen. Ein Halluzinations-Fehler wird damit schnell zu einer öffentlichen Tatsachenbehauptung über eine echte Person. Dass die KI auf Nachfrage auch noch eine angebliche Prüfung offizieller Datenbanken erfand, macht die Sache schlimmer, denn Nutzer erwarten von einer Suchmaschine Belege und keine ausgedachten Bestätigungen.

Gleichzeitig zeigt der Fall ein strukturelles Problem: Es gibt kaum Wege, sich zu beschweren. Wer zu Unrecht beschuldigt wird, landet in Formularen. Google reagierte erst, als eine Zeitung nachfragte. Offen ist, ob die Falschbehauptung inzwischen verschwunden ist, wie oft sie angezeigt wurde und wie sie überhaupt entstanden ist. Ebenfalls unklar bleibt, wer haftet, wenn eine KI selbstständig rufschädigende Behauptungen aufstellt. In Neuseeland gibt es mit dem Harmful Digital Communications Act zumindest einen rechtlichen Hebel. Ähnliche Fälle beschäftigen auch Gerichte in anderen Ländern. Für Google ist der Hinweis, die „große Mehrheit“ der Übersichten sei korrekt, ein schwaches Argument, wenn eine einzige falsche Antwort die berufliche Existenz eines Menschen gefährden kann.