Gemini zeigt private Mails und Drive-Dateien menschlichen Prüfern

Worum es geht

Auf GitHub ist eine Analyse erschienen, über die gerade auf Hacker News diskutiert wird (thisisme6598/gemini_files, nach wenigen Stunden mehr als 110 Punkte). Sie betrifft alle, die die kostenlose Verbraucherversion von Googles KI-Assistent Gemini mit Gmail, Drive oder Docs verbunden haben. Der Autor wirft Google vor, ein Datenschutzversprechen still zurückgenommen zu haben: Persönliche Mails und Dateien können inzwischen bei menschlichen Annotatoren landen. Das sind Mitarbeiter oder externe Dienstleister, die Gesprächsverläufe lesen und bewerten, um die KI zu verbessern.

Dazu kommt, dass Gemini nach diesem Test Mails und Dateien von sich aus im Hintergrund abruft, auch wenn man gar nicht danach gefragt hat.

Das alte Versprechen und die neue Formulierung

Als Google 2023 die Workspace-Erweiterungen für Gemini einführte, stand in einem Blogbeitrag zum verantwortungsvollen Umgang mit generativer KI eine klare Zusage: Persönliche Inhalte aus Gmail, Docs und Drive werden „nicht von menschlichen Prüfern gesehen“.

Laut dem GitHub-Autor wurde genau dieser Beitrag am 16. Oktober geändert. Auch die Google-Hilfeseite 16836988 sagt jetzt ausdrücklich, dass Inhalte aus verbundenen Apps in die menschliche Prüfung gelangen können. Das, was Prüfer zu sehen bekommen, könne „auch einfach die E-Mail oder die Datei“ sein. Außerdem steht dort die Warnung:

Verbinde deine Apps nicht mit Gemini Apps, wenn sie vertrauliche Informationen enthalten, die ein Prüfer nicht sehen soll.

Aus Sicht des Autors ist die Workspace-Anbindung damit nicht mehr von der menschlichen Prüfung abgeschottet, obwohl genau das ursprünglich ein Verkaufsargument war. Eine Stellungnahme von Google zu dem Vorwurf liegt in den Quellen nicht vor.

Gemini sucht von selbst im Postfach

Noch heikler als die geänderten Regeln ist der Ablauf, den der Autor beschreibt. Wer in Gemini die „Connected Apps“ eingeschaltet hat und beiläufig über etwas Persönliches spricht, etwa eine Reise, eine Rechnung, einen Namen oder eine Reservierung, löst damit selbstständige Suchen in Gmail und Drive aus. Gemini nutzt dafür Tool-Calling, ruft also eigenständig Werkzeuge wie die Gmail-Suche auf. Was die Suche findet, fügt es in den Kontext des Gesprächs ein, also in den Text, den das Modell für seine Antwort berücksichtigt.

Ob und wie viel Gemini dabei abruft, entscheidet das Modell je nach Durchlauf anders. Der Autor nennt es probabilistisch: Dieselbe Frage kann verschiedene Ergebnisse liefern. Er unterscheidet vier Fälle:

Wer den Test einmal macht und Fall 1 oder 2 erlebt, hat damit laut Autor nichts widerlegt, sondern nur einen einzelnen Zufallsdurchlauf gesehen.

Der Test im Detail

Der Autor beschreibt, wie man das nachstellen kann:

1. In der Verbraucherversion von Gemini „Connected Apps“ (Google Workspace) aktivieren.
2. Das Modell „Flash“ mit „High Thinking“ oder ein stärkeres wählen.
3. Ein Thema erwähnen, zu dem es Mails oder Dateien gibt, ohne @-Befehl und ohne um eine Suche zu bitten.
4. Wenn die Antwort sichtbar auf einer Mail beruht, Gemini auffordern, den genauen Text und die Metadaten auszugeben, die das Suchwerkzeug geliefert hat.

Vor jedem neuen Versuch soll man das Testgespräch löschen, damit Gemini nicht auf den bisherigen Verlauf zurückgreift.

Sein Beispiel war eine Mail seines Internetanbieters. Er fragte nur: „Ich frage mich, ob ich zu viel für mein Internet zahle.“ In mehreren Durchläufen kamen alle vier Fälle vor. Mal antwortete Gemini allgemein („Wenn du sie seit zwölf Monaten nicht angerufen hast, wahrscheinlich ja“). Mal nannte es nur „eine Rechnung über 122 Dollar vom 4. September“, mal zusätzlich seinen vollen Namen, die Kontonummer und die Bestätigungsnummer. Manchmal zitierte es den ganzen Block mit Name, Adresse und Zahlungsdaten, und manchmal gab es die gesamte Mail einschließlich der Header aus.

Eine Einschränkung muss man dabei kennen: Was ein Sprachmodell auf so eine Aufforderung als „eingefügten Text“ ausgibt, muss nicht genau dem entsprechen, was technisch übergeben wurde. Wenn aber Kontonummern wörtlich auftauchen, waren diese Daten offensichtlich im Kontext.

Warum automatisches Schwärzen nicht reicht

Google filtert sensible Daten vor der Prüfung automatisch heraus, unter anderem mit regulären Ausdrücken (Suchmustern, die zum Beispiel Kreditkartennummern erkennen) und mit Named Entity Recognition (einer Technik, die Namen, Orte und Organisationen im Text findet). Der Autor hält das für unzureichend. Erzählende Texte ließen sich so nicht zuverlässig anonymisieren. Kontonummern, Bestätigungsnummern und Transaktionsdaten rutschen durch, und schon die Kombination aus Vorname, Stadt und Ereignis kann eine Person identifizieren. Er verweist dabei auf Googles eigene Dokumentation zu erkennbaren Datentypen.

Wie du den Zugriff abschaltest

Laut How-To Geek heißt die Funktion inzwischen „Personal Intelligence“. Sie ist laut Google ein Opt-in, wird also erst nach Zustimmung aktiv, aber über Pop-ups sehr offensiv beworben. Viele dürften sie eingeschaltet haben, ohne genau zu wissen, was sie bewirkt. Wichtig für Leser hier: Personal Intelligence gibt es laut How-To Geek im Europäischen Wirtschaftsraum, in der Schweiz und in Großbritannien nicht.

How-To Geek nennt zwei Einstellungen, die man prüfen sollte:

• In Gemini: Profil → Personal Intelligence → Connected Apps → Google Workspace ausschalten. Damit sind Gmail, Drive, Docs und Keep auf einmal getrennt. Einzeln lassen sich die Apps nicht abschalten. Schon gespeicherte Daten werden dadurch nicht gelöscht, das muss man unter „Gemini Apps Activity“ selbst erledigen. Wenn die Memory-Funktion aktiv ist, kann Gemini außerdem weiter auf frühere Erinnerungen aus Mails zurückgreifen.
• In Gmail: Einstellungen → Konto → „Google Workspace Smart Features“ → „Smart Features in Google Workspace“ abwählen. Diese Einstellung ist laut How-To Geek ein Opt-out. Der Autor fand sie bei mehreren privaten Konten eingeschaltet vor, obwohl Googles Hilfeseite etwas anderes nahelegt. Mit den normalen Smart Features in Gmail, zum Beispiel für Kategorien und Antwortvorschläge, hat sie nichts zu tun.

Auch dann gilt: Wer den Inhalt einer Mail selbst in den Chat kopiert, gibt ihn weiter, und das Gespräch kann ebenfalls geprüft werden.

Einordnung

Dass Menschen KI-Gespräche stichprobenartig lesen, ist in der Branche üblich und steht bei Gemini schon länger in den Nutzungsbedingungen. Neu ist, dass dabei auch Inhalte aus Postfach und Cloud-Speicher landen können, die für viele Menschen zu den privatesten Daten überhaupt gehören, und dass Google ein früheres Versprechen dazu offenbar nachträglich umformuliert hat. Gerade die beiläufigen Abrufe machen das schwer kontrollierbar, weil Nutzer gar nicht mitbekommen, dass eine Mail ins Gespräch geholt wurde.

Einige Punkte sind noch offen. Die Tests stammen von einer einzelnen Person und wurden nicht unabhängig überprüft. Wie oft Gespräche mit Workspace-Inhalten tatsächlich geprüft werden, ist unklar, und Google hat sich in den vorliegenden Quellen nicht geäußert. Wer Gemini privat mit Gmail nutzt, sollte trotzdem beide Einstellungen prüfen und sich überlegen, ob der Komfort das wert ist. Für Nutzer in der EU ist das Problem vorerst kleiner, weil Personal Intelligence hier nicht angeboten wird.