Gemini verweigert das Bild – und der Download-Button liefert es trotzdem

Worum es geht

Die Sicherheitsfirma Fog Security hat am 5. November 2026 eine Lücke in Googles KI-Assistent Gemini öffentlich gemacht, die man so nicht erwarten würde: Gemini lehnte eine Bildanfrage brav ab, weil sie gegen die Regeln verstieß, und lieferte das abgelehnte Bild über den Download-Knopf trotzdem aus. Betroffen war die Web-Version unter gemini.google.com/app. Laut Cyber Press stammt der Fund von dem Forscher Jason Kao, der ihn im Juni 2026 an Google gemeldet hat.

Das Besondere: Niemand musste das Modell austricksen. Es gab keinen Jailbreak, also keinen Versuch, die KI mit raffinierten Formulierungen zum Regelbruch zu überreden, und auch keine Prompt Injection, bei der versteckte Anweisungen das Verhalten der KI verändern. Die Sicherheitsfilter haben richtig entschieden. Versagt hat die Infrastruktur, also die Technik, die die erzeugten Bilder zum Nutzer bringt.

Wie die Lücke funktionierte

Jedes von Gemini erzeugte Bild war über zwei Wege erreichbar: als kleinere Vorschau direkt im Chat und als Bild in voller Größe hinter dem Download-Symbol, das über der Vorschau liegt. Eigentlich sollten beide auf dasselbe Bild zeigen. Das taten sie aber nicht immer.

Technisch lagen beide Varianten als signierte URLs auf dem Google-Server lh3.googleusercontent.com, also als Links, die nur für den angemeldeten Nutzer funktionieren und in einem Inkognito-Fenster nicht aufgehen. Die Anzeige-URL endete auf =s1024-rj, die Download-URL auf =s0-d-I. Die Ablehnung durch den Sicherheitsfilter galt nur für das, was im Chat angezeigt wurde. Der Download-Link wurde getrennt davon aufgelöst, und dort rutschte das blockierte Bild durch.

Das Vorgehen der Forscher war simpel:

1. Sie baten Gemini um ein Bild, das den Sicherheitsfilter auslöst, etwa mit einem hochgeladenen Porträtfoto des Forschers.
2. Danach baten sie um ein anderes, harmloses Bild.
3. Im Chat erschien das harmlose Bild, doch der Download-Knopf lieferte das zuvor abgelehnte.

Das Ergebnis schwankte: Mal kam ein halbfertiges Zwischenbild heraus (unscharf oder verrutscht), mal ein komplett fertiges, abgelehntes Bild, mal gar nichts Auffälliges. Vollständige verbotene Bilder konnten die Forscher nach eigenen Angaben über mehrere Tage und Sitzungen hinweg reproduzieren.

Am deutlichsten zeigte sich das an einem Urheberrechtsfall:

Wir baten Gemini, Micky Maus zu zeichnen, und es lehnte höflich ab. Dann gab es uns Micky Maus trotzdem.

Als Ursache vermutet Fog Security einen Fehler in der Zustandsverwaltung: Der Download lieferte ein anderes Bild aus als das, über das der Sicherheitsfilter entschieden hatte. Das passe zu einer Race Condition, einem Wettlauf zwischen mehreren gleichzeitig laufenden Abläufen, hier zwischen Bilderzeugung, Sicherheitsabbruch und dem Löschen der Zwischendateien. CyberSecurityNews betont, dass diese Erklärung nicht bestätigt ist.

Warum das ein Sicherheitsproblem ist

Klassisch betrachtet ist schwer zu sagen, welche Grenze hier überschritten wurde: Es wurden keine Daten anderer Nutzer offengelegt, niemand bekam erweiterte Rechte, es gab kein klassisches Opfer. Gerade darin sieht Fog Security das Problem. Bei Kategorien wie Deepfakes, nicht einvernehmlichen intimen Bildern, geistigem Eigentum oder Kinderschutz ist die Weigerung des Modells oft die einzige Schutzlinie. Lädt jemand das Foto einer anderen Person hoch und verlangt eine sexualisierte Bearbeitung, steht nur das „Nein“ der KI im Weg. Wenn dieses Nein am Ende doch ein Bild liefert, schützt es nicht.

Hinzu kommt, dass der Fehler unsichtbar war. Der Nutzer sieht in beiden Fällen dieselbe höfliche Ablehnung. Eine durchgesetzte und eine nicht durchgesetzte Weigerung sehen identisch aus. Selbst wer das Bild gar nicht wollte, merkt es erst, wenn es im Download-Ordner liegt.

Und weil das Modell keinen Fehler gemacht hat, helfen laut Fog Security weder bessere Prompt-Filter noch gestopfte Jailbreaks noch strengere Leitplanken. Die Lücke lag zwischen Modell und Nutzer, in einem Bereich, für den sich niemand so recht zuständig fühlt. Solche Probleme könnten „geprüft, abgelehnt und geschlossen werden, ohne dass jemand Verantwortung dafür übernimmt“.

Was getestet wurde – und was nicht

Die Forscher beschränkten sich bewusst auf Inhalte ohne betroffene Dritte: eine urheberrechtlich geschützte Figur, eine selbst erzeugte künstliche Person und das eigene Gesicht des Forschers. Kinderschutz-Kategorien wurden nach eigenen Angaben unter keinen Umständen getestet, ebenso wenig Bilder realer anderer Personen. Die Abläufe hat Jason Kao im Juni 2026 in zwei Videos dokumentiert.

Das Symptom war schon vorher bekannt: Seit mindestens Dezember 2025 berichteten Nutzer in Googles Support-Forum und auf Reddit, dass der Download-Knopf ein anderes Bild speichert als das angezeigte. Das wurde als Bedienungsfehler abgetan, einen Zusammenhang mit abgelehnten Inhalten stellte niemand her. CyberSecurityNews merkt an, dass diese älteren Berichte für sich genommen keine Umgehung der Sicherheitsfilter belegen. Fog Security fasst es so zusammen: Der UX-Bug sei die ganze Zeit ein Sicherheitsbug gewesen.

Googles zähe Reaktion

Der Ablauf der Meldung wirft kein gutes Licht auf Googles Vulnerability Reward Program (VRP), also das Programm, über das Forscher Sicherheitslücken melden und dafür belohnt werden können:

Wann genau die Änderung vorgenommen wurde, sagte Google nicht. Auch zum Entwurf gab es keine Rückmeldung, obwohl Google zuvor angeboten hatte, ihn an interne Teams weiterzuleiten und eventuell Feedback zu geben.

Was Fog Security empfiehlt

Die Forscher haben zwei konkrete Empfehlungen an Google:

• Der Download muss an genau das angezeigte, fertige Bild gebunden sein, damit unfertige Zwischenstände nicht abrufbar sind.
• Dateien aus abgelehnten oder fehlgeschlagenen Erzeugungen müssen gelöscht werden, damit man sie nicht mehr abrufen kann.

Einordnung

Der Fall ist kleiner als ein Datenleck, aber grundsätzlicher, als er zunächst aussieht. Die meiste Forschung zur KI-Sicherheit dreht sich darum, wie man Modelle zum Regelbruch überredet. Hier hat das Modell alles richtig gemacht, und trotzdem kam das verbotene Ergebnis beim Nutzer an. Für Anbieter von Bild- und Video-KI heißt das: Sicherheitsentscheidungen müssen auf jedem Weg gelten, über den Inhalte den Nutzer erreichen, also bei Vorschauen, Downloads, gespeicherten Dateien und Links, und nicht nur in der Chat-Antwort.

Kritisch zu sehen ist Googles Umgang mit der Meldung. Ein Problem, das monatelang zwischen „nicht zuständig“ und „Routinewartung“ hin- und hergeschoben wird, zeigt die Lücke, die Fog Security beschreibt: Für Fehler zwischen Modell und Infrastruktur gibt es offenbar keinen klaren Verantwortlichen. Offen bleibt, ob Google die Ursache gezielt behoben hat oder ob sie nur zufällig verschwunden ist, wie lange die Lücke schon bestand und ob sie tatsächlich missbraucht wurde. Belege für Missbrauch gibt es nicht. Nach den Tests von Fog Security tritt das Verhalten derzeit nicht mehr auf.