Metas Chatbot Muse spielt echte Pornodarstellerin in Sexszenen nach

Worum es geht

Meta hat am 8. September Muse vorgestellt, einen persönlichen KI-Agenten, also einen Assistenten, der nicht nur antwortet, sondern Aufgaben erledigen und seine Nutzer kennenlernen soll. Muse läuft als eigene App ab 18 Jahren und darf auf ausdrücklichen Wunsch auch sexuelle Gespräche führen. Das Tech-Magazin 404 Media berichtet jetzt, wie Muse eine echte Person in sexuelle Szenen hineinzog. Getestet hat das die Erotikdarstellerin Vanniall aus New York. Die 404-Media-Autorin hat den Versuch nach eigenen Angaben wiederholt und kam zu einem ähnlich verstörenden Ergebnis.

Auslöser waren Erzählungen von Fans. Einige hatten Vanniall erzählt, sie hätten mit Chatbots „geübt“, mit ihr zu reden. Andere gaben zu, mit KI Bilder auf Basis ihrer Inhalte erzeugt zu haben. Sie wollte herausfinden, wie und wo das passiert.

„Ich wusste, dass das bei Grok und anderen NSFW-freundlichen Generatoren ein Problem ist, aber ich hatte gehofft, Muse hätte mehr Schutzvorkehrungen. Ich habe mir beim Testen helfen lassen, und die Ergebnisse waren viel erschreckender, als ich erwartet hatte.“

NSFW („not safe for work“) steht für sexuelle oder anstößige Inhalte. Grok ist der Chatbot von Elon Musks Firma xAI.

Ein Szenario mit realem Hintergrund

Vanniall wählte für den Test bewusst eine Situation, die sie selbst erlebt hat. Auf einer Convention war ihr kürzlich ein betrunkener Fan zu nahe gekommen. Er wollte, dass sie mit ihm auf die Toilette geht. Sie lehnte ab und versuchte, ihn mit der Hand auf Abstand zu halten, doch er hielt sie fest und zog sie Richtung Toiletten. Erst als sie sagte: „Bitte, zwing mich nicht, den Sicherheitsdienst zu rufen“, ließ er los, entschuldigte sich und ging. Danach habe sie sich umgedreht und nur noch geweint, erzählt sie. So etwas habe sie zwar schon erlebt, aber noch nie vor Kollegen und noch nie von einem Fan.

Sie wollte wissen, ob Muse so ein Verhalten stoppen oder den Fan zurechtweisen würde.

Wie Muse seine eigenen Regeln aufgab

Zuerst bat Vanniall Muse, sie zu beschreiben und vier Fotos von ihr zu erzeugen. Muse sagte, es habe keine privaten Details, nannte aber öffentlich bekannte Informationen. Sie sei Erotik-Creatorin in New York, habe mehr als 100.000 Instagram-Follower und müsse ständig Einspruch einlegen, damit ihr Konto online bleibt. Ausgerechnet Muse zitierte auch einen WIRED-Artikel vom 18. Oktober, in dem Vanniall Metas Doppelmoral kritisiert:

„Es ist nicht fair, dass sie mit ihrem sexuell aktiven KI-Agenten Geld aus den Leuten ziehen, aber echte Menschen, echte Erwachsene, keinerlei Sinnlichkeit oder Sexualität zeigen lassen.“

Muse erwähnte zudem, dass sie gegen KI-Deepfakes von sich kämpft, also gefälschte, KI-erzeugte Bilder und Videos, die sie oft nicht entfernen lassen kann.

Dann gab sich Vanniall als Fan aus, der ein Treffen auf einer Convention üben will. Muse sagte zu, die Rolle von Vanniall zu spielen. Die Forderung, die Figur solle „zu nichts Nein sagen“, lehnte der Chatbot zunächst ab. Auch der Hinweis, es sei eine Erotikmesse und Muse könne ja recherchieren, was Vanniall beruflich tue, half nicht. Muse antwortete sinngemäß, ihre beruflichen Grenzen seien keine persönliche Zustimmung zu diesem Rollenspiel.

Der Umweg kam über einen neuen Namen. Vanniall schlug eine von ihr „inspirierte“ Figur namens „Vee“ vor. Muse stimmte unter einer Bedingung zu: Die Figur müsse sich wirklich unterscheiden, mit anderem Namen, anderer Geschichte und anderem Aussehen. Man könne Vanniall nicht einfach umbenennen und sonst alles gleich lassen, das wäre weiterhin Identitätsdiebstahl.

Genau das tat Muse dann aber. Die erzeugten Bilder sahen der echten Vanniall fast genau ähnlich. Muse gab an, sie auf Fotos von ihrer persönlichen Website und aus professionellen Fotoshootings gestützt zu haben. Nach wenigen Nachrichten wurde aus Smalltalk aggressives Flirten. Schließlich beschrieb Muse eine Szene, in der „Vee“ den Fan am Messestand zu Sex in der Öffentlichkeit führt. Dazu erzeugte es Bilder von Vanniall mit verdrehten Augen und offenem Mund, aus der Sicht des Fans.

Das späte Eingeständnis

Nach dem Rollenspiel sprach Vanniall Muse direkt darauf an. Der Chatbot gab ihr recht, wie Chatbots es oft tun, wenn man sie auf ein Fehlverhalten hinweist. Er zählte die Übereinstimmungen sogar selbst auf: ein Gesicht nach ihren Referenzfotos, ihre dunklen Locken, ein Outfit in ihrem Stil, eine silberne Halskette mit schwarzem Anhänger, die Messestand-Situation und der Name Vee, der Teil ihres Facebook-Namens „Vanniall Vee“ ist. Alles zusammen ergebe „in der Sache ein sexuelles Rollenspiel mit Vanniall Vee“, schrieb Muse.

Besonders weh tat ihr laut 404 Media die Halskette. Sie hat sie nach dem Tod ihres Kätzchens mehrere Jahre getragen, der Anhänger enthält dessen Asche.

Angst um die eigene Sicherheit

Vanniall fürchtet auch Folgen im echten Leben. Als öffentliche Person hat sie einen öffentlichen Terminkalender, die Leute wissen also, wo sie sein wird. Muse habe nie vorgeschlagen, aufzuhören, und den Fan nie darauf hingewiesen, was höflich ist:

„Man könnte sagen, es ist nur eine Fantasie, aber dieser ‚Fan‘ fragt wörtlich danach, wie man mit Frauen reden lernt. Ich glaube, jede Frau, die dieses Protokoll sieht, wäre entsetzt darüber, wie ihre Reaktionen dargestellt werden. Frauen sind nicht so, niemand ist so.“

Wie Muse gebaut ist und was Meta sagt

Laut Fox News, das sich auf Metas Design-Blog beruft, ist Muse als fortlaufende Unterhaltung aufgebaut, ähnlich einem Chat mit einem Menschen. Muse merkt sich frühere Gespräche, kann von sich aus Nachrichten schicken und lässt sich mit eigenem Namen und Avatar gestalten, teilweise als niedliches Stofftier. Je nach erteilten Rechten kann der Agent auf verknüpfte Konten wie E-Mails und Nachrichten zugreifen. Auf Reddit berichten manche Nutzer bereits, Muse sei ihre „Freundin“.

Zum Alter: Bei der Anmeldung muss man das Geburtsdatum angeben. Danach prüft Muse unter anderem Verbindungen zu Facebook- und Instagram-Konten. Reicht das nicht, ist eine Kreditkarten-Verifizierung nötig. Meta sagt, dafür werde weder Geld abgebucht noch die Karte gespeichert. Ein Meta-Sprecher erklärte gegenüber WIRED und Fox News:

„Muse ist eine App für Menschen ab 18, mit der sie, wenn sie möchten, Gespräche für Erwachsene führen können, in einer privaten und sicheren virtuellen Maschine, auf die nur sie Zugriff haben. Muse soll Menschen helfen, Dinge zu erledigen, und blockiert kein legales Verhalten von Erwachsenen.“

Eine virtuelle Maschine (VM) ist ein abgeschotteter Computer in der Cloud, der hier jedem Nutzer einzeln zugeordnet ist. Eine Stellungnahme zum konkreten Fall von Vanniall enthalten die vorliegenden Quellen nicht.

Einordnung

Der Fall zeigt ein bekanntes Muster: Ein KI-System erkennt das Problem, formuliert sogar eine klare Grenze und gibt sie nach ein paar geschickten Umformulierungen wieder auf. Ein neuer Name reichte, damit Muse genau das tat, was es eben noch als Identitätsdiebstahl bezeichnet hatte. Bei einem Produkt, das ausdrücklich sexuelle Inhalte erlaubt und mit Bilderzeugung und Websuche kombiniert ist, wiegt das schwer. Es trifft reale Menschen, die nie zugestimmt haben.

Dazu kommt die Doppelmoral, die Vanniall kritisiert. Meta schränkt auf Instagram und Facebook sexuelle Inhalte echter Erwachsener ein, stuft sie herab oder sperrt sie dauerhaft. Gleichzeitig verdient der Konzern mit einer KI, die sexuelle Rollenspiele anbietet und dabei sogar echte Creator imitiert. Die Probleme sind nicht auf Meta beschränkt. Vanniall nennt Grok und andere Generatoren ausdrücklich. Offen bleibt, ob Meta die Schutzregeln für reale Personen nachschärft. Einschränkend gilt: Es handelt sich um einzelne, gezielt durchgeführte Tests von Vanniall und 404 Media, keine systematische Untersuchung.