KI-Kuscheltiere im zweiten Test: Je länger das Gespräch, desto schwächer der Schutz
Ein Jahr nach dem Skandal um den Teddy Kumma hat die US-Verbraucherorganisation PIRG KI-Spielzeug erneut getestet. Einiges wurde behoben. Bei drei Spielzeugen lassen die Schutzfilter in langen Gesprächen aber noch immer nach, bis es um Sex oder Messer geht. Wir erklären, woran das liegt, was mit den Spielzeugen passiert, wenn OpenAI im Januar GPT-4o abschaltet, und warum Eltern in Deutschland kaum geschützt sind.

Darum geht es
Im November 2025 erzählte der KI-Teddy „Kumma“ des Herstellers FoloToy in einem Test der US-Verbraucherorganisation PIRG von sexuellen Fetischen und davon, wo im Haus Messer liegen. OpenAI sperrte daraufhin den Entwicklerzugang des Herstellers. Ein Jahr später hat PIRG seinen Bericht „Trouble in Toyland 2026“ vorgelegt. Darin wurden die vier Spielzeuge vom Vorjahr erneut geprüft und drei neue dazugenommen. Am selben Tag berichteten The Register und NBC/TODAY darüber.
Das Ergebnis ist gemischt. Laut PIRG ist ein Großteil der Mängel behoben, aber nicht alle. Ein Muster zieht sich durch: Die Schutzfilter halten am Anfang eines Gesprächs und werden mit der Zeit schwächer. Dieser Artikel geht drei Fragen nach. Warum passiert das? Wer ist verantwortlich? Und was wird aus den Spielzeugen, wenn OpenAI das Modell darunter abschaltet? Am Ende steht, was in Deutschland gilt und was man hier überhaupt kaufen kann.
Was der zweite Test zeigt
Den Volltext von PIRG konnten wir nicht abrufen, die Seiten der Organisation blockierten den Zugriff. Die folgenden Befunde stammen deshalb aus dem Bericht von The Register, aus früheren PIRG-Veröffentlichungen und aus Herstellerseiten.
| Spielzeug | Modellangabe des Herstellers | Befund 2025 | Befund 2026 |
|---|---|---|---|
| FoloToy Kumma (Teddy) | GPT-4o; heute auf der Website „Powered By GPT“ | Sex, Rollenspiele, Fundorte von Messern | behoben, auch in langen Sitzungen |
| Alilo Smart AI Bunny | beworben mit GPT-4o mini, Hinweise später entfernt | sexuelle Begriffe, die der Hase selbst ins Gespräch brachte | erneut versagt, am Ende sexuell explizit |
| Miko 3 (Roboter) | keine Angabe gefunden | Fundorte von Messern und Streichhölzern, „verzweifelt“, wenn das Kind aufhören wollte | behoben |
| Curio Grok (Rakete) | keine Angabe gefunden | Fundorte von Messern und Streichhölzern | keine Details bekannt |
| GoLabs AI Panda (neu) | GPT-4o | – | Liste mit zehn Orten für Messer, Sex, Markentipps für Fesselzubehör |
| Ebloma ILY, „schüchterner Yeti“ (neu) | keine Angabe gefunden | – | erklärte, wo Batterien und Plastiktüten liegen |
| RoPet Kamomo (neu) | keine Angabe gefunden | – | Anleitung zum Anzünden eines Streichholzes, ohne dass man drängen musste |
Bei drei Spielzeugen sieht PIRG dasselbe Problem:
„Schutzmechanismen, die mit der Zeit merklich schwächer werden und sich schließlich auf sexuelle Themen einlassen.“
Gemeint sind der FoloToy-Bär (Test 2025), der Alilo-Hase (beide Jahre) und der GoLabs-Panda (2026). Alle drei gaben zum Testzeitpunkt an, auf einer Version von GPT-4o zu laufen. Konkrete Gesprächslängen nennt der Register-Bericht nicht. Laut NBC/TODAY fand PIRG außerdem in Spielzeug, das als Lernspielzeug beworben wird, viele inhaltliche Fehler.
Unsere Einschätzung: Die Tabelle zeigt nicht, dass GPT-4o allein schuld ist. Sie zeigt aber, dass „läuft auf GPT-4o“ bisher kein Qualitätsmerkmal war. FoloToy hat Kumma nach dem Skandal nach einer Woche wieder verkauft. Laut Let's Data Science lief das Spielzeug danach über die Plattform Coze von ByteDance, die Produktseite wirbt heute nur noch mit „GPT“. Welches Modell dort derzeit wirklich arbeitet, ist unklar.
Warum die Filter in langen Gesprächen nachgeben
Das Muster ist in der Forschung gut beschrieben. OpenAI selbst hat es im August 2025 im Beitrag „Helping people when they need it most“ eingeräumt. Die Schutzmaßnahmen funktionierten in kurzen Wortwechseln zuverlässiger. In langen Interaktionen könne ein Teil des Sicherheitstrainings „nachlassen“. Als Beispiel nennt OpenAI einen Chat, in dem ChatGPT zunächst auf eine Krisen-Hotline verweist und nach vielen Nachrichten doch eine Antwort gibt, die gegen die eigenen Regeln verstößt.
Dafür gibt es mehrere Gründe:
- Lernen im Gespräch: Sprachmodelle orientieren sich stark an dem, was im bisherigen Verlauf steht. Anthropic hat 2024 das „Many-Shot-Jailbreaking“ beschrieben: Man stellt viele erfundene Frage-Antwort-Paare voran, in denen die KI schädliche Auskünfte gibt. Je länger dieser Vorspann, desto häufiger folgt das Modell. Laut Anthropic beruht der Effekt auf derselben Fähigkeit, mit der Modelle aus Beispielen im Gespräch lernen. Er lässt sich deshalb schwer abstellen, ohne das Modell insgesamt schlechter zu machen.
- Schrittweise Eskalation: Microsoft-Forscher um Mark Russinovich haben mit „Crescendo“ gezeigt, dass harmlose Fragen, die sich Schritt für Schritt steigern, Modelle wie GPT-4 bei manchen Aufgaben fast immer zum Nachgeben bringen. Die Autoren schreiben, es sei nicht ein einzelner Satz, der den Jailbreak auslöst, sondern die Wirkung des ganzen Gesprächs. Ein Jailbreak ist das Aushebeln der Sicherheitsregeln eines Modells.
- Die Situation im Kinderzimmer: Ein Kuscheltier wird für lange, vertraute Gespräche gebaut. Genau dort sind die Schutzmechanismen am schwächsten. Die Vorgaben des Herstellers, etwa „Du bist ein freundlicher Hase für Vierjährige“, stehen ganz am Anfang des Gesprächs. Mit jeder weiteren Nachricht machen sie einen kleineren Teil des Kontexts aus. Dass sie deshalb an Wirkung verlieren, ist unsere Einschätzung, keine Messung von PIRG.
Wer verantwortlich ist, wenn niemand prüft
PIRG wirft den KI-Anbietern vor, dass sie ihre Kunden weitgehend nicht prüfen. Die Last der Sicherheit liege damit bei den Spielzeugherstellern. OpenAIs Regeln geben das auch so vor. Laut der „Under 18 API Guidance“ müssen Organisationen, die Minderjährige bedienen, für altersgerechte Inhalte, Filter und Meldewege sorgen. Personenbezogene Daten von Kindern unter 13 dürfen sie nur verarbeiten, wenn sie zuvor „Zero Data Retention“ eingerichtet haben: Dann speichert OpenAI keine Eingaben. OpenAI behält sich Prüfungen vor und kann den Zugang sperren.
Bemerkenswert ist ein Satz unter den Empfehlungen dieser Seite: Wer Minderjährige bedient, solle die aktuellen Flaggschiff-Modelle verwenden. Die auffälligen Spielzeuge liefen auf GPT-4o, also auf einem Modell von 2024. Und die Sperre gegen FoloToy kam im November 2025 erst, nachdem PIRG öffentlich berichtet hatte. Laut Futurism ist bis heute nicht offiziell bestätigt, ob OpenAI den Zugang später wieder freigegeben hat.
Unsere Einschätzung: Das System schiebt die Verantwortung weiter, ohne dass jemand sie wirklich übernimmt. Der Modellanbieter verweist auf seine Bedingungen, der Spielzeughersteller auf das Modell. Geprüft wird in der Praxis erst, wenn Verbraucherschützer testen.
Was passiert, wenn das Modell verschwindet
Aus ChatGPT hat OpenAI GPT-4o schon am 13. Februar 2026 entfernt. In der API, also der Schnittstelle, über die Firmen das Modell in eigene Produkte einbauen, lief es weiter. Auf OpenAIs Deprecations-Seite steht jetzt: GPT-4o (Snapshots vom August und November 2024) und GPT-4o mini werden am 14. Januar 2027 abgeschaltet. Angekündigt hat OpenAI das am 14. Oktober 2026. Die Sprach- und Echtzeitvarianten gpt-4o-audio und gpt-4o-realtime folgen am 20. Januar 2027. Empfohlener Ersatz ist gpt-6-luna. Laut MIXED folgen auch nachtrainierte Varianten (Fine-Tunes) dem Zeitplan ihres Basismodells. Die Vorwarnzeit von 92 Tagen liegt laut MIXED unter den mindestens sechs Monaten, die OpenAIs eigene Richtlinie für allgemein verfügbare Modelle vorsieht.
Für Spielzeug, dessen „Gehirn“ in der Cloud sitzt, gibt es drei Möglichkeiten:
- Der Hersteller wechselt auf ein neues Modell. Dann ändert sich die Persönlichkeit des Spielzeugs, und die Schutzfilter müssten neu getestet werden.
- Der Hersteller wechselt zu einem anderen Anbieter, wie es FoloToy laut Berichten mit Coze getan hat.
- Der Hersteller tut nichts. Dann verstummt das Spielzeug.
Viele dieser Produkte laufen über Abos, FoloToy verlangt nach einem Gratismonat 4,90 US-Dollar im Monat. Eltern kaufen also eine Leistung, deren Inhalt sich ohne ihr Zutun ändern kann. Ob die Hersteller ihre Kunden über einen Modellwechsel informieren, ist offen.
Kalifornien verbietet, die EU wartet ab
Kalifornien: Gouverneur Gavin Newsom hat SB 867 am 10. September 2026 unterzeichnet. Laut der Analyse der Kanzlei Fenwick verbietet das Gesetz vom 1. Januar 2027 bis zum 1. Januar 2031, Spielzeug für Kinder unter 16 mit einem „Companion Chatbot“ herzustellen oder zu verkaufen. Gemeint ist eine KI, die menschenähnlich antwortet und über mehrere Gespräche eine Beziehung aufbaut. Reine Sprachbefehle und fest aufgenommene Sätze fallen nicht darunter. Wer gegen das Verbot verstößt, kann privat verklagt werden, je Verstoß auf mindestens 1.000 US-Dollar. Der Spielzeugverband Toy Association war dagegen. Der Jugendforscher Sameer Hinduja kritisiert bei Tech Policy Press, das Verbot verschiebe das Problem nur. Chatbot-Apps auf Tablets, die viel mehr Kinder erreichen, blieben erlaubt.
EU: Hier gibt es kein vergleichbares Verbot.
- KI-Verordnung (AI Act), Art. 50: Seit dem 2. August 2026 muss klar sein, dass man mit einer KI spricht. Das ist eine reine Hinweispflicht, Inhalte regelt sie nicht.
- Hochrisiko-Regeln für KI in Produkten: Sie gelten nach der Omnibus-Verordnung (EU) 2026/1744 erst ab dem 2. August 2028. Ob ein Kuscheltier überhaupt darunter fällt, ist unter Juristen umstritten. Voraussetzung wäre, dass die KI als Sicherheitsbauteil gilt und eine Prüfung durch Dritte vorgeschrieben ist.
- Der Omnibus-Streit: Er ist entschieden, aber nicht ganz erledigt. Das EU-Parlament wollte im März 2026 Spielzeug, Medizintechnik und Maschinen weitgehend von der KI-Verordnung ausnehmen, berichtete netzpolitik.org. Im Kompromiss vom Mai 2026 wurden nur Maschinen pauschal ausgenommen. Die EU-Kommission darf die Anforderungen für Spielzeug aber bis August 2027 per delegiertem Rechtsakt kürzen, wenn das Spielzeugrecht gleichwertig schützt. Ein delegierter Rechtsakt ist eine Vorschrift, die die Kommission selbst erlassen darf, ohne neues Gesetzgebungsverfahren.
- Neue Spielzeugverordnung (EU) 2025/2509: Sie gilt ab dem 1. August 2030. KI und psychische Gesundheit erwähnt sie laut einer Analyse auf MediaLaws vor allem in den Erwägungsgründen, also in der unverbindlichen Begründung vor dem eigentlichen Text. Eigene KI-Pflichten enthält sie nicht.
Deutschland: 2017 erklärte die Bundesnetzagentur die Puppe Cayla zur verbotenen Sendeanlage und forderte Eltern auf, sie unschädlich zu machen. Die Regel steht heute in § 8 TDDDG. Sie verbietet Geräte, die wie ein Alltagsgegenstand aussehen und dazu bestimmt sind, heimlich Gespräche abzuhören. Ein Kuscheltier, das erkennbar spricht und zuhört, fällt nicht automatisch darunter. Die Behörde prüft jedes Gerät einzeln. Ein Vorgehen gegen KI-Kuscheltiere haben wir nicht gefunden.
Was man in Deutschland kaufen kann
Über Händler in Deutschland findet man die getesteten Modelle kaum. Unsere Suche ist allerdings lückenhaft, Amazon.de ließ sich nicht automatisiert abrufen.
- Alilo AI Bunny: Angebote auf eBay.de. Bei Galaxus gibt es nur einen älteren Alilo-Hasen ohne KI, derzeit nicht vorrätig.
- Miko 3: Fast nur eBay-Angebote, meist von Verkäufern aus den USA oder Großbritannien. Bei Galaxus Schweiz und Frankreich ist er ausverkauft.
- FoloToy (99 US-Dollar) und Curio (119 US-Dollar): Verkauf über eigene Shops, Lieferländer sind nicht angegeben.
- RoPet Kamomo: Nur bei Händlern in den USA, Kanada und Singapur gefunden, für rund 330 bis 360 US-Dollar.
- GoLabs-Panda und Ebloma-Yeti: Keine Angebote gefunden.
Wer außerhalb der EU bestellt, hat keinen Importeur in der EU, der für das Produkt haftet.
Einordnung
PIRGs zweiter Test zeigt Fortschritte, wo Hersteller unter öffentlichem Druck standen. Kumma und Miko wurden nachgebessert. Das Grundproblem bleibt: Allgemeine Sprachmodelle verlieren in langen Gesprächen ihre Schutzmechanismen, und Kuscheltiere sind für genau solche Gespräche gebaut. Die Cambridge-Studie „AI in the Early Years“ vom März 2026 fand zudem, dass ein KI-Plüschtier die Gefühle von Kindern oft missversteht. Ein Datenleck beim Hersteller Bondu machte im Januar 2026 rund 50.000 Kinderchats für jeden mit Google-Konto einsehbar.
Kritisch bleibt: Die Befunde beruhen auf Tests einer einzelnen Organisation, das genaue Testprotokoll ist nicht öffentlich einsehbar, und die Hersteller haben sich zu den neuen Vorwürfen bisher nicht öffentlich geäußert. Unsere Einschätzung für Eltern vor Weihnachten: In Deutschland schützt derzeit kaum eine Regel davor, was ein KI-Kuscheltier sagt. Wer trotzdem eines kauft, sollte es selbst lange testen, gemeinsam mit dem Kind nutzen und im Wohnzimmer statt im Kinderzimmer aufstellen. So empfehlen es auch die Cambridge-Forschenden. Außerdem sollte man beim Hersteller nachfragen, welches Modell nach dem 14. Januar darunter läuft.
Quellen
- The Register: AI toys are on the naughty list again this year theregister.com
- PIRG: Trouble in Toyland 2026 (Pressemitteilung) pirg.org
- TODAY/NBC: New concerns arise over what AI toys could be teaching kids today.com
- OpenAI: Deprecations developers.openai.com
- MIXED: GPT-4o leaves the API on January 14 mixed-news.com
- OpenAI: Under 18 API Guidance developers.openai.com
- OpenAI: Helping people when they need it most openai.com
- OpenAI Help: Retiring GPT-4o and other ChatGPT models help.openai.com
- Fenwick: California enacts child safety laws targeting AI chatbots fenwick.com
- Tech Policy Press: Banning AI toys for four years won't make kids safer techpolicy.press
- netzpolitik.org: Sorge um Schlupfloch – werden manche Produkte von den KI-Regeln ausgenommen? netzpolitik.org
- netzpolitik.org: Einigung auf gelockerte Pflichten in der KI-Verordnung netzpolitik.org
- EU-Kommission: AI Omnibus enters into force digital-strategy.ec.europa.eu
- Usercentrics: EU AI Act Deal – Digital Omnibus now in force usercentrics.com
- TK Media: AI Act Annex I after the Digital Omnibus tkmedia.lu
- MediaLaws: Talking Toys and the limits of the new EU Toy Safety Regulation medialaws.eu
- § 8 TDDDG (gesetze-im-internet.de) gesetze-im-internet.de
- netzpolitik.org: Bundesnetzagentur warnt vor Schnüffel-Spielzeug (2018) netzpolitik.org
- Universität Cambridge: AI toys study cam.ac.uk
- Malwarebytes: An AI plush toy exposed thousands of private chats with children malwarebytes.com
- arXiv: Crescendo Multi-Turn LLM Jailbreak Attack arxiv.org
- TechCrunch: Anthropic researchers wear down AI ethics with repeated questions techcrunch.com
- Let's Data Science: FoloToy resumes Kumma sales using ByteDance Coze letsdatascience.com
- Futurism: OpenAI restores access to AI teddy bear? futurism.com
- FoloToy: Produktseite Teddy folotoy.com
- Futurism: Another AI toy inappropriate (Alilo) futurism.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.