KI erfindet kaum noch Quellen – und schickt dich trotzdem ins geschlossene Restaurant

Laut einer Stanford-Studie erfinden aktuelle Spitzenmodelle so gut wie keine Literaturangaben mehr. Bei Alltagsfragen liegen sie trotzdem oft daneben: Mehrere Tests aus diesem Herbst zeigen falsche Krankenkassenprämien, geschlossene Restaurants und Läden, die angeblich dichtgemacht haben. Wir haben die Tests verglichen. Dabei zeigt sich, dass das Problem heute selten Erfindung ist, sondern meist veraltete oder verwechselte Daten.

Analysen 19. Nov. 2026 10 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Erfundene Literaturangaben galten lange als Paradebeispiel für KI-Halluzinationen, also für frei erfundene, aber überzeugend klingende Angaben. Diese Schwäche verschwindet gerade. Eine Stanford-Studie von Owen Queen und James Zou, über die heute auch Nature berichtet, zählt sie zu den „abgelaufenen“ Befunden. Mehrere Tests aus diesem Herbst zeigen aber ein anderes Bild, sobald es um die echte Welt geht: Hat das Restaurant noch offen? Was kostet meine Krankenkasse? Wo ist das Gerät am Black Friday am günstigsten? Bei solchen Fragen liegen Chatbots weiterhin oft daneben. Sie erfinden dabei selten etwas. Meist geben sie veraltete Daten wieder oder verwechseln etwas.

Wir haben die Tests nebeneinandergelegt und klären drei Fragen: Wie hoch ist die Fehlerquote mit und ohne Websuche? Welche Fehlertypen gibt es? Und wer trägt den Schaden? Das Thema ist gerade aktuell: In der Schweiz endet am 30. November die Frist für den Krankenkassenwechsel, und nächste Woche ist Black Friday.

Die gute Nachricht: Erfundene Quellen sind fast verschwunden

Queen und Zou haben 50 viel zitierte Forschungsbefunde über Sprachmodelle an 20 Modellen von acht Herstellern erneut geprüft. Die Modelle erschienen zwischen Juli 2024 und September 2026. Das Ergebnis: 44 Prozent der Befunde gelten heute nicht mehr, 34 Prozent haben sich deutlich abgeschwächt, 16 Prozent gelten weiter und 6 Prozent sind sogar stärker geworden. Von den 22 Befunden mit geschätztem Ablaufdatum hielten sich die meisten im Schnitt nur 15,7 Monate.

Am deutlichsten ist das bei den erfundenen Quellen. 2023 hatte GPT-3.5 in einer Studie von Walters und Wilder 55 Prozent seiner Literaturangaben erfunden. Mit denselben Prompts kommt GPT-6.1 Sol laut The Decoder heute auf 0 Prozent und Claude Sonnet 5.5 auf 1 Prozent. Der Fortschritt ist allerdings ungleich verteilt: Das kleine Qwen3.7-Flash, ebenfalls ein Modell aus 2026, erfindet 69 Prozent seiner Angaben. Und nicht alles ist gelöst. Bei Zwei-Schritt-Fragen, bei denen man zwei Fakten verknüpfen muss, scheitert Sonnet 5.5 weiterhin in rund 10 Prozent der Fälle. Widersprüchliche Antworten zu zeitlichen Fragen sind seltener geworden, kommen aber noch vor. Wichtig ist auch: Die Studie ist ein Preprint, sie wurde also noch nicht von unabhängigen Fachleuten begutachtet.

Die Tests im Überblick

Test Wer testet Was geprüft wurde Websuche Ergebnis
Shelf Life (Stanford) Queen/Zou erfundene Literaturangaben – 0–1 % bei Spitzenmodellen, 69 % bei Qwen3.7-Flash
KI-Kassencheck 2027 The Zone Media (Luzerner GEO-Agentur) 1.363 Prämienbeträge, 26 Kantone, Oktober 2026 ja 939 falsch (69 %)
PlaceBench Voygr (verkauft eine Prüf-Schnittstelle für Orte) 6 Assistenten, 150 Ortsfragen, 121 Städte, 11.–14. November nicht angegeben 66 von 900 Antworten falsch (7 %), 12 davon zu geschlossenen oder umgezogenen Orten
Local Search Benchmark Voygr 2.415 Antworten, Februar/März 2026 an und aus 8 % schwere Fehler (OpenAI mit Suche), etwa 20 % (Claude ohne Suche)
Invisible to the Machine (Bali) Norly Research 4.776 Lokale, 2.208 Antworten ja 93 Empfehlungen geschlossener Lokale, 0,08 % erfunden
Portsmouth-Test Koozai (Marketingagentur) 100 Restaurantempfehlungen k. A. geschlossene Restaurants bei ChatGPT und Google AI Mode
Fake-Shop-Studie Podqi (Markenschutz) 6.795 Shopping-Antworten, September ja 9 % mit riskanten Shops, 367 von 718 Domains tot
Preisabgleich ShopSavvy 270 Produkte, AI Mode vs. Shopping-Tab – 80 Preise (30 %) weichen ab

Die Prozentwerte in Klammern haben wir selbst aus den veröffentlichten Zahlen berechnet.

Mit oder ohne Websuche: Nachschlagen allein hilft nicht

Man könnte meinen, die Websuche löst das Problem. Die Tests zeigen ein gemischtes Bild. Im Voygr-Benchmark bringt die Suche bei Fragen wie „Finde mir ein Café in der Nähe“ 10 bis 21 Punkte mehr. Bei Händler- und Buchungsaufgaben schnitten Claude (89,6 ohne, 84,1 mit Suche) und Gemini (84,0 ohne, 78,7 mit Suche) mit Suche aber schlechter ab. Nur OpenAI legte leicht zu, um 1,1 Punkte. Ohne Suche hatte bei Claude etwa jede fünfte empfohlene Adresse einen schweren Fehler, also einen Ort, den es nicht gibt, der geschlossen ist oder im falschen Viertel liegt. Bei OpenAI mit Suche waren es 8 Prozent. Zu beachten: Getestet wurden ältere Modelle wie gpt-5.2 und claude-sonnet-4-5, und bewertet hat Gemini.

Die Schweizer Analyse ist am deutlichsten. Hier durften alle Systeme im Netz suchen, und laut Swiss IT Magazine nannten fast alle Antworten eine Quelle. Trotzdem waren 939 von 1.363 Prämienbeträgen falsch. Wie gut die Antworten waren, hing stark vom Zugang ab:

Zugang falsch / gesamt Quote
Programmierschnittstellen (gpt-5.4-mini, Claude Haiku 5.5, Gemini 3.6 Flash, Perplexity Sonar) 705 / 861 82 %
Google KI-Modus 87 / 120 73 %
Gemini-App 113 / 163 69 %
ChatGPT-App 34 / 219 16 %

Bei einer früheren Messung am 15. Oktober stimmten nur 33 von 258 genannten Beträgen. Das ist die Zahl „jede achte Angabe“ aus der Berichterstattung. Auf die Frage nach der günstigsten Kasse am Ort lagen die Bots in 101 von 312 Fällen richtig, also in etwa einem Drittel. The Zone vermutet, dass gründlicheres Suchen die Ergebnisse verbessern würde. Unsere Einschätzung: Die Websuche verlagert das Problem nur. Der Bot ist so gut wie die Seite, die er findet. Und er kann die falsche Seite erwischen.

Erfunden, veraltet, verwechselt: die drei Fehlertypen

Erfunden wird heute kaum noch etwas. Im Bali-Audit hielt nur ein einziger Name einer strengen Prüfung als wahrscheinlich erfunden stand: 10 Nennungen, das sind 0,08 Prozent.

Veraltet ist dagegen das typische Problem. In Bali empfahlen ChatGPT, Claude, Gemini und Perplexity 93-mal Lokale, die nachweislich dauerhaft geschlossen waren. Bezogen auf alle 12.439 gültigen Nennungen sind das nach unserer Rechnung rund 0,75 Prozent, also etwa neunmal so viele wie Erfindungen. Der Autor bringt es auf den Punkt:

„Das Risiko ist nicht, dass KI Restaurants erfindet, sondern dass sie sich an Restaurants erinnert, die es nicht mehr gibt.“

Ähnliche Fälle gab es in Portsmouth. Googles AI Mode empfahl das Seafood-Restaurant Samphire, das dauerhaft geschlossen ist. Unter den Empfehlungen war außerdem ein Lokal an der Strandpromenade, das schon am 30. Juni zugemacht hatte, fast vier Monate vor dem Test. Bei Podqi war gut die Hälfte der riskanten Shop-Domains (367 von 718) schlicht tot. Und t3n stellte in seinem Black-Friday-Test fest, dass die Preise „nicht immer wirklich aktuell“ waren.

Die Ursache liegt meist in den Verzeichnissen, aus denen die Bots schöpfen. Laut einer BrightLocal-Auswertung mit 60.970 Abfragen taucht Yelp in 80 Prozent der lokalen ChatGPT-Antworten als Quelle auf. Bei Googles AI Overviews stammen nach unserer Rechnung aus den Tabellen rund zwei Drittel der Quellenangaben aus dem Google-Unternehmensprofil. Diese Einträge sind selbst nicht immer aktuell. Voygr hat 86 bestätigte Schließungen geprüft: 23 davon zeigte Google Maps noch als geöffnet an oder führte sie gar nicht, das sind 27 Prozent. Die Voygr-Gründer schätzen, dass jedes Jahr 25 bis 30 Prozent aller Orte schließen, umziehen oder sich verändern. Beides sind allerdings Angaben eines Anbieters, der genau dafür eine Prüflösung verkauft.

Verwechselt wird ebenfalls häufig. Googles AI Overview kündigte für Anna Mae's Bakery in Millbank (Ontario) eine Schließung zum 31. Juli an. Schließen wollte aber eine gleichnamige Bäckerei in Illinois. In der Schweiz stimmte der Betrag in 30 Fällen, stammte aber aus einem anderen Kanton. Andere Antworten bezogen sich auf eine andere Versicherungsart. t3n fand Preise für Handys mit Vertrag, die als Kaufpreise ausgegeben wurden. Bei der Viridian Bookshop in Ohio nannte die KI eine falsche Adresse und behauptete später, den Laden habe es nie gegeben.

Wer den Schaden trägt

Die Nutzer: Wer der Schweizer Analyse zufolge einer falschen Standardprämie glaubt, verschätzt sich im Mittel um 550 bis 650 Franken pro Jahr. Wer der falschen „günstigsten Kasse“ folgt, zahlt laut Infosperber im Mittel 145 Franken mehr. Beim Einkaufen empfahlen die Bots einen riskanten Shop in 57 Prozent der Fälle, in denen er überhaupt auftauchte (Podqi). Laut ShopSavvy war der Preis im Google AI Mode in 60 Prozent der Abweichungen höher als im Shopping-Tab, im Schnitt um 20,2 Prozent.

Die Läden: Viridian-Inhaberin Chanel Bush sagt, ein Kunde sei wegen der falschen Schließungsmeldung gar nicht erst gekommen. Sie bringt das mit einem Umsatzrückgang in Verbindung. Die Korrektur dauerte Wochen, und die falsche Meldung tauchte zwischendurch immer wieder auf. Anna Mae's beantwortete tagelang Anrufe und E-Mails. Google versprach eine Korrektur, nannte aber weder Ticketnummer noch Frist. Gegenüber CBC erklärte Google, die „große Mehrheit“ der AI Overviews sei korrekt. Fehler entstünden dort, wo es zu einem Thema kaum hochwertige Informationen im Netz gebe. Ein stillerer Schaden ist die Unsichtbarkeit: In Bali tauchten 85,6 Prozent aller Lokale in keiner einzigen Empfehlung auf, selbst von den Lokalen mit mindestens 50 Bewertungen waren es 72,6 Prozent.

Und rechtlich? Das Landgericht München I hat am 28. Mai 2026 entschieden, dass Google für falsche Aussagen in seinen KI-Übersichten selbst haftet (Az. 26 O 869/26). Die KI hatte zwei Münchner Verlage mit Betrugsvorwürfen gegen andere Firmen in Verbindung gebracht. Das Urteil ist nicht rechtskräftig. Das LG Berlin II hatte in einem Markenstreit gegenteilig entschieden.

Ein wichtiger Vorbehalt: Fast alle Feldtests stammen von Firmen mit eigenem Interesse. Voygr verkauft eine Schnittstelle zur Ortsprüfung, Norly Werkzeuge für KI-Sichtbarkeit und The Zone ist eine GEO-Agentur, die Firmen hilft, in KI-Antworten aufzutauchen. Koozai und PinMeTo leben vom lokalen Marketing, Podqi vom Markenschutz. Immerhin legen die meisten ihre Methoden offen. Die PlaceBench-Daten liegen unter CC-BY-Lizenz auf GitHub. Allerdings bewertete dort ein Claude-Modell die Antworten, und einer der Testkandidaten (Claude Duet) basiert selbst auf Claude.

Checkliste: Wann du der KI-Antwort nicht trauen solltest

  • „Hat X gerade offen?“ oder „Gibt es X noch?“ Prüfe das auf der Website des Ladens, per Telefon oder anhand aktueller Social-Media-Posts.
  • Preise und Angebote mit Datum (Black Friday, Aktionen): Prüfe den Preis direkt beim Händler und rechne die Versandkosten mit ein.
  • Beträge, die vom Wohnort abhängen (Prämien, Tarife, Gebühren): In der Schweiz rechnest du am besten mit dem Prämienrechner des Bundes nach: priminfo.admin.ch.
  • Shop-Links, besonders angeblich „offizielle“ regionale Seiten: Tippe die Adresse selbst ein.
  • Gleichnamige Firmen oder Orte: Gleiche die Adresse ab.
  • Eine Quellenangabe ist kein Beweis. Klick auf die Quelle und prüf, ob sie wirklich zu deiner Frage passt.

Gut funktioniert dagegen das Erklären von Begriffen, Regeln und Fristen. Alle 104 Antworten zur Kündigungsfrist nannten richtig den 30. November. Auch zur Produktberatung taugt KI laut t3n eher als zum Preisvergleich.

Einordnung

Die Stanford-Studie und die Feldtests widersprechen sich nicht. Zusammen zeigen sie, dass sich das Problem verlagert hat. Die Modelle haben gelernt, nichts mehr zu erfinden. Ihre Schwachstelle sind jetzt die Daten, auf die sie zugreifen: Verzeichnisse, die nicht gepflegt werden, und Suchtreffer, die nicht zur Frage passen. Unsere Einschätzung: Eine niedrige „Halluzinationsrate“ sagt deshalb wenig darüber aus, ob eine Antwort zu Öffnungszeiten oder Preisen stimmt.

Für deutsche Nutzer kommt das Thema gerade jetzt näher. Googles Ask Maps ist diese Woche in Deutschland gestartet und schnitt im PlaceBench-Test am schlechtesten ab: 49 Punkte und 30 falsche Antworten von 150. Dafür war es mit 8 Sekunden mit Abstand am schnellsten.

Offen bleibt einiges. Es gibt keine unabhängige, repräsentative Studie. Die Tests sind Momentaufnahmen mit wechselnden Modellversionen. Und laut Queen und Zou haben auch Befunde über KI ein Ablaufdatum, das gilt für diese Tests ebenso.

Quellen

#halluzinationen#chatbots#lokale suche#verbraucher#google ai overviews#studien

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.