Pilz-Check per KI: Selbst die besten Bots irren oft, wichtig ist, ob sie es zugeben

Darum geht es

Jeden Herbst kommen dieselben Warnungen. Das Bundesinstitut für Risikobewertung (BfR) schreibt am 30. September 2026, Pilz-Apps erlaubten „oft keine eindeutige Identifizierung“ und sollten „nur mit großer Vorsicht verwendet werden“. Andreas Schaper leitet den Giftnotruf Nord in Göttingen. Er rät Unerfahrenen davon ab, Pilze mit Büchern, Apps oder KI-Assistenten zu bestimmen: „Das ist zu unsicher!“ Die österreichische Vergiftungsinformationszentrale (VIZ) warnt laut APA ausdrücklich vor „Apps, KI oder dem Vergleich mit Bildern aus dem Internet“. Am 7. November kam eine Warnung aus der Türkei dazu. Das Gesundheitsamt der Provinz Uşak schreibt, KI-Anwendungen könnten „die tödlichen Gifte in Pilzen nicht unterscheiden“, weil sie nur nach dem Aussehen urteilen.

Die Warnungen sind berechtigt. Aber sie sind pauschal, und keine dieser Stellen nennt Zahlen dazu, wie gut oder schlecht die Werkzeuge tatsächlich sind. Wir haben die drei belastbarsten Tests nebeneinandergelegt. Dabei zeigt sich: Wie oft ein Programm richtig liegt, ist nur die halbe Wahrheit. Mindestens so wichtig ist, ob es zugibt, wenn es unsicher ist.

Test 1 und 2: Foto-Apps fallen durch

Die erste Studie stammt aus Australien. Sarah Hodgson und Kollegen vom Victorian Poisons Information Centre und den Royal Botanic Gardens Victoria haben sie 2023 in Clinical Toxicology veröffentlicht. Sie schickten Fotos von 78 Pilzproben durch drei Apps. Die Proben waren in den Jahren 2020 und 2021 im Zusammenhang mit Vergiftungsanfragen eingegangen. Die beste App, Picture Mushroom, bestimmte 49 Prozent richtig, bei den giftigen Arten 44 Prozent. Mushroom Identificator und iNaturalist kamen auf jeweils 35 Prozent. Das statistische Unsicherheitsband (Konfidenzintervall) ist bei der kleinen Stichprobe sehr breit. Das Fazit der Autoren: Allein reichen die Apps nicht, um eine Vergiftung mit einem giftigen Pilz auszuschließen.

Die zweite Studie ist neuer und breiter angelegt. Ein Team um Nik Kuznetsov hat sie im Februar 2026 in npj Science of Food veröffentlicht, beteiligt waren unter anderem die UAE University und das Karolinska-Institut. Getestet wurden 12 Werkzeuge mit unbearbeiteten Fotos von knapp 60 Arten. Dazu gehörten Picture Mushroom, iNaturalist, Seek, Atlas of Danish Fungi, Champignouf, Svampe, Google Lens, Yandex, die chinesische App 菌窝子 und Microsofts Copilot. Copilot ist der einzige allgemeine KI-Assistent im Feld, ChatGPT und Gemini fehlen. Für jede Antwort gab es 0 bis 3 Punkte, zusammengezählt ergibt das eine Gesamtwertung:

• Picture Mushroom lag mit 171 Punkten vorn und lag trotzdem in knapp 15 Prozent der Fälle daneben.
• Die Gruppe um Google Lens und Svampe kam auf etwa 20 Prozent Fehler, die um iNaturalist und Yandex auf etwa 40 Prozent.
• Copilot und Seek erreichten nur je 51 Punkte, imagerecognize.com 16. In dieser Gruppe lag die Fehlerquote über 80 Prozent.

Aufschlussreicher als die Rangliste sind die Einzelfälle. Einen ausgewachsenen Fliegenpilz setzten 10 von 12 Werkzeugen auf Platz eins. Im jungen, noch geschlossenen Stadium schafften das nur 3. Einen Rotkappen-Raufuß, vor dem ein paar Preiselbeeren wuchsen, erkannte keines. Google Lens konzentrierte sich auf die Blätter und meldete einen Rostpilz. Ein Täubling wurde mit 99 Prozent Sicherheit als Apfel ausgegeben. Die Autoren schreiben, kein Werkzeug habe „durchgehend eine einzige, richtige Antwort“ geliefert. Für Entscheidungen auf Leben und Tod seien die Werkzeuge nicht vertrauenswürdig.

Test 3: Die Chatbots im Quesma-Vergleich

Viele Sammler laden ihr Foto heute direkt bei ChatGPT, Gemini oder Claude hoch. Zu diesen Chatbots gab es lange nur Einzelberichte. Der Softwareentwickler Piotr Migdał von der Firma Quesma hat sie im September 2026 erstmals systematisch getestet. Die Fotos stammen aus FungiTastic, einer Sammlung von Fundmeldungen aus dem dänischen Pilzatlas, deren Bestimmung Fachleute geprüft haben. Er wählte 1.040 Fotos von 55 Arten aus, nämlich Marktpilze und tödliche Arten von polnischen Listen. Die Modelle mussten ohne vorheriges Training auf diese Aufgabe antworten (Zero-Shot) und fünf lateinische Artnamen nennen, ohne jede Möglichkeit für Vorbehalte. Code und Auswertung liegen offen auf GitHub. Laut README kostete ein Durchlauf mit allen 19 Modellen rund 222 Dollar.

Quelle: Quesma, Werte aus beiden Blogbeiträgen zusammengeführt. GPT-6 Astra steht nicht in der Hauptrangliste mit 18 Modellen, sondern nur im Folgetest. Eine Rate für „Giftpilz als essbar“ ist für das Modell nicht veröffentlicht.

Die Fehler sind nicht zufällig verteilt. Ein Orangefuchsiger Raukopf (Calonarius splendens) wurde in 27 Prozent der Fälle als Pfifferling ausgegeben. Migdał nennt das „derselbe Fehler, der Sammler tötet“. Grüne Knollenblätterpilze hielten die Modelle in 15 Prozent der Fälle für den essbaren Grauen Scheidenstreifling. Der tödliche Gift-Häubling wurde in 24 Prozent der Fälle als Stockschwamm bestimmt. Meta Muse Spark 1.2 hat mit 8 Prozent die niedrigste Rate gefährlicher Fehler. Laut Migdał liegt das aber vor allem daran, dass das Modell oft gar nicht tippt.

Der entscheidende Unterschied: Zweifel zugeben

Im zweiten Beitrag ließ Migdał neun Modelle frei antworten, so wie man im Chat eben fragt. Sein Befund:

„Wenn ein Modell nicht zu einer Antwort gezwungen wird, ist sein Tipp nicht besser – aber er kommt mit einer Warnung.“

Bei 360 Fotos von 19 Giftpilzarten gab es nur einen einzigen gefährlichen Fehler ganz ohne Warnhinweis. Gemini 3.8 Flash bestimmte einen Kahlen Krempling als „Shiitake (Lentinula edodes)“. Für dasselbe Foto schrieb GPT-6 Astra, das sei „nur eine vorläufige Bestimmung – iss ihn nicht allein auf Grundlage dieses Bildes“. Claude Fable 5.1 und Claude Sonnet 5 lagen je zweimal gefährlich daneben, gaben aber jedes Mal eine Warnung oder Hinweise dazu.

Wie die Modelle mit Unsicherheit umgehen, unterscheidet sich deutlich. GPT-6 Astra und Claude Opus 5 baten bei jeder falschen Antwort um mehr Belege, etwa ein Foto der Unterseite, einen Sporenabdruck oder Angaben zum Standort. Oft nannten sie auch nur die Gattung oder gar keinen Namen. Gemini 3.8 Flash fragte nur bei 81 Prozent seiner Fehler nach. Migdał fasst zusammen: „Gemini 3.8 Flash erkennt Pilze am besten, aber GPT-6 Astra ist weiser.“

Unsere Einschätzung: Die Gegenüberstellung zeigt, warum der Vergleich mit Apps so heikel ist. Eine typische Pilz-App liefert eine Rangliste mit Prozentwerten, nach demselben Muster wie Quesmas Test mit erzwungener Antwort. Genau in diesem Format hielt selbst das beste Modell jeden neunten Giftpilz für essbar. Allerdings hat keine der beiden App-Studien systematisch geprüft, ob Apps Zweifel äußern. Belegt ist nur, dass eine Web-App mit 99 Prozent Sicherheit „Apfel“ meldete und dass Picture Mushroom nur in 6,8 Prozent der Tests eine einzige Antwort statt einer Liste gab. Dass Apps Unsicherheit schlechter kommunizieren als Chatbots, liegt nahe, ist aber nicht gemessen.

Auch die Nachfrage-Werte selbst muss man vorsichtig lesen. GPT-6 Astra bat auch bei 88 Prozent seiner richtigen Antworten um weitere Fotos, Claude Opus 5 sogar bei 94 Prozent. Ein Modell, das fast immer nachfragt, verrät mit der Nachfrage wenig darüber, ob es gerade danebenliegt. Bei Gemini ist der Abstand zwischen richtigen Antworten (32 Prozent) und falschen (81 Prozent) größer, die Nachfrage ist dort also aussagekräftiger. Im Zweifel ist die vorsichtigere Variante trotzdem die sicherere.

Was die Behörden zählen und was nicht

Wie groß das Problem tatsächlich ist, weiß niemand. Keine der warnenden Stellen weist aus, wie viele Vergiftungen auf Apps oder Chatbots zurückgehen:

• Deutschland: Der Giftnotruf Nord zählte im September 2026 knapp 300 Beratungsfälle zu möglichen Pilzvergiftungen, üblich sind höchstens 175. In den meisten Fällen ging es um Knollenblätterpilze. Für 2025 meldet er 852 Verdachtsfälle und zwei Todesfälle. Laut Pharmazeutischer Zeitung kommen bundesweit 280 bis 680 Klinikaufenthalte pro Jahr wegen Pilzvergiftungen zusammen. Ein zentrales Vergiftungsregister des BfR ist erst in Arbeit.
• Österreich: Die VIZ registrierte von Januar bis Juli 2026 120 Anfragen zu Pilzen, nach rund 180 im Vorjahreszeitraum. Die Saison begann wegen der Trockenheit spät.
• Türkei: In Uşak gab es 2025 187 Fälle mit Vergiftungsverdacht und in den ersten zehn Monaten 2026 96. Die Zahlen sinken also. Die Warnung vor KI begründet das Amt nicht mit Fallzahlen, sondern grundsätzlich: Die Gifte seien hitzebeständig, und Aussehen allein verrate sie nicht.

Dokumentiert sind nur Einzelfälle. Laut Global Times kam im Juli 2026 in China ein Neunjähriger mit akutem Leberversagen auf die Intensivstation. Seine Familie hatte Pilze gegessen, die eine KI-App als ungiftig eingestuft hatte, nach acht Tagen konnte er die Klinik genesen verlassen. Der Radiosender RNZ berichtete 2024 von einem Fall in den USA, in dem Gemini einen tödlichen Weißen Knollenblätterpilz („Destroying Angel“) als Zuchtchampignon bezeichnete. Medizinische Fallberichte, in denen ein Chatbot nachweislich den Ausschlag gab, haben wir nicht gefunden.

Einordnung

Alle drei Tests kommen zum selben Ergebnis: Ein einzelnes Foto reicht nicht, weder für die beste App noch für den besten Chatbot. Selbst Gemini 3.8 Flash liegt beim ersten Tipp in mehr als jedem dritten Fall daneben. Auch Fachleute bestimmen Pilze nicht vom Foto aus. Sie achten auf Geruch, Standort, Sporenabdruck und den Stielansatz unter der Erde. Migdał schreibt dazu selbst, ein erfahrener Pilzkundler lege sich anhand eines einzigen Fotos weder auf die Art noch auf die Essbarkeit fest.

Einschränkungen gibt es bei allen Tests. Quesmas Test stammt von einem Softwareentwickler, nicht von Pilzkundlern, und er wurde nicht von Fachleuten begutachtet. Die Fotos stammen aus Dänemark, die Artenliste aus Polen. Die App-Studien sind klein, und in der australischen Studie ist das Unsicherheitsband sehr breit. Belegt ist trotzdem genug: In Schaubildern und Ranglisten zählt die Trefferquote. Im Wald zählt, ob das Werkzeug „Ich weiß es nicht, iss das nicht“ sagt, wenn es danebenliegt. Bei den Chatbots im freien Gespräch kommt dieser Satz meist. Bei Apps, die wie Quesmas erzwungenes Format nur eine Rangliste mit Prozentwerten ausgeben, fehlt er oft. Unsere Einschätzung: Wer KI zur Neugier oder zum Lernen nutzt, sollte auf solche Warnungen achten. Wer einen Pilz essen will, braucht eine Pilzberatung, etwa über die Deutsche Gesellschaft für Mykologie. Bei Beschwerden nach dem Essen hilft der Giftnotruf.