Eine Zeile in robots.txt: OpenAI, Google, Microsoft und Anthropic wollen KI-Training-Opt-out vereinheitlichen

Worum es geht

Wer eine Website betreibt und nicht möchte, dass seine Texte, Bilder oder Videos zum Training von KI-Modellen verwendet werden, muss bisher für jeden Anbieter eigene Regeln pflegen. Das soll sich ändern: OpenAI, Google, Microsoft und Anthropic haben angekündigt, ein gemeinsames Signal in der robots.txt zu unterstützen. Die robots.txt ist die Textdatei im Hauptverzeichnis einer Website, in der Betreiber Suchmaschinen und anderen Crawlern (automatischen Programmen, die Webseiten abrufen) mitteilen, was sie abrufen dürfen.

Der Vorschlag stammt laut The Next Web aus einem Entwurf von Kevin Kelley von Anthropic, den dieser am Freitag (30. Oktober) bei der Internet-Standardisierungsorganisation IETF eingereicht und auf der Mailingliste der Arbeitsgruppe für KI-Präferenzen (AIPREF) vorgestellt hat. Am selben Tag erklärten Google, OpenAI und Microsoft, die Regel unterstützen zu wollen. Die koreanische Zeitung ZDNet Korea berichtete am 1. November.

So funktioniert das gemeinsame Signal

Bisher mussten Betreiber einzelne Crawler oder Richtlinien-Kennungen ansprechen, etwa OpenAIs „GPTBot“ oder Googles „Google-Extended“. Der neue Entwurf führt ein gemeinsames „Policy Token“ ein, also eine Kennung, die keinen bestimmten Crawler meint, sondern eine Nutzungsabsicht. Es heißt __usage_ai-training.

Für einen vollständigen Opt-out genügen laut ZDNet Korea zwei Zeilen:

User-Agent: __usage_ai-training
Disallow: /

Das bedeutet: Der gesamte Inhalt soll nicht für das Training generativer KI-Modelle verwendet werden. Wie bei der robots.txt üblich lassen sich einzelne Pfade ausnehmen oder gezielt freigeben. Das Beispiel im Entwurf sperrt laut The Next Web eine ganze Seite bis auf das Pressekit.

Die Anbieter wollen das Signal parallel zu ihren bisherigen Einstellungen anwenden. Kelley schrieb, es ergänze die vorhandenen Crawler-Kontrollen von Anthropic, ersetze sie aber nicht. Er warnte außerdem: „Es wird etwas dauern, bis wir die Unterstützung in unseren Diensten ergänzen und die unvermeidlichen Komplikationen und Randfälle bearbeiten.“

Wer wann mitmacht

Bei Microsoft gibt es die größten Änderungen. Seit 2023 nutzt der Konzern die Meta-Angaben „NoArchive“ und „NoCache“, um Inhalte aus KI-Antworten und KI-Training herauszuhalten. Laut ZDNet Korea müssen Seiten, die das nutzen, bis zum 1. März 2027 auf die neue Methode umstellen. Zusätzlich führt Microsoft eine eigene Seiteneinstellung für „Grounding“ ein – so heißt es, wenn eine KI-Antwort live auf eine aktuelle Webseite zurückgreift. Eine Option erlaubt dabei Microsofts eigene Produkte wie Copilot, sperrt aber die Grounding-Dienste, die Microsoft anderen Firmen verkauft.

Krishna Madhavan von Microsoft Bing schrieb: „Verlage sollten nicht zwischen Auffindbarkeit in Bing und der Entscheidung wählen müssen, wie generative Modelle ihre Arbeit nutzen.“ Microsoft warnt zugleich, dass das Blockieren von KI-Grounding die Sichtbarkeit der Inhalte in KI-generierten Antworten „deutlich verringern“ werde. Die Platzierung in den Bing-Suchergebnissen ändere sich dadurch nicht.

Googles Search Advocate John Mueller wies laut The Next Web darauf hin, dass Seiten, die Google-Extended erlauben, in Antworten der Gemini-App erscheinen und Klicks erhalten können.

Was das Signal nicht leistet

Die Einschränkungen sind erheblich:

• Keine Zugriffssperre: Laut Entwurf ist das Token eine Präferenz, wie Inhalte genutzt werden sollen, kein Befehl zum Crawling. Kelley sagte auf der Mailingliste, es gehe um Nutzung, nicht um Crawling-Traffic; beides sei „absichtlich getrennt“.
• Kein Eingriff in die Suche: Sichtbarkeit in Suchergebnissen bleibt unberührt. Auch KI-Antworten, die auf Suchergebnisse zurückgreifen, sind laut ZDNet Korea nicht direkt erfasst.
• Fehlende Angabe ist keine Angabe: Eine Seite ohne Gruppe für das neue Token hat keine Präferenz geäußert. Pauschale Regeln wie User-Agent: * zählen nicht, wie auch ein japanischer Blogger (note.com) betont.
• Private Verträge gehen vor: Vereinbarungen zwischen einer Seite und einem KI-Unternehmen können das Signal überschreiben.
• Keine Bezahlung: Microsoft stellt klar, die Einstellungen schafften keine Lizenz- oder Zahlungsregelungen.
• Kein Standard: Der Entwurf ist eine individuelle Einreichung. Laut IETF-Datatracker hat die IETF ihn nicht gebilligt, er hat keinen formalen Status. Wer sich nicht daran hält, muss nichts befürchten.

Hintergrund und Reaktionen

Google sieht den Vorschlag im Einklang mit dem EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck (AI Act), der die robots.txt als wichtigen Weg anerkennt, maschinenlesbare Präferenzen zu äußern. Im Entwurf bedankt man sich bei Mitarbeitenden unter anderem der Financial Times, der BBC, von Bertelsmann und des European Publishers Council.

Meta-Kommunikationschef Andy Stone sprach sich laut The Verge (zitiert von TNW) auf X für ein gemeinsames Signal aus, ließ aber offen, ob Meta es beachten würde.

Das Thema ist umkämpft. Im Juli hatte Cloudflare KI-Crawlern gesagt, sie sollten zahlen oder würden geblockt. Ein Streit dreht sich auch um Plattformen, die Nutzerinhalte standardmäßig für KI verwenden: Laut Yahoo/IGN wurde Amazon wegen einer Twitch-Einstellung, die Streamer-Inhalte automatisch für Amazons generative KI nutzt, im August in den USA verklagt. Twitchs Produktchef Mike Minton sagte dazu: „Wenn es Opt-in wäre, würde niemand zustimmen.“ In Großbritannien untersucht die Wettbewerbsbehörde CMA laut note.com zudem Metas Geschäftsbedingungen.

Einordnung

Die Vereinheitlichung ist praktisch sinnvoll: Statt ständig neue Crawler-Namen nachzutragen, gibt es eine Zeile für alle. Das senkt die Hürde besonders für kleine Betreiber. Dass alle vier großen Anbieter mitziehen, ist ein starkes Signal.

Dem stehen reale Schwächen gegenüber. Fast alles beginnt erst 2027, der Vorschlag ist unverbindlich, und es gibt keine Kontrolle, ob sich Anbieter daran halten. Wichtige Akteure wie Meta haben sich nicht festgelegt. Außerdem schützt das Signal nur vor künftigem Training, nicht vor bereits erfolgten Zugriffen, und es kann Sichtbarkeit in KI-Antworten kosten. Ob daraus ein verlässlicher Standard wird, entscheidet sich erst, wenn die Umsetzungen live sind.