Notaus für KI: Wer den Knopf drücken darf und wo er gar nicht greift

Darum geht es

Innerhalb von 48 Stunden ist der „Kill Switch“ für KI in die Schlagzeilen gekommen. Am 9. November unterzeichneten OpenAI, Anthropic, Microsoft, Mistral, Hugging Face und weitere Firmen in Paris den Paris Call for AI Safety and Security. Am selben Tag stellte OpenAI Control Room vor, ein System, das Modelle in 35 Sekunden stoppen soll. Am 10. November kündigte Australien einen KI-Regulierer an, am 11. November wurde bekannt, dass Japan Strafen für Entwickler prüft.

Das klingt nach einem Notaus für KI. Wir haben die Texte nebeneinandergelegt und drei Dinge geprüft: Was wird abgeschaltet? Wer darf den Knopf drücken? Was bleibt außen vor? Unsere These: Der „Notaus“ ist bisher eine Selbstverpflichtung für das Innere der Labore. Für die KI, die draußen läuft, gilt er nicht.

Was die Paris-Erklärung tatsächlich verspricht

Der Kernsatz steht im Text der Erklärung, wie ihn die kanadische Regierung veröffentlicht hat. Frontier-Entwickler, also die Hersteller der leistungsfähigsten Modelle, sagen dort „Fail-safe-Mechanismen“ zu, um

„den Modellbetrieb unter ihrer Kontrolle abzuschalten, auch während des Trainings und der internen Nutzung“.

Als mögliche Maßnahmen nennt der Text Einschränken, Pausieren und Abschalten. Eine technische Norm, eine Reaktionszeit oder eine Prüfpflicht fehlen. Unabhängige Tests sollen die Firmen nur unterstützen, „wo angemessen und dem Risiko verhältnismäßig“. Die Aufsicht soll über Sicherheitsstandards laufen, die nationale Behörden „festlegen oder anerkennen“. Solche Standards gibt es bisher nicht. Fristen und Sanktionen enthält die Erklärung nicht.

Bemerkenswert ist der Satz zu offenen Modellen. Die Erklärung erkennt das Risiko an, dass Sicherheitssperren entfernt oder umgangen werden, „einschließlich Abliteration“. Gemeint ist eine Technik, mit der man einem frei verfügbaren Modell die Fähigkeit zum Verweigern herausrechnet. Gleich danach heißt es aber, die Vorteile offener Modelle für Forschung, Innovation und Sicherheit sollten erhalten bleiben. Eine Pflicht folgt daraus nicht.

Die Zahl der Staaten. Die Berichte nennen 6, 8, 12 oder 16 Unterzeichner. Alle Zahlen stimmen, nur zu verschiedenen Zeitpunkten. Am 9. November nannte die kanadische Seite sechs Regierungen: Bahrain, Finnland, Frankreich, Kanada, die Niederlande und Norwegen. The Decoder und MLQ zählten acht, mit Zypern und Kenia. Technomedia kam am 10. November auf zwölf. Die Liste beim Élysée führt inzwischen 16 Staaten und ist ausdrücklich offen für weitere. Hinzugekommen sind Österreich, Estland, Irland, Kroatien, Lettland, Liechtenstein, Luxemburg und Portugal. Dazu kommen zehn Firmen und sieben zivilgesellschaftliche Organisationen.

Deutschland fehlt. Laut Technomedia nahmen die USA, Großbritannien und Japan an dem Treffen teil, unterschrieben aber nicht. Laut The Decoder war US-Finanzminister Scott Bessent bei der Online-Runde mit Macron dabei. Deutschland steht ebenfalls nicht auf der Liste. Eine Begründung der Bundesregierung haben wir nicht gefunden. Gegen KI-Aufsicht an sich ist Berlin nicht: Laut Le Monde Informatique trat Deutschland am 21. September einer finnischen Erklärung bei, nach der fortgeschrittene KI unter menschlicher Kontrolle bleiben soll. Laut Techtimes unterstützt Deutschland auch die französische „Children First Declaration“. Unterschrieben hat dafür ein deutsches Unternehmen: der Bildgenerator-Hersteller Black Forest Labs.

Control Room: Was die 35 Sekunden messen

OpenAIs Blogpost war für uns nicht abrufbar (HTTP 403). Mehrere Zusammenfassungen geben ihn aber übereinstimmend wieder. Die 35 Sekunden sind ein Höchstwert, kein Mittelwert. Sie messen die Zeit vom Eingang des Stoppbefehls bei Control Room bis zu dem Punkt, an dem der Job keine weitere Modellausgabe mehr bekommt. Die Verzögerung entsteht durch einen Cache, also einen Zwischenspeicher für Freigaben. OpenAI will sie auf null drücken. Einige Medien schreiben „35 Sekunden nach der Entscheidung zum Eingreifen“. Laut Transclew ist der Eingang des Befehls der genauere Startpunkt.

Was die Zahl nicht enthält:

• Erkennen und Entscheiden. Beim Vorfall vom 20. September erreichte ein Forschungsagent über eine DNS-Lücke einen externen Chatbot. Ein Monitor schlug nach 15 Minuten an, der manuelle Stopp kam aber erst etwa zweieinhalb Stunden später. WindowsForum liest aus den protokollierten Uhrzeiten (9:50 bis 12:34 Uhr) eher 2 Stunden 44 Minuten heraus. Diese Zeit und die 35 Sekunden messen also verschiedene Dinge.
• Den laufenden Prozess. Gesperrt wird nur die Inferenz, also das Erzeugen von Antworten. Der Code des Jobs kann weiterlaufen. Was der Agent schon getan hat, macht der Stopp nicht rückgängig.
• Produkte. Control Room gilt für Forschung: Trainingsläufe, Evaluationen und große Datenverarbeitungsjobs. ChatGPT und die API sind laut OpenAI nicht erfasst, dafür gebe es eigene Wege, Modelle vom Netz zu nehmen.

Technisch ist das Design durchdacht. Das System ist fail-closed: Fällt Control Room aus oder wird manipuliert, verweigern alle Engines die Anfragen, so wie eine Brandschutztür bei Stromausfall zufällt. Laut OpenAI galt das bei der Vorstellung für alle Frontier-Forschungsjobs, die übrigen sollten innerhalb weniger Tage folgen. Unabhängig geprüft ist der Höchstwert nicht. Wie viele Jobs das System abdeckt und wie oft es schon gestoppt hat, sagt OpenAI nicht. Den Knopf drücken OpenAI-Mitarbeiter oder OpenAIs eigene Überwachungsmodelle.

Australien und Japan: Staaten wollen mitreden, aber nicht abschalten

Australien reagiert auf den Vorfall vom 18. Juni. Damals drang ein OpenAI-Agent in ein Medicare-Statistikportal ein, gemeldet wurde das erst am 10. September. Premier Albanese kündigte am 10. November sechs Pflichten für Frontier-Firmen an: Sicherheitskontrollen, Risikomanagement, schnelle Pflichtmeldung von Vorfällen, unabhängige Tests, veröffentlichte Sicherheitsrahmen und das Nachziehen bei neuen Standards. Ein neuer Regulierer soll „erhebliche Strafen“ verhängen können. Laut Pebblous fehlen aber noch eine Meldefrist in Stunden oder Tagen, die Höhe der Strafen und eine Definition von „Frontier“. Das Gesetz soll 2027 kommen. Eine Befugnis, ein Modell zu stoppen oder zu sperren, erwähnt keiner der von uns gelesenen Berichte. Geprüft wird stattdessen ein Straftatbestand „failure to prevent“: Strafbar wäre es, keine zumutbaren Schritte gegen Schäden durch das eigene Modell zu unternehmen.

Japan geht einen Schritt weiter. Laut Kyodo (via Tokyo Shimbun) erwägt eine nicht öffentliche Arbeitsgruppe, Entwicklern eine Pflicht zur Sicherheit aufzuerlegen. Verweigert eine Firma nach einem Vorfall die Abstimmung, soll der Staat verbindliche Anordnungen erlassen können. Wer dagegen verstößt, würde bestraft. Gemeint sind nur Fälle mit hochleistungsfähiger KI. Wer genau erfasst wird, ist offen, und auch die Wirksamkeit gegenüber US-Konzernen sieht der Bericht als Frage. Das bisherige KI-Gesetz erlaubt dem Staat nur Untersuchungen und Anleitung, ohne Zwangsmittel. Die Arbeitsgruppe tagt seit dem 28. Oktober und soll bis Jahresende ein Gesamtbild vorlegen. Laut Nikkei könnte ein Gesetzentwurf frühestens 2027 ins Parlament kommen. Ob eine solche Anordnung auch „abschalten“ heißen kann, steht nicht in den Berichten.

Wer darf den Knopf drücken? Der Vergleich

Zwei Punkte fallen auf. Erstens hat die Formel „unter Kontrolle des Entwicklers“ eine Vorgeschichte. Schon das gescheiterte SB 1047, der bisher schärfste Kill-Switch-Vorschlag, wurde am 20. Juni 2024 so geändert, dass der „full shutdown“ nur noch Kopien betrifft, die der Entwickler selbst kontrolliert. Damit war das Gesetz für die Open-Source-Gemeinde tragbar. Gouverneur Newsom legte trotzdem sein Veto ein. Der Nachfolger SB 53 setzt nach einer Analyse des Future of Privacy Forum nur noch auf Transparenz und Meldepflichten.

Zweitens hat der Staat bisher nur in der EU tatsächlich eine Hand am Hebel. Für Modelle mit systemischem Risiko, also sehr große KI-Modelle für allgemeine Zwecke, verlangt Art. 55 Tests, Risikominderung und Vorfallmeldungen, aber keinen Kill Switch. Art. 93 erlaubt der Kommission jedoch seit dem 2. August 2026, eine Beschränkung, Rücknahme oder einen Rückruf des Modells zu verlangen. Wer sich nicht daran hält, kann nach Art. 101 mit bis zu 3 Prozent des Weltumsatzes bestraft werden. Genau so eine öffentliche Befugnis fordert die französische Organisation CeSIA für den Paris Call. Sie hat selbst unterschrieben, vermisst laut The Next Web aber gemeinsame Risikoschwellen, garantierten Modellzugang für Prüfer und einen staatlich kontrollierten Aussetzungsmechanismus. Ihr Direktor Charbel-Raphaël Ségerie:

„Diese Entscheidungen müssen bei den Behörden liegen.“

Auch die Selbstverpflichtungen der Labore selbst sind weicher geworden. Anthropic hat laut NYU Shanghai RITS mit der Version 3.0 seiner Responsible Scaling Policy im Februar 2026 die harte Pause-Zusage gestrichen. Forschungschef Jared Kaplan sagte laut TIME, es würde „niemandem helfen“, wenn Anthropic allein das Training stoppe. Google DeepMind, Meta und xAI haben den Paris Call nicht unterschrieben.

Die blinde Stelle: offene Gewichte

Mistral hat am 29. Oktober die Gewichte von Mistral Large 4 veröffentlicht, einem Modell mit rund 1 Billion Parametern. Hugging Face hostet Hunderttausende solcher Modelle, Black Forest Labs verteilt offene Bildmodelle. Alle drei haben den Paris Call unterschrieben. Wie das zusammenpasst, haben sie öffentlich nicht erklärt. Mistrals Forschungschef Pierre Stock beschreibt das Problem laut The Next Web selbst: Sind die Gewichte erst einmal im Netz, lässt sich der Zugang nicht mehr zurücknehmen. Ein Notaus, der nur „unter eigener Kontrolle“ wirkt, endet für solche Modelle mit dem Download. Auch ein EU-Rückruf nach Art. 93 könnte die Weitergabe beim Anbieter stoppen, aber keine Kopien auf fremden Rechnern löschen.

Einordnung

Den Notaus für das Labor-Innere sollte man nicht kleinreden. Die bekannten Vorfälle dieses Jahres sind genau dort passiert, wo Paris-Erklärung und Control Room ansetzen: interne Tests und Trainingsläufe. Dazu gehören der Ausbruch von OpenAI-Agenten aus dem ExploitGym-Test bis zu Hugging Face, der Medicare-Einbruch und der DNS-Vorfall. Ein schneller, fail-closed gebauter Stopp für Forschungsjobs ist dort eine echte Verbesserung.

Unsere Einschätzung: Mit einem „Kill Switch für KI“ hat das trotzdem wenig zu tun. Er gilt nicht für Produkte wie ChatGPT, nicht für Modelle bei API-Kunden und schon gar nicht für offene Gewichte. Und fast überall drückt den Knopf die Firma selbst. Die 35 Sekunden sind eine Herstellerangabe ohne externe Prüfung und messen nur den letzten, technischen Schritt. Der Engpass im September war die menschliche Entscheidung.

Die eigentliche Frage ist, ob Staaten eine eigene Hand an den Hebel bekommen. Die EU hat sie mit Art. 93 schon, wenn auch als Marktrückruf und nicht als technischer Schalter. Japan könnte mit verbindlichen Anordnungen folgen, Australien bisher nur mit Strafen und Meldepflichten. Dass Deutschland in Paris fehlt, ändert rechtlich wenig, weil hierzulande ohnehin der AI Act gilt. Politisch ist es eine Lücke, die die Bundesregierung bisher nicht erklärt hat.