„Ein Mensch entscheidet mit“: Was die Zusagen zu Militär-KI wirklich festlegen
Innerhalb von zwei Tagen hat die UN in Genf das Verbot autonomer Waffen vertagt, und Washington meldet eine Absprache mit Peking über „menschliche Beteiligung“ an militärischen KI-Entscheidungen. Wir haben die Formulierungen aus acht Dokumenten verglichen und mit Fällen aus Gaza, dem Iran und der Ukraine abgeglichen. Keine der Zusagen legt fest, wie viel Kontrolle der Mensch tatsächlich haben muss.

Darum geht es
Drei Meldungen derselben Woche erzählen scheinbar von Fortschritt. Die Vereinten Nationen wollen Regeln für „Killerroboter“ ausarbeiten. US-Präsident Donald Trump und Chinas Staatschef Xi Jinping sollen sich darauf geeinigt haben, dass bei militärischen KI-Entscheidungen immer ein Mensch beteiligt ist. Und OpenAI arbeitet enger mit der NATO zusammen, bei klar definierten Grenzen, wie es heißt.
Wir haben die Formulierungen nebeneinandergelegt. Unsere These: Keine dieser Zusagen sagt, wie viel Kontrolle ein Mensch haben muss. Zwischen echter Abwägung und dem Abnicken eines Maschinenvorschlags in Sekunden passt alles hinein. Diese Lücke halten die Staaten nach unserer Einschätzung bewusst offen.
Acht Texte im Vergleich
| Dokument | Kernformulierung (übersetzt) | Verbindlich? | Was offen bleibt |
|---|---|---|---|
| Biden–Xi, Lima, 16.11.2024 (Protokoll des Weißen Hauses) | „Notwendigkeit, menschliche Kontrolle über die Entscheidung zum Einsatz von Atomwaffen zu bewahren“ | Nein, politische Absichtserklärung | Gilt nur für Atomwaffen |
| Trump–Xi, Shenzhen, 19.11.2026 (nur Bessent bei CNBC) | Menschen sollen „immer beteiligt sein“ an militärischen Entscheidungen der „SI“. Die SI soll bei „größeren militärischen Aktionen“ nicht autonom handeln dürfen | Nein, es gibt kein Dokument | Was „beteiligt“ und „größer“ bedeuten |
| Pentagon-Richtlinie 3000.09 (25.1.2023) | Systeme sollen „angemessene Ebenen menschlichen Urteilsvermögens über den Einsatz von Gewalt“ erlauben | Nur intern fürs Verteidigungsministerium | „Angemessen“ ist laut US-Weißbuch von 2018 bewusst „ein flexibler Begriff“ |
| China, CCW-Arbeitspapier 2022 | „Inakzeptabel“ ist eine Waffe nur, wenn sie alle fünf Merkmale zugleich erfüllt: tödlich, voll autonom ohne Eingriffsmöglichkeit, nicht abschaltbar, wahllos wirkend, sich unkontrolliert weiterentwickelnd | Nein, Positionspapier | Alles andere gilt als „akzeptabel“ |
| US-Erklärung zum verantwortungsvollen Militär-KI-Einsatz (2023) | „Verantwortliche menschliche Befehls- und Kontrollkette“, „angemessene, kontextbezogene Urteile“ | Nein, laut Text keine neuen Pflichten | Die Atomwaffen-Klausel des Entwurfs wurde gestrichen |
| Abschlussbericht der Genfer Expertengruppe (2026) | „Kontrolle und menschliches Urteilsvermögen“ sind nötig, auszuüben „direkt oder indirekt, auch durch Maßnahmen vor und/oder während des Einsatzes“ | Nein | Kontrolle vor dem Einsatz genügt |
| Beschluss der CCW-Konferenz, 21.11.2026 | Staaten starten die „Ausarbeitung eines internationalen Instruments“ innerhalb von zwei Jahren | Rechtsform offen | Statt „verhandeln“ heißt es „ausarbeiten“ |
| Vertrag OpenAI–Pentagon (Febr./März 2026) | Keine eigenständige Steuerung autonomer Waffen, „wo Gesetz, Vorschrift oder Ministeriumsrichtlinie menschliche Kontrolle verlangt“ | Vertraglich, Volltext nicht öffentlich | Siehe unten |
Die Kunst der unbestimmten Wörter
Die Tabelle zeigt ein Muster: Wo eine Zusage konkret wird, schrumpft ihr Geltungsbereich. Wo sie weit gefasst ist, wird sie vage.
Biden und Xi haben 2024 von „menschlicher Kontrolle“ gesprochen, aber nur über die Entscheidung zum Atomwaffeneinsatz. Bidens Sicherheitsberater Jake Sullivan räumte selbst ein, dass niemand die Kontrolle über Atomwaffen in absehbarer Zeit einer KI überlassen wolle. Die Zusage kostete also wenig.
Trump und Xi dehnen das auf alle militärischen KI-Entscheidungen aus, wenn man Bessent folgt. Dafür fehlt jedes Detail. Laut Reuters nannte der Finanzminister kein gemeinsames Dokument und keine Regeln dafür, welche Entscheidungen beim Menschen bleiben müssen. Bessent sprach von „SI“, dem Begriff der Regierung für Superintelligenz. Im chinesischen Protokoll des Treffens vom 19. November, veröffentlicht vom Außenministerium in Peking, sagt Xi nur, man solle KI-Sicherheitsrisiken vorbeugen und „sicherstellen, dass KI stets unter menschlicher Kontrolle bleibt“. Das Militär kommt darin nicht vor. Eine chinesische Bestätigung der militärischen Zusage haben wir nicht gefunden.
Unsere Einschätzung: Bessents zweiter Satz verdient genauere Lektüre. Wenn KI bei „größeren militärischen Aktionen“ nicht autonom handeln soll, bleibt die Frage nach allen kleineren offen. Gerade dort, bei der einzelnen Drohne oder dem einzelnen Ziel, liegt heute die Praxis.
Das Pentagon spricht seit 2012 von „angemessenem menschlichem Urteil“, nicht von Kontrolle. Laut Human Rights Watch verbietet die Neufassung von 2023 „nicht absolut die Entwicklung, Herstellung und Nutzung irgendeines autonomen Waffensystems“. Die vorgeschriebene Prüfung durch hohe Beamte kann bei „dringendem militärischem Bedarf“ entfallen. Die Richtlinie gilt außerdem nicht für die CIA. Diese Linie haben die USA auch in Genf verteidigt. Laut einer Analyse des Lieber Institute der Militärakademie West Point lehnte die US-Delegation im März 2026 den Begriff „menschliche Kontrolle“ ab und schlug stattdessen „menschliches Urteilsvermögen und Sorgfalt in gutem Glauben“ vor. Mehr als 70 Staaten hatten dagegen einen verbindlichen Kontrollstandard unterstützt.
China wirkt auf den ersten Blick strenger, weil es ein Verbot „inakzeptabler“ Waffen fordert. Die fünf Merkmale müssen aber alle gleichzeitig vorliegen. Eine Waffe, die sich nicht „unkontrolliert weiterentwickelt“ oder sich theoretisch abschalten lässt, fällt schon heraus. Gerald Mako schreibt beim Lieber Institute, Peking habe eine „bemerkenswert enge Linie“ gezogen, die viele neue autonome Fähigkeiten ausschließe. Seine Haltung nennt er „unbestreitbar bequem und mit wenig Risiko“. Einem verbindlichen Vertrag will China zustimmen, „wenn die Bedingungen reif sind“.
Die Genfer Expertengruppe hat sich nach drei Jahren auf „Kontrolle und menschliches Urteilsvermögen“ geeinigt. Laut einer Analyse auf Opinio Juris darf diese Kontrolle aber „direkt oder indirekt“ ausgeübt werden, „auch durch Maßnahmen vor und/oder während des Einsatzes“. Gestrichen wurden der Begriff „bedeutsame menschliche Kontrolle“ (meaningful human control, die Forderung des Roten Kreuzes und vieler Staaten), eine Begrenzung der Zahl autonomer Angriffe und Anforderungen an Vorhersagbarkeit und Erklärbarkeit. Unsere Einschätzung: Wer eine Waffe vor dem Start programmiert, übt nach diesem Text bereits „Kontrolle“ aus.
Genf: „ausarbeiten“ statt „verhandeln“
Die Überprüfungskonferenz des UN-Waffenübereinkommens CCW (ein Vertrag, der besonders grausame konventionelle Waffen beschränkt) tagte vom 16. bis 20. November im Palais des Nations. Sie endete erst am Samstag gegen 4:45 Uhr nach einer durchverhandelten Nacht. Konferenzpräsident Julien Thöni aus der Schweiz verkündete, die Staaten hätten vereinbart, „die Ausarbeitung eines internationalen Instruments“ zu tödlichen autonomen Waffen zu beginnen, und zwar „in den nächsten zwei Jahren“. Laut AFP hatten „einige Länder“ das Wort „verhandeln“ abgelehnt. Welche, sagte Thöni nicht. Den offiziellen Wortlaut (Dokument CCW/CONF.VII/11) gab es bei Redaktionsschluss noch nicht. Die Zitate stammen aus Agenturberichten.
Wer bremste, ist trotzdem gut belegt. Laut Reuters stellten sich die USA, Russland und Israel gegen verbindliche Regeln, obwohl rund 100 Staaten sie wollten. Russland blockierte schon am ersten Tag die Tagesordnung, weil zivilgesellschaftliche Beobachter nur in einer einzigen Sitzung sprechen sollten. Die Gespräche liefen danach informell und ohne UN-Fernsehen. Die USA hatten am 4. November ein Arbeitspapier vorgelegt. Darin forderten sie fünf weitere Jahre Expertenarbeit an einem unverbindlichen Instrument, Bericht erst 2031. Ihre Begründung: Das bestehende Kriegsvölkerrecht reiche aus, und autonome Funktionen könnten dessen Einhaltung sogar verbessern. Weil in der CCW das Konsensprinzip gilt, kann jeder einzelne Staat einen Beschluss verhindern.
Der Kompromiss ist kürzer als der US-Vorschlag, schließt dessen Kern aber nicht aus. Laut UN-Abrüstungschefin Izumi Nakamitsu ist ein rechtsverbindliches Instrument „weiterhin möglich“. Die Kampagne Stop Killer Robots nennt das Ergebnis ein „verwässertes Mandat“, Verity Coyle von Human Rights Watch nennt es „enttäuschend“. Neu ist das Wort übrigens nicht: Schon 2021 hatte die Konferenz laut HRW nur beschlossen, mögliche Maßnahmen „auszuarbeiten“.
Was die Praxis zeigt: Sekunden, 500 Meter, eine Schule
Formal war in allen folgenden Fällen ein Mensch beteiligt.
Lavender (Gaza): Laut +972 Magazine und Local Call vom April 2024 markierte das israelische System bis zu 37.000 Palästinenser als mutmaßliche Kämpfer. Die Armee habe gewusst, dass es in etwa zehn Prozent der Fälle irrt. Ein Offizier sagte, er habe „20 Sekunden für jedes Ziel“ aufgewendet, und weiter: „Wir haben nur geprüft, dass es ein Mann war.“ Die israelische Armee widerspricht dieser Darstellung und sagt, ihre Systeme seien Hilfsmittel für Analysten und träfen keine eigenständigen Zielentscheidungen. Beides zusammen zeigt das Problem: Nach allen hier verglichenen Texten wäre auch der 20-Sekunden-Ablauf „menschliche Beteiligung“.
Minab (Iran): Am ersten Tag des Iran-Kriegs im Februar 2026 trafen zwei Tomahawk-Raketen eine Grundschule. Mehr als 150 Menschen starben, darunter mindestens 123 Kinder. Gizmodo berief sich auf Bloomberg und eine unveröffentlichte Pentagon-Untersuchung. Demnach verließen sich Teile des Zentralkommandos zu sehr auf Palantirs Zielsystem Maven, das die Schule als Ziel für den ersten Tag empfahl. Die Teams zur Vermeidung ziviler Schäden waren um etwa 90 Prozent geschrumpft, beim Zentralkommando von zehn Leuten auf einen. Niemand aus diesen Teams hatte den Ort geprüft. Bei mehr als 1.000 Angriffen in den ersten 24 Stunden blieb kaum Zeit für Kontrollen. Palantir erklärt, es sei nicht für die zugrunde liegenden Daten verantwortlich.
Der Vals-Test: Der Prüfdienst Vals ließ große Sprachmodelle auf Satellitenbildern militärische Ziele auswählen. Laut Bloomberg wählte Claude Opus 5.5 die Schule in Minab in 22 von 32 Durchläufen, bei einem als „Spiel“ getarnten Szenario in 23. OpenAI-Modelle wählten sie zunächst nie, im Spiel-Szenario aber 9-, 11- und 13-mal. Laut IBTimes griff kein Sicherheitsfilter ein. Ob eines der Modelle beim echten Angriff beteiligt war, belegt der Test nicht, und der vollständige Bericht ist nicht öffentlich.
Ukraine: Hier sieht man, wie Autonomie schleichend kommt. Das Modul TFL-1 der Kiewer Firma The Fourth Law übernimmt auf den letzten rund 500 Metern die Steuerung der Drohne, laut Kyiv Post seit 2025 in Serie. Laut Kyiv Independent wählt der Pilot das Ziel im Videobild. Reißt die Funkverbindung durch Störsender ab, fliegt die Drohne allein weiter. Kateryna Bondar vom Thinktank CSIS sagt, die Unterscheidung zwischen Soldat und Zivilist sei „nicht gelöst“. Al Jazeera berichtete im September 2026 unter Berufung auf eine Analyse der New York Times von einer russischen Drohne, die ihr Ziel offenbar vollständig autonom fand und angriff. Die Forscherin Marina Miron sagt dazu:
„Unter Zeitdruck tun Kommandeure oft, was die KI vorschlägt.“
Dieses Phänomen heißt Automation Bias. Die US-Erklärung von 2023 will es zwar „verringern“, nennt aber keinen Maßstab dafür.
Wo OpenAI ins Bild passt
OpenAI hat der NATO-Agentur NCIA am 17. November Zugang zu Daybreak gegeben, seinem Werkzeug zur Cyberabwehr. Nach Firmenangaben verbraucht die NATO bis zu 300 Milliarden Tokens im Monat. CERT Polska fand damit sechs ausgenutzte Lücken in MikroTik-Routern. Das ist Verteidigung von IT-Systemen, keine Waffe. Die Vertragsbedingungen sind laut Fachberichten allerdings nicht öffentlich.
Aufschlussreicher ist OpenAIs Pentagon-Vertrag vom Februar 2026. Die Modelle sollen keine autonomen Waffen eigenständig steuern, „wo Gesetz, Vorschrift oder Ministeriumsrichtlinie menschliche Kontrolle verlangt“. Unsere Einschätzung: Die maßgebliche Richtlinie 3000.09 verlangt gerade keine „Kontrolle“, sondern nur „angemessenes Urteil“, und die US-Regierung hat den Kontrollbegriff in Genf ausdrücklich abgelehnt. Die Klausel verweist damit auf eine Pflicht, die es so nicht gibt. Die Forscherin Sarah Shoker sagte laut Built In, die Sprache sei darauf angelegt, der Führung „Optionen offenzuhalten“. OpenAI verweist zusätzlich darauf, dass die Modelle nur in der Cloud laufen und nicht auf Geräten an der Front.
Einordnung
Alle hier verglichenen Texte versprechen menschliche Beteiligung. Keiner legt fest, wie viel Zeit, Information und Vetomacht dieser Mensch haben muss, ob er eingreifen können muss oder ob eine Programmierung vor dem Start genügt. Das Rote Kreuz hat diese drei Fragen schon 2018 gestellt: Wie viel Aufsicht, wie viel Vorhersagbarkeit, welche Grenzen bei Ziel, Ort und Dauer? Beantwortet ist keine davon.
Unsere Einschätzung: Diese Lücke ist kein Versehen. Die USA wollen „Urteil“ statt „Kontrolle“, China definiert Verbote so eng, dass kaum etwas darunterfällt, Russland bremst das Verfahren aus, und die Trump-Xi-Absprache existiert bisher nur als Interview-Aussage. So kann jede Seite Verantwortung beteuern, ohne die eigene Rüstung zu beschränken. Für Minab und die Fälle aus der Lavender-Recherche gilt: Ein Mensch war beteiligt, und trotzdem starben Zivilisten in großer Zahl.
Bis 2028 soll die Genfer Expertengruppe nun ein Instrument ausarbeiten. Ob es mehr festlegt als die bisherigen Texte, hängt an einer einzigen Frage: Schreiben die Staaten erstmals hinein, was ein Mensch mindestens prüfen können muss, bevor eine Maschine tötet? Wenn nicht, bleiben 20 Sekunden ein regelkonformer Ablauf.
Quellen
- Streamlinefeed (AFP/Reuters): States launch two-year autonomous weapons process streamlinefeed.co.ke
- Yahoo News: Nations agree to ‘elaborate’ on rules for AI-run ‘killer robots’ by 2028 yahoo.com
- Dawn (AFP): Countries open path towards 'killer robots' pact dawn.com
- TRT World: UN agrees to pursue global rules on 'killer robots' trtworld.com
- TRT World: Rights groups slam Russia, US for blocking talks trtworld.com
- UK Stop Killer Robots: Russia stalls discussions (Day 1) ukstopkillerrobots.org.uk
- Stop Killer Robots: Analyse Chair-Mandat und US-Papier stopkillerrobots.org
- Newsweek: US Will Say ‘No’ To Global Ban on Killer Robots newsweek.com
- Human Rights Watch: Global Treaty Needed (12.11.2026) hrw.org
- Human Rights Watch: Killer Robots – Military Powers Stymie Ban (2021) hrw.org
- Reuters via Investing.com: Trump, Xi agreed that military AI decisions should involve humans investing.com
- Business Upturn: US and China draw line on military AI businessupturn.com
- TVBS: 川習同意重大軍事決策須有人類把關 news.tvbs.com.tw
- Außenministerium China: 习近平会见美国总统特朗普 mfa.gov.cn
- Weißes Haus (Archiv): Readout Biden–Xi, 16.11.2024 bidenwhitehouse.archives.gov
- NPR: Biden and Xi take a first step to limit AI and nuclear decisions npr.org
- Human Rights Watch: Review of the 2023 US Policy on Autonomy in Weapons Systems hrw.org
- Wikipedia: DoD Directive 3000.09 en.wikipedia.org
- Lieber Institute: Human Oversight with Chinese Characteristics lieber.westpoint.edu
- Lieber Institute: Human Responsibility Retained – U.S. Positions lieber.westpoint.edu
- Lieber Institute: The Political Declaration on Responsible Military Use of AI lieber.westpoint.edu
- Lawfare: The Next Step in Military AI Multilateralism lawfaremedia.org
- Wikipedia: Political Declaration on Responsible Military Use of AI and Autonomy en.wikipedia.org
- Opinio Juris: The Human Element in the GGE LAWS 2024-2026 Report opiniojuris.org
- Opinio Juris: Rolling Towards Consensus for the 2026 GGE LAWS Report opiniojuris.org
- IKRK: States must agree what human control means in practice icrc.org
- +972 Magazine: ‘Lavender’ – The AI machine directing Israel’s bombing spree 972mag.com
- Gizmodo: Pentagon investigators say overreliance on Palantir AI contributed to Minab strike gizmodo.com
- IBTimes: Claude marked an Iranian school as target in 69% of tests ibtimes.co.uk
- The Next Web: AI models flagged civilians as military targets in tests thenextweb.com
- Kyiv Post: Ukraine rolls out FPV drones with autonomous terminal guidance kyivpost.com
- Kyiv Independent: Ukraine is autonomizing more of its drones kyivindependent.com
- Al Jazeera: ‘Attacks will be fully autonomous’ aljazeera.com
- OpenAI: Our agreement with the Department of War openai.com
- Built In: OpenAI’s Pentagon AI Deal – What the Contract Allows builtin.com
- The Decoder: OpenAI opens Daybreak to NATO and European governments the-decoder.com
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.