RL-Umgebungen: Die KI-Übungswelten, die US-Firmen ungehindert nach China verkaufen

Darum geht es

Wenn Nvidia einen Chip nach China liefern will, ist klar, was über die Grenze geht: ein Bauteil mit Typennummer, das auf einer Exportliste steht. Bei der Ware, um die es heute geht, wissen selbst viele Fachleute nicht genau, was das ist. Es geht um sogenannte RL-Umgebungen, also Übungswelten, in denen KI-Modelle per Reinforcement Learning trainiert werden. Reinforcement Learning heißt Lernen durch Versuch, Irrtum und Belohnung.

Der Newsletter ChinaTalk hat am 11. November 2026 aufgeschlüsselt, welche US-Datenfirmen solche Umgebungen an chinesische KI-Labore verkaufen. Unsere These: Der eigentliche Rohstoff im Wettrennen um KI-Agenten sind nicht mehr nur Chips oder Textdaten. Es sind gebaute Übungswelten mit eingebautem Prüfer. Und die gehen heute weitgehend ungeregelt über die Grenze.

Was in so einem Paket steckt

Epoch AI hat für eine Übersicht 18 Leute aus Umgebungs-Startups und KI-Laboren befragt. Demnach besteht eine RL-Umgebung aus drei Teilen:

1. Die Welt. Das ist meist ein Docker-Container, also eine abgeschlossene Software-Kiste, die auf jedem Server gleich startet. Darin läuft eine nachgebaute App oder ein Git-Repository mit echtem Code. Epoch nennt als Beispiele Klone von Airbnb, Excel, Slack, SAP oder einem Bloomberg-Terminal.
2. Die Aufgaben. Das sind konkrete Aufträge, etwa „Finde das günstigste Zwei-Zimmer-Inserat in Stadt X für diese Daten“ im Airbnb-Klon. Oder „Berechne die durchschnittliche jährliche Wachstumsrate über fünf Jahre für diese Firmenliste“ im Bloomberg-Klon. Oder „Erstelle eine Pivot-Tabelle mit dem Umsatz nach Region“ in Excel. Beim Git-Repo lautet der Auftrag: „Behebe den Fehler, sodass die fehlschlagenden Tests durchlaufen.“
3. Der Prüfer. Er bewertet jeden Lösungsversuch automatisch. Das sind entweder Unit-Tests (kleine Programme, die prüfen, ob der Code tut, was er soll) oder ein anderes Sprachmodell, das das Ergebnis nach einer Bewertungsliste benotet.

Wie konkret das in der Praxis aussieht, zeigt eine Stellenanzeige des chinesischen Labors StepFun, die ChinaTalk zitiert. Als Lieferumfang wird dort verlangt: „Repo, Docker, Aufgabe, Lösungsweg, Belohnung, Bewertungsliste, Verifikation“. Bei Programmier-Umgebungen nehmen Anbieter oft echte Firmen-Repositories, samt der Fehler und der Korrekturen, die die Entwickler damals gemacht haben. Die Bewertungslisten für Wissensarbeit schreiben laut ChinaTalk teils Fachleute wie „McKinsey-Berater und professionelle Designer“.

Das Training läuft dann so: Das Modell versucht eine Aufgabe dutzendfach. Jeder dieser Durchläufe heißt Rollout. Der Prüfer vergibt Punkte, und erfolgreiche Strategien werden verstärkt. Die Aufgaben müssen dabei genau richtig schwer sein. Gelingt nichts oder alles, lernt das Modell nichts. Laut Epoch sollte mindestens ein Versuch von 64 oder 128 klappen, also etwa 2 bis 3 Prozent. Aufgaben, die das Modell zu rund 70 Prozent schafft, werden oft aussortiert.

Das wichtigste Qualitätsmerkmal ist laut den Befragten der Schutz gegen Reward Hacking. Damit ist gemeint, dass das Modell den Prüfer austrickst, statt die Aufgabe zu lösen. Zwei Beispiele von Epoch: Das Modell sucht die Lösung im Internet. Oder es holt sich im Git-Repo einfach spätere Versionen, in denen der Fehler schon behoben ist.

Warum gerade das den Leistungssprung bringt

Lange galt die Regel: mehr Text und mehr Rechenleistung beim Vortraining ergeben bessere Modelle. Laut SemiAnalysis hat OpenAI aber über o1, o3 und die GPT-5-Reihe hinweg dasselbe Basismodell genutzt. Die Fortschritte in diesen 18 Monaten kamen aus dem Nachtraining, vor allem aus mehr Rechenleistung für RL. Für das Vortraining gab es das Internet. Ein vergleichbares Reservoir für RL „ist noch nicht geschaffen“, schreibt SemiAnalysis. Die Aufgaben werden deshalb meist von Hand gebaut.

Die Alternative heißt Distillation. Dabei lernt ein Modell aus den Antworten eines stärkeren Modells, ähnlich wie beim Abschreiben einer Musterlösung. Verwandt damit ist das überwachte Feintuning (SFT) auf fertigen Beispiel-Lösungen. Epoch berichtet, dass Labore mit Rückstand eher auf SFT setzen als auf RL. ByteDance-Gründer Zhang Yiming hat seine Leute laut Bloomberg erneut angewiesen, auf Distillation zu verzichten. Daten nannte er dabei die oberste Priorität: Der Trainingsdatensatz des hauseigenen Seed-Modells sei deutlich kleiner als bei der internationalen Konkurrenz.

Wie viel RL bringt, zeigt Xiaomis Bericht zu MiMo-V2.6. Nach einer kurzen SFT-Phase stieg der Wert im Programmier-Benchmark DeepSWE durch RL laut Xiaomi bei der Pro-Variante von 58,4 auf 72,6 Punkte. Bei Flash ging es von 48,8 auf 65,7. Die RL-Phase kostete nach Herstellerangabe rund 2,6 Millionen bzw. 0,85 Millionen Dollar. Gut zwei Drittel der Aufgaben betrafen Programmieren. Eine Einschränkung gibt es: Weder Xiaomi noch Mistral bei Mistral Large 4 trennen sauber auf, wie viel Leistung aus RL und wie viel aus SFT stammt. Mistral sagt nur, beide Phasen verbesserten die Ergebnisse. Dass RL „den letzten Sprung“ bringt, ist also gut begründet, aber nicht exakt beziffert.

Was das kostet

Nachgerechnet: Ein einzelner Slack-Klon kostet etwa ein Neuntel dessen, was Xiaomi für die gesamte RL-Phase von MiMo-V2.6-Pro an Rechenzeit angibt. OpenAI soll laut SemiAnalysis „Hunderte Websites“ für ChatGPT Agent gekauft haben. Und eine billige, schlecht gebaute Aufgabe verbrennt pro Stück etwa die von Mechanize geschätzten 2.400 Dollar Rechenzeit, ohne dass das Modell etwas lernt.

Die Exklusiv-Prämie erklärt das Geschäft mit China. Wer nicht exklusiv kauft, bekommt ein Produkt, das der Anbieter mehrfach verkaufen darf. Surge AI wirbt laut ChinaTalk offen mit „RL-Umgebungen, gebaut von denselben Experten, die hinter unserer Arbeit für Frontier-Labore stehen“. Die Autoren berichten außerdem, sie hätten von Produkten gehört, die für das Tausendfache ihrer Herstellungskosten verkauft wurden.

Wer an wen verkauft

Die Summe von rund einer halben Milliarde Dollar stammt aus einer Forbes-Recherche vom August 2026. Sie ist eine Schätzung dafür, was die sechs größten chinesischen Labore im Jahr bei US-Datenfirmen ausgeben, und umfasst alle Datenarten, nicht nur Umgebungen. Laut Forbes kamen etwa 2 Prozent von Mercors Umsatz im zweiten Quartal aus China. Bei einer Jahresrate von über 2 Milliarden Dollar wären das grob 40 Millionen Dollar im Jahr; das ist unsere Überschlagsrechnung. AfterQuery soll mindestens 50 Millionen Dollar wiederkehrenden Umsatz mit chinesischen Laboren machen, laut ChinaTalk die Hälfte seines Jahresumsatzes. Surge und AfterQuery äußern sich nicht zu Kunden. Scale, micro1 und Fleet erklären öffentlich, auf China-Geschäft zu verzichten.

Wichtig ist auch Mercors Regeländerung vom Mai 2026, die ChinaTalk mit archivierten Versionen der Länderliste belegt. Bis dahin zählte, wem ein Kunde gehört. Seitdem zählt, wo er sitzt. Unsere Einschätzung: Damit kann ein Labor in chinesischem Besitz grundsätzlich über einen Standort außerhalb Chinas Kunde werden.

Warum keine Exportkontrolle greift

Laut ChinaTalk laufen die Geschäfte über Konstruktionen, die keine Behörde sieht. Die Daten-Einkaufsbüros von ByteDance sitzen in Singapur und San José. Die Anbieter geben Arbeit an Subunternehmer in Indien und anderen Niedriglohnländern weiter. Projekte laufen unter Codenamen, sodass die Auftragnehmer den Endkunden oft nicht kennen. Diese Verträge halten die Geschäfte nach den Worten der Autoren „aus chinesischen Beschaffungsunterlagen und den meisten US-Regeln heraus“.

Die bestehenden US-Regeln zielen auf personenbezogene Daten: das Data Security Program des Justizministeriums, das Gesetz PADFAA, das den Verkauf persönlicher Daten von US-Bürgern an gegnerische Staaten beschränkt, und Gesetze der Bundesstaaten zu Gesundheitsdaten. Ein nachgebautes Excel mit Pivot-Aufgabe enthält aber keine Personendaten. Erfasst sind nur Käufer auf der Entity List, der US-Sperrliste für bestimmte ausländische Firmen. ChinaTalk nennt Zhipu (Z.ai) als Beispiel, schreibt aber auch, dass eine nicht gelistete Tochter außerhalb Chinas die Liste umgehen kann. Das Fazit der Autoren: „Rechtlich beschränken kaum Regeln diese Verkäufe.“

Die Autoren schlagen drei Dinge vor. Erstens soll die Exportbehörde BIS Umgebungen mit doppeltem Verwendungszweck, etwa für Chipdesign, Cyberangriffe oder Biowaffen, unter bestehende Regeln stellen. Zweitens soll das Verteidigungsministerium seinen Lieferanten den Verkauf an bedenkliche Labore untersagen. Drittens sollen Behörden überhaupt erst Daten über die Branche sammeln. Die Lobbygruppe CASE fordert ähnliche Schritte und weist darauf hin, dass Surge auch für die US Air Force und Army arbeitet, während Tencent 2025 vom Pentagon als chinesisches Militärunternehmen eingestuft wurde. Tencent bestreitet das. Ein Satz aus dem CASE-Bericht:

„Was früher gestohlen werden musste, kann zunehmend gekauft werden.“

Die Gegenprobe: offene Umgebungen zum Selbstansehen

Wie unscheinbar so eine Übungswelt ist, kannst du selbst nachprüfen. Prime Intellects Environments Hub hatte nach Firmenangaben im Juni 2026 über 2.500 offene Umgebungen von mehr als 400 Beitragenden. Ein kleines Beispiel ist „alphabet-sort“. Das Modell soll über mehrere Gesprächsrunden eine Namensliste alphabetisch sortiert halten. Der Prüfer misst mit Pythons difflib, wie nah die Antwort an der richtigen Reihenfolge liegt, und nimmt den Wert hoch vier, damit ungenaue Antworten hart bestraft werden. GPT-4.1-mini kam dort laut einem Hugging-Face-Blog auf durchschnittlich 0,98 Punkte, das kleine Qwen3-0.6B auf 0,40. Die Programmbibliothek dahinter, verifiers, steht unter MIT-Lizenz.

OpenEnv von Meta und Hugging Face, gestartet im Oktober 2025, verpackt jede Umgebung als Docker-Image mit drei Befehlen: reset(), step() und state(). Der Katalog umfasst mehr als 40 Umgebungen, von Wordle über Browser-Aufgaben bis zu Programmier-Sandkästen. Xiaomi wiederum hat zu MiMo-V2.6 nach eigenen Angaben über 7.000 RL-Umgebungen samt Prüfern offengelegt. Ausgerechnet ein chinesisches Labor macht also öffentlich, was US-Firmen verkaufen.

Einordnung

Die Geschichte passt zu einem größeren Muster: Wer Agenten bauen will, braucht realistische Arbeitsabläufe. Google zahlt 10 Millionen Dollar für 500 Millionen Teams-Chats und 100 Millionen E-Mails der Pleite-Airline Spirit. Die App Arca bezahlt Nutzer für Protokolle ihrer KI-Sitzungen. Und chinesische Labore kaufen Übungswelten in Kalifornien.

Unsere Einschätzung: Die These vom neuen Rohstoff ist gut begründet, aber mit Vorbehalten. Erstens beruhen viele Kundenzuordnungen auf anonymen Quellen. Zweitens ist die halbe Milliarde eine Forbes-Schätzung für alle Daten. Drittens nennen die ChinaTalk-Autoren selbst Gegenargumente: Chinesische Labore liegen ohnehin Monate zurück, weil sie auf Käufe warten müssen. Westliche Slack-Klone helfen wenig bei Feishu oder Baidu. Exklusive Umgebungen werden gar nicht weiterverkauft. Und ein offener, internationaler Markt führe „wahrscheinlich zu besseren Modellen“.

Kritiker wie Chakra Labs gehen noch weiter: Gekauft würden eigentlich nicht die Welten, sondern gute, schwer auszutricksende Aufgaben. Das stützt die Kernthese eher. Der Wert steckt im Prüfer und in der Aufgabe, nicht im Container. Offen bleibt, ob Washington eine Ware regulieren kann, die man als Dienstleistung über Singapur bestellt, von Subunternehmern in Indien bauen lässt und als ZIP-Datei verschickt. Bei Chips dauerte es Jahre, bis die Regeln standen. Bei Übungswelten hat die Debatte gerade erst angefangen.