Nvidia Cosmos 3: Vier offene Weltmodelle simulieren Straßenverkehr und Roboterarme

Worum es geht

Nvidia hat am 5. November 2026 vier neue Modelle für seine Plattform Cosmos veröffentlicht. Cosmos ist Nvidias Sammlung von sogenannten Weltmodellen. Das sind KI-Systeme, die vorhersagen, wie sich eine Szene in der realen Welt entwickelt, etwa wenn ein Auto abbiegt oder ein Roboterarm nach einem Gegenstand greift. Die vier neuen Checkpoints (also fertig trainierte Modellstände) gehören zur Familie Cosmos 3 und sind nachtrainierte Ableger des Basismodells Cosmos 3 Nano. Jedes hat 16 Milliarden trainierbare Parameter.

Die Gewichte stehen auf Hugging Face zum Download bereit. Die Lizenz OpenMDW 1.1 erlaubt laut Nvidia kommerzielle und nicht-kommerzielle Nutzung im Rahmen ihrer Bedingungen. Dazu gibt es einen technischen Bericht, Demos, Notebooks und sogenannte Agent-Skills, also Anleitungen, die ein KI-Coding-Assistent abarbeiten kann, um die Modelle zu starten.

Die vier Modelle im Überblick:

Wofür man so etwas braucht

Roboter und selbstfahrende Autos lernen mit Daten. Gefährliche oder seltene Situationen, etwa eine nächtliche Fahrt bei Starkregen, will aber niemand hundertfach auf echten Straßen nachstellen. Weltmodelle sollen solche Situationen glaubwürdig erzeugen. Die Steuerungssoftware eines Roboters oder Autos, im Fachjargon Policy genannt, lässt sich dann in der Simulation trainieren und testen, bevor sie auf echte Hardware kommt.

Beim autonomen Fahren müssen Aussehen und Geometrie zusammenpassen. Wenn die Kamera ein Auto zeigt, muss der LiDAR-Sensor (ein Laserscanner, der Abstände misst und daraus eine 3D-Punktwolke erstellt) dieses Auto an derselben Stelle sehen. Deshalb erzeugen die Auto-Modelle beides synchron. Über Steuerelemente für Szene und Ampeln können Forscher Straßenverläufe und Signalzustände verändern und beobachten, wie die Fahrsoftware darauf reagiert.

Die Auto-Modelle: von Offline-Daten zur Live-Simulation

Transfer-Auto ist ein sogenanntes bidirektionales Modell. Es bearbeitet einen ganzen Clip auf einmal und darf dabei auch „in die Zukunft“ schauen. Das macht es präzise, aber nicht interaktiv. Es erzeugt synchronisierte Videos aus bis zu 11 Kameraperspektiven, darunter Fischaugen-Kameras, und auf Wunsch LiDAR-Daten dazu. Gesteuert wird es über World Scenario Maps (WSM), also Karten pro Kamera, die Straßenaufbau und Verkehrsbewegung festlegen. Ein Textprompt bestimmt das Aussehen: Wetter, Licht, Tageszeit. Optional verankern echte Startbilder das Aussehen der Szene. Für LiDAR kommen zusätzlich Steuerdaten aus hochauflösenden Karten (HD-Maps) hinzu.

Laut Nvidias Entwicklerblog vom 2. November, über den blockchain.news berichtet, verarbeitet Transfer-Auto Video mit 30 Bildern pro Sekunde, bis zu 400 Bilder in 480p oder 720p. Längere Sequenzen entstehen, indem das Modell Stück für Stück weiterrechnet. Ein Referenzlauf liefert sieben 720p-Videos mit je 297 Bildern sowie 99 LiDAR-Scans.

Sim-Auto ist die Streaming-Version davon. Nvidia hat Transfer-Auto per Destillation verkleinert, also ein schnelleres „Schüler“-Modell von einem langsameren „Lehrer“ lernen lassen. Sim-Auto erzeugt kleine, aufeinanderfolgende Stücke aus Kamera- und LiDAR-Daten in nur wenigen Rechenschritten. Dabei nutzt es seine eigene bisherige Ausgabe als Gedächtnis und berücksichtigt aktualisierte Fahrbefehle. Ein echter geschlossener Kreislauf, bei dem die Fahrsoftware lenkt und das Modell die nächsten Bilder liefert, braucht aber zusätzlich eine Simulationsumgebung und einen WSM-Renderer. Den liefert das Modell nicht selbst mit.

Nvidia empfiehlt einen festen Weg: Wer eigene Kameraanordnungen oder LiDAR-Sensoren hat, trainiert zuerst Transfer-Auto mit eigenen Daten nach und destilliert es danach zu einer eigenen Sim-Auto-Variante.

Die Robotik-Modelle: zwei gegensätzliche Ansätze

Sim-Transfer simuliert selbst keine Physik. Ein klassischer Physiksimulator berechnet Bewegungen, Kontakte und Zustände. Sim-Transfer nimmt dessen räumliche Hilfsdaten und macht daraus fotorealistische Bilder, die eine Robotersoftware verarbeiten kann. Als Steuerdaten dienen Tiefenkarten (Abstand zur Kamera), Segmentierung (welche Bildbereiche zu welchem Objekt gehören), Kanten (Umrisse) und eine verwaschene Grobvorlage für Layout und Aussehen. Der Text bestimmt den Look, die physikalische Wahrheit bleibt beim Simulator.

Sim-Bimanual geht den umgekehrten Weg und erzeugt das nächste Bild direkt aus Szene und Roboterbewegung, ganz ohne Simulator dazwischen. Es unterstützt zweiarmige Roboter der Typen YAM und AgiBot. Gesteuert wird per Policy oder von Menschen mit Joysticks. Man startet mit einem Bild, bewegt Roboter oder Kamera und bekommt die folgenden Bilder vorhergesagt. Eine Steuersequenz kann dabei zwischen Kameraschwenks und Greifbewegungen wechseln. Das Beispiel nutzt 59 Steuerwerte, die im Training auf 64 aufgefüllt wurden. Ein veröffentlichtes Schema legt Koordinatensysteme, Drehungen, Greifer-Kalibrierung und Wertebereiche fest. Wichtig ist das Timing: Für T Bewegungsschritte braucht man T+1 Bilder.

So funktioniert das Streaming

Cosmos 3 basiert auf einer Mixture-of-Transformers-Architektur: Getrennte Netze für Textverarbeitung und Bilderzeugung sind über Attention verbunden, also über den Mechanismus, mit dem ein Modell entscheidet, welche Informationen gerade wichtig sind. Das Modell arbeitet mit Latents, komprimierten Videodarstellungen. Nach dem Startbild steht jeder Latent-Zeitschritt für vier echte Videobilder.

Der Ablauf: Steuerdaten und bisheriger Verlauf gehen rein, das Modell erzeugt einen kurzen Abschnitt, dieser wird zu Bildern dekodiert und landet im Verlauf. Beim Denoising, dem schrittweisen Entrauschen, wird aus verrauschten Daten ein sauberer Abschnitt. Eine zeitlich-kausale Attention sorgt dafür, dass das Modell nur Vergangenes sieht und nicht in die Zukunft blickt. Ein Key/Value-Cache speichert Zwischenergebnisse, damit sie nicht jedes Mal neu berechnet werden müssen. Je kleiner die Abschnitte, desto öfter können neue Befehle einfließen.

Das Training läuft in vier Stufen:

• Stufe 0: Das Modell lernt anhand kompletter Clips die neue Domäne kennen.
• Stufe 1 (Teacher Forcing): Es sagt jeden Abschnitt aus echten früheren Aufnahmen voraus.
• Stufe 2 (Konsistenz-Destillation): Ein eingefrorenes Lehrermodell trainiert einen Schüler, der mit vier Entrauschungsschritten auskommt.
• Stufe 3 (Self-Forcing): Der Schüler trainiert auf seiner eigenen, selbst erzeugten Vorgeschichte.

Die letzte Stufe ist entscheidend. Ein leicht falsch vorhergesagtes Objekt wird zur Grundlage aller folgenden Bilder, sodass sich Fehler aufschaukeln. Self-Forcing konfrontiert das Modell schon im Training mit diesem Problem. Nvidia betont außerdem: Ein erfolgreicher kurzer Trainingslauf beweist nur, dass der Code läuft, nicht, dass das Modell etwas Gutes gelernt hat.

Was du zum Ausprobieren brauchst

Das ist kein Modell für den Gaming-PC. Nvidia nennt Linux, eine Nvidia-Grafikkarte, Docker und das NVIDIA Container Toolkit als Voraussetzungen. Das veröffentlichte Setup mit vLLM-Omni wurde auf einer einzelnen GB200 getestet, einem Rechenzentrumschip. Nvidia betont, dass das keine Mindestanforderung ist. Laut der Speichertabelle, über die blockchain.news berichtet, braucht Cosmos3-Nano für die Videoerzeugung 58 GiB Grafikspeicher in BF16, 44 GiB in FP8 (gröber gespeicherte Zahlen) und 31 GiB mit FP8 plus Auslagerung in den Arbeitsspeicher. Realistisch heißt das: Profi-Karten mit 48 GB oder mehr oder ein gemieteter Cloud-Server. Eine RTX 4090 mit 24 GB reicht nach diesen Angaben nicht. Auf dem Mac oder nur mit CPU läuft es nicht, für das kostenlose Google Colab ist es zu groß. Wer nur etwas Kleines lokal laufen lassen will, ist laut Pulse 2.0 mit dem ebenfalls angekündigten Cosmos 3 Edge (4 Milliarden Parameter, für Jetson Thor) besser bedient.

Das größere Paket

Die Modelle gehören zu einer größeren Ankündigung, die Nvidia laut DotAI Times auf der GTC Berlin gemacht hat. Dazu zählen das Cosmos Framework für Training, Reinforcement Learning und Optimierung, das auch fremde Modelle wie GR00T, Qwen oder pi0.5 unterstützt, sowie die Cosmos Data Factory mit fünf Blueprints für synthetische Daten. Die überarbeiteten Cosmos-NIM-Microservices sollen laut Nvidia bis zu doppelt so schnell rechnen. Als Praxisbeispiele nennt Nvidia Porsche, das reale Testfahrten um bis zu 90 Prozent reduzieren will, und Siemens mit 40 Prozent weniger Kalibrierzeit bei der Platineninspektion. DotAI Times weist darauf hin, dass das Einzelfälle sind und sich nicht ohne Weiteres übertragen lassen.

Einordnung

Die vier Checkpoints sind keine spektakulären Showmodelle, sondern Werkzeuge für Fachleute aus Robotik und Fahrzeugentwicklung. Interessant ist die Offenheit: Neben den Gewichten veröffentlicht Nvidia auch die kompletten Nachtrainings-Rezepte. Das senkt die Einstiegshürde für Firmen und Forschungsgruppen, die sich eigene Simulationen nicht von Grund auf aufbauen können. Gleichzeitig passt das zu Nvidias Strategie: Offene Modelle, die am besten auf Nvidia-Hardware laufen, verkaufen Grafikkarten.

Kritisch bleibt die Kernfrage, die Nvidia selbst offen benennt: Wie gut trägt eine generierte Welt wirklich, wenn man damit Roboter oder Autos trainiert und bewertet? Belastbare unabhängige Messungen dazu fehlen bisher. Für Privatnutzer ist das Ganze wegen des Speicherbedarfs von mehr als 30 GB kaum nutzbar.