NVIDIA erweitert Cosmos: Werkzeuge für Training und Test von Weltmodellen

Worum es geht

NVIDIA hat am 22. Oktober 2026 die Cosmos-Plattform erweitert, die Entwickler beim Bau von Weltmodellen unterstützt. Weltmodelle sind KI-Systeme, die die reale Welt verstehen und simulieren und damit „physische KI“ wie Roboter, autonome Fahrzeuge oder Videoanalyse-Systeme antreiben. Neu sind Trainingswerkzeuge, Simulations-Checkpoints (gespeicherte Modellstände) und Blueprints (Bauvorlagen) für die Cosmos Data Factory. Alle Angaben stammen von NVIDIA; Beispiele von Kunden sind Herstellerangaben. NVIDIA nennt die Plattform modular und offen und gibt an, mit ihren offenen Modellen auf sechs offenen Ranglisten unter den Top 5 zu liegen.

Bessere Trainingsdaten: Cosmos Data Factory

Weltmodelle brauchen multimodale, multisensorische Daten, also etwa Video kombiniert mit weiteren Sensoren. Die Data Factory bündelt Werkzeuge zum Beschriften, Aufbereiten, Erweitern und Bewerten solcher Daten und arbeitet mit „agentischen Skills“, also Fähigkeiten, die KI-Agenten selbst nutzen können. Cosmos Curator, eine GPU-beschleunigte Lösung zur Kuratierung von Video-Datensätzen, unterstützt nun multimodale, multisensorische Eingaben.

Die fünf Cloud-Blueprints (über GitHub, Microsoft Azure, Nebius und CoreWeave):

• Autonomous Vehicle Dataset Generation: kuratiert und beschriftet Fahrdaten und ergänzt synthetische Beispiele schwer erfassbarer Szenarien.
• Image Attribute Augmentation: variiert das Aussehen von Objekten, um die Bildsuche zu verbessern.
• Event Video Generation: macht aus Standbildern synthetische Videos seltener oder gefährlicher Ereignisse.
• Defect Image Generation: erzeugt Fehlerbilder von Leiterplatten, Metall und Glas für Prüfmodelle.
• Video Data Augmentation: ändert Wetter und Licht in vorhandenem Material, ohne die Szenenstruktur zu verändern.

Erste Anwender laut NVIDIA: Porsche baut über Voxel51 auf Microsoft Azure einen gemeinsamen Daten-Kreislauf („Data Flywheel“) für Marken des Volkswagen-Konzerns auf; erwartet werden bis zu 90 % weniger wiederholte Testfahrten und bis zu 85 % kürzere Entwicklungszyklen. ANYbotics erzeugte über 1.500 synthetische Videoclips, um Inspektionsroboter etwa Flüssigkeitslachen erkennen zu lassen. Ultralytics trainierte sein YOLO-Modell mit echten Bildern und gezielt erzeugten Defekten neu und verbesserte Lokalisierung und Recall (Trefferquote).

Modelle trainieren, anpassen und optimieren

Auf der GTC Berlin weitete NVIDIA die Cosmos-Framework-Werkzeuge für Training, Optimierung und Deployment als Agent Skills auf weitere offene Modelle aus, zusammen mit Cosmos 3. Entwickler und Agenten können Modelle wie GR00T, Alpamayo, Qwen, Pi0.5 und andere kompatible Hugging-Face-Modelle per Fine-Tuning und Reinforcement Learning anpassen, per Destillation (Wissen eines großen Modells auf ein kleines übertragen) und Quantisierung (geringere Zahlengenauigkeit für weniger Speicher) optimieren und mit schneller Inferenz bereitstellen.

Das Forschungslabor MicroAGI trainierte Cosmos 3 mit Videos von Menschen beim Hantieren mit Objekten nach und destillierte seinen 32-Milliarden-Parameter-Reasoner auf ein Nano-Modell mit 8 Milliarden Parametern – laut NVIDIA ohne Genauigkeitsverlust. Über Roboflow lassen sich Daten beschriften und Cosmos 3 für eigene Umgebungen nachtrainieren, anschließend auf Roboflow-Hosting oder lokalen NVIDIA-GPUs für Fabriken und Lager einsetzen.

Test und Geschwindigkeit

Neue Cosmos-3-Nano-Varianten für Simulation sollen Tests autonomer Policies (Steuerungsstrategien) in wiederholbaren, schwer erfassbaren Szenarien mit mehreren Kameraperspektiven und Sensoren erlauben. Begleitender Code ermöglicht es, die Modelle anzupassen, um Policies für autonome Fahrzeuge und zweiarmige Roboter in interaktiven Simulationen zu trainieren und zu bewerten, bevor es in die Realität geht.

Die aktualisierten Cosmos-3-NIM-Microservices (vorgepackte Inferenz-Container) liefern laut NVIDIA bis zu doppelt so schnelle Inferenz ohne Qualitätsverlust in validierten Konfigurationen; kontinuierliche Videoanalyse ermöglicht Alarme in unter einer Sekunde. Das neue Metropolis-Blueprint für Videosuche und -zusammenfassung (VSS 3.3) baut auf den NIMs auf, macht aus einem Prompt eine Video-KI-Anwendung und soll 40 % mehr Videostreams pro GPU erlauben. ADNOC nutzt Fogsphere MistIQ, gebaut mit Cosmos und dem VSS-Blueprint, um Sicherheitsrisiken in Echtzeit an 65 Standorten zu erkennen; seltene Ereignisse werden über synthetische Daten trainiert, ohne Gefahrensituationen real nachzustellen.

Einordnung

Die Meldung ist vor allem ein Werkzeug- und Ökosystem-Update: NVIDIA positioniert Cosmos als durchgängige Pipeline von Daten über Training bis Deployment, eng verzahnt mit eigener Hardware und Partnern in der Cloud. Für Robotik- und Fahrzeugteams kann synthetische Datenerzeugung teure Realtests ersetzen. Kritisch: Die Zahlen (90 %, 85 %, 2x, 40 %) sind Herstellerangaben oder Erwartungen ohne unabhängige Überprüfung, und „ohne Verlust“ gilt nur für validierte Konfigurationen. Ein ergänzender Bericht von blockchain.news verweist auf bekannte Grenzen von Weltmodellen wie zeitliche Inkonsistenz, sich verformende Objekte und unplausible Dynamik, weshalb sicherheitskritische Einsätze zusätzliche Validierung brauchen. Konkrete Preise oder neue Modellgewichte nennt die Quelle nicht.