Nvidia Lyra 2.0: Aus einem einzigen Foto wird eine begehbare 3D-Welt

Worum es geht

Nvidia hat Lyra 2.0 vorgestellt. Das Forschungssystem macht aus einem einzigen Foto eine 3D-Umgebung, die man erkunden kann. Du bist also nicht an den Bildausschnitt gebunden: Du kannst die virtuelle Kamera selbst durch die Szene steuern, um Ecken schauen und an Orte zurückkehren, an denen du schon warst. Die Welt bleibt dabei stimmig. Entwickelt wurde Lyra 2.0 vom Spatial Intelligence Lab (SIL) bei Nvidia.

Ganz neu ist das System nicht. Laut dem GitHub-Repository wurde Lyra 2.0 am 15. April 2026 veröffentlicht, das Paper steht auf arXiv (2604.13036). Am 20. Juli 2026 folgten eine grafische Oberfläche (GUI) und der Trainingscode. Laut Wccftech stellt Nvidia die Technik jetzt vor der Fachkonferenz SIGGRAPH Asia 2026 wieder in den Vordergrund. Der Code liegt unter github.com/nv-tlabs/lyra, die Gewichte auf Hugging Face. Für die Gewichte gilt allerdings eine Nvidia-Lizenz, die nur Forschung erlaubt.

Lyra 2.0 ist der Nachfolger von Lyra 1.0 vom September 2025. Lyra 1.0 erzeugte 3D- und 4D-Szenen aus einem Bild oder Video und wurde auf der Konferenz ICLR 2026 vorgestellt.

Das Problem: KI-Welten vergessen und verrutschen

Gewöhnliche Bild-zu-Video-Generatoren erzeugen einen festen Clip, auf den du keinen Einfluss hast. Bei Lyra 2.0 bestimmst du den Kamerapfad selbst, und das System erzeugt Stück für Stück neue Ansichten, während du dich bewegst. Laut The Decoder scheitern bisherige Modelle genau hier an zwei Dingen:

• Räumliches Vergessen (spatial forgetting): Sobald ein Bereich aus dem Bild verschwindet, vergisst das Modell ihn. Kehrt die Kamera zurück, erfindet es die Umgebung neu. Aus dem Sofa wird dann plötzlich ein Schrank.
• Zeitliches Abdriften (temporal drifting): Das Video entsteht Schritt für Schritt, und kleine Fehler bei Farben und Formen summieren sich. Je weiter sich die Kamera vom Startpunkt entfernt, desto stärker verzerrt sich die Szene.

Wie Lyra 2.0 das löst

Gegen das Vergessen bekommt Lyra 2.0 ein räumliches Gedächtnis. Zu jedem erzeugten Bild speichert das System die 3D-Geometrie, also wo im Raum sich was befindet. Bewegt sich die Kamera auf einen bekannten Bereich zu, holt es die passenden früheren Bilder hervor und nutzt deren räumliche Informationen als Vorlage. Laut The Decoder zeichnet das Videomodell die neuen Bilder aber weiterhin selbst. So landen Fehler in der gespeicherten Geometrie nicht direkt im neuen Bild.

Gegen das Abdriften setzen die Forscher auf einen Trainingskniff. Das Modell bekommt im Training absichtlich seine eigenen, fehlerhaften Ergebnisse zu sehen. So lernt es, nachlassende Qualität zu erkennen und zu korrigieren, statt die Fehler weiterzutragen und zu verstärken.

Am Ende stehen Videosequenzen, die sich in zwei Arten von 3D-Daten umwandeln lassen:

• 3D Gaussian Splats: Die Szene besteht aus Millionen kleiner, halbtransparenter Farbwolken. Das sieht sehr fotorealistisch aus und lässt sich in Echtzeit darstellen.
• Polygonnetze (Meshes): Das ist die klassische Dreiecksgeometrie, wie sie in Spielen und Physik-Engines üblich ist.

Über eine interaktive Oberfläche lassen sich die Szenen Schritt für Schritt erkunden. Als Mesh kann man sie in Physik-Simulationen wie Nvidia Isaac Sim exportieren, Nvidias Simulationsumgebung für Roboter.

Zahlen: Tempo und Vergleich mit der Konkurrenz

Der volle Erzeugungsprozess ist aufwendig. Nvidia hat deshalb ein destilliertes Modell gebaut. Destillation heißt hier: Ein schnelleres Modell lernt, die Ergebnisse des großen Modells mit viel weniger Rechenschritten nachzumachen. Statt 35 Entrauschungsschritten (das Bild entsteht schrittweise aus Rauschen) braucht es nur vier.

Das ist etwa 13-mal schneller, laut The Decoder bei vergleichbarer Qualität. Wccftech weist aber darauf hin, dass das noch keine Echtzeit-Erzeugung ist. Erst die fertig umgewandelte 3D-Szene lässt sich in Echtzeit darstellen. Die Welt selbst zu erzeugen bleibt rechenintensiv, und die GB200 ist ein Rechenzentrums-Chip, keine Gaming-Grafikkarte.

Laut The Decoder schlägt Lyra 2.0 in Benchmarks auf zwei Datensätzen sechs Konkurrenzverfahren, darunter GEN3C, Yume-1.5 und CaM. Das gilt für fast alle gemessenen Kriterien wie Bildqualität, einheitlichen Stil und Kamerasteuerung. Diese Ergebnisse stammen von Nvidia selbst. Laut Paper können die erzeugten Szenen rund 90 Meter umfassen.

Wofür das gut sein soll

Nvidia nennt vor allem die Robotik. Roboter werden heute oft in virtuellen Welten trainiert, bevor sie in der echten Welt arbeiten. Solche Umgebungen von Hand zu bauen oder echte Räume aufwendig 3D-zu-scannen, kostet viel Zeit. Wie aufwendig selbst der Import fertiger generierter Welten ist, zeigt ein Nvidia-Tutorial zum Konkurrenzprodukt Marble von World Labs. Dort werden Gaussian Splats und ein Kollisions-Mesh von Hand ausgerichtet, skaliert und mit Physik versehen, bevor ein Roboter durch die Küche fahren kann. Laut Nvidia könnten Roboter mit Lyra 2.0 in komplett generierten Umgebungen trainieren, ganz ohne echte 3D-Aufnahmen.

Daneben sieht Wccftech Potenzial für Spieleentwicklung und Virtual Reality. Zum Vergleich nennt die Seite Googles Project Genie, das ebenfalls begehbare Welten erzeugt. Lyra 2.0 geht anders vor: Es baut seine Inhalte in echte 3D-Geometrie um, die sich in gängigen Programmen darstellen und simulieren lässt.

Was du zum Ausprobieren brauchst

Lyra 2.0 ist ein Forschungsprojekt und kein Programm zum einfachen Installieren. Code, GUI und Trainingsanleitung liegen auf GitHub. Die Quellen nennen keine Mindestanforderungen für Heim-PCs, und Nvidias Messungen stammen von einer GB200 aus dem Rechenzentrum. Rechne deshalb mit einer leistungsstarken Nvidia-Grafikkarte mit viel Grafikspeicher (VRAM) und einer Linux-Umgebung mit CUDA, also Nvidias Software-Schnittstelle für GPU-Berechnungen. Auch Nvidias verwandte 3DGRUT-Werkzeuge, mit denen man Gaussian Splats für Isaac Sim umwandelt, setzen Linux, eine Nvidia-GPU und CUDA 11.8 oder neuer voraus. Auf einem Mac oder rein auf dem Prozessor ist kein Betrieb vorgesehen. Für die kostenlose Google-Colab-Stufe dürfte das System zu schwer sein. Plane außerdem reichlich Speicherplatz für Gewichte und erzeugte Videos ein. Und denk an die Lizenz: Die Gewichte sind nur für Forschungszwecke freigegeben.

Einordnung

Lyra 2.0 packt zwei der hartnäckigsten Probleme generierter Welten an: Szenen, die sich beim Zurückkehren verändern, und Fehler, die sich im Lauf der Zeit aufschaukeln. Dass am Ende echte 3D-Geometrie steht und nicht nur ein Video, macht das System für Simulation und Robotik praktisch nutzbar. Hier unterscheidet es sich von reinen Weltmodellen wie Googles Project Genie.

Es gibt aber klare Grenzen. Lyra 2.0 kann nur statische Szenen: Nichts bewegt sich, und dynamische Inhalte bleiben eine offene Baustelle. Laut Wccftech treten weiterhin gelegentlich Bildfehler auf. Die Benchmark-Ergebnisse stammen von Nvidia selbst, und die Rechenanforderungen liegen weit über dem, was Privatleute zu Hause haben. Die Forschungslizenz schließt den kommerziellen Einsatz der Gewichte vorerst aus. Bis aus einem Foto ein spielbares Videospiel wird, ist es noch ein weiter Weg. Als Werkzeug, das Entwicklern und Robotik-Teams das Bauen von Umgebungen erleichtert, ist Lyra 2.0 aber ein ernstzunehmender Schritt.