Nvidia gibt MotionBricks frei: KI erzeugt Bewegungen für Spielfiguren und Roboter

Worum es geht

Nvidia hat MotionBricks veröffentlicht, also Programmcode und vortrainierte Modelle. Die KI erzeugt in Echtzeit, wie sich eine Spielfigur oder der humanoide Roboter Unitree G1 bewegt. Dafür braucht sie nur wenige Zielposen, etwa „Figur sitzt auf der Bank“ oder „Figur hält das Schwert“. Den Weg dorthin rechnet das Modell selbst aus. In heutigen Spielen bauen Animatoren genau diese Übergänge mühsam von Hand. Laut der offiziellen Projektseite deckt ein einziges Modell mehr als 350.000 Bewegungen ab. Es soll 15.000 Bilder pro Sekunde schaffen, bei einer Latenz (Verzögerung) von 2 Millisekunden.

Entwickelt hat es das GEAR-Labor von Nvidia Research, zusammen mit Forschenden der ETH Zürich, der Simon Fraser University und der University of Texas at Austin. Hinter dem Fachartikel stehen 16 Forschende unter der Leitung von Tingwu Wang und Olivier Dionne. Er erschien in der Fachzeitschrift ACM Transactions on Graphics und wurde im Juli auf der Grafikkonferenz SIGGRAPH 2026 vorgestellt. Den Vorabdruck gibt es seit dem 27. April auf arXiv. Alles ist kostenlos und offen, aber es ist Forschung und kein fertiges Produkt.

Das Problem: Animation ist teuer

Eine Spielfigur soll gehen, rennen, sich ducken, über Hindernisse springen und sich hinsetzen können. Dafür nehmen Studios heute Hunderte Clips per Motion Capture auf, also mit Schauspielern in Spezialanzügen, deren Bewegungen digital erfasst werden. Diese Clips verbinden sie in einer Zustandsmaschine. Das ist eine Art riesiges Schaltbild, das festlegt, welche Animation auf welche folgen darf. Jedes neue Verhalten macht das Schaltbild größer und teurer.

Wie groß solche Systeme werden, zeigt der Artikel am Beispiel Assassin's Creed. Dessen Animationsgraph kann mehr als 15.000 Animationen und 5.000 Zustände umfassen, verschachtelt in bis zu 12 Ebenen. Heute setzt die Branche oft auf Motion Matching. Dabei sucht das Spiel in einer Datenbank den passenden schon aufgenommenen Bewegungsschnipsel heraus. Unreal Engine 5 bringt das Verfahren mit, dazu eine kostenlose Beispielsammlung von Epic mit mehr als 500 Animationen. MotionBricks sucht dagegen nicht, es erzeugt Bewegung neu. Dazu gehören auch Übergänge, die nie jemand aufgenommen hat.

So erzeugt MotionBricks Bewegung

Die Kerntechnik heißt In-Betweening: Das Modell füllt die Lücke zwischen Schlüsselposen, ähnlich wie früher Zeichner die Zwischenbilder eines Trickfilms. Dreißigmal pro Sekunde bekommt es zwei Eingaben. Die erste ist der Kontext, also die vier letzten Posen der Figur mit Haltung und Geschwindigkeit. Die zweite sind ein bis vier Zielposen, die die Bewegung erreichen soll. Gibt man mehrere Ziele vor, versteht das System auch Tempo und Schwung. Die Figur läuft dann durch einen Punkt hindurch, statt dort abzubremsen.

Wie lange ein Übergang dauert, entscheidet das Modell selbst. Jeder Durchgang erzeugt 0,6 bis 1,9 Sekunden Bewegung. Das läuft in drei Schritten ab:

• Ein Modul sagt die Dauer und den Weg des Beckens voraus.
• Ein Transformer füllt entlang dieses Wegs die eigentliche Bewegung aus. Das ist die Netzarchitektur, die auch hinter Sprachmodellen steckt.
• Ein VQ-VAE-Decoder macht daraus eine flüssige Animation, bei der die Füße sauber auf dem Boden bleiben. Ein VQ-VAE speichert Bewegungen als eine Art Baukasten aus festen Bausteinen.

Längere Bewegungen entstehen, indem mehrere Durchgänge aneinandergehängt werden. Ändert der Spieler die Richtung, plant das Modell neu.

Trainiert wurde mit BONES-SEED, einem Datensatz von 350.000 Motion-Capture-Clips mit echten Schauspielern. Die Bones Studio hat ihn aufgenommen und auf Hugging Face veröffentlicht. Darauf aufbauend hat Nvidia sogenannte Smart Primitives gebaut, wiederverwendbare Bewegungsbausteine. Bei der Fortbewegung werden Befehle für Tempo, Richtung und Stil zu Zielposen. So wechselt die Figur ohne neues Training zwischen Zombie-Gang, Humpeln, Seitwärtslaufen und geducktem Rennen. Bei Objekten reichen wenige Schlüsselposen:

„Das Modell füllt die Annäherung, den Kontakt und den Abschluss aus“, heißt es auf der Projektseite.

Dazu gehören etwa ein Schwert greifen, über eine Bank springen oder sich hinsetzen. Laut Artikel baut eine Person ohne Animationsausbildung so einen Baustein in Unreal Engine 5 in weniger als zehn Minuten.

Die Zahlen und ihr Kleingedrucktes

Die offizielle Demo zeigt 2 Minuten und 40 Sekunden am Stück in Unreal Engine 5. Die Figur bewegt sich durch die Umgebung und interagiert mit ihr. Nvidia schreibt dazu:

„Jede Bewegung wird von neuronalen Netzen erzeugt: kein Foot-Locking, kein Blending, keine Kollisionserkennung, keine handgemachten Übergänge.“

Die Ergebnisse aus dem Fachartikel wurden an rund 35.000 Clips gegen sechs Konkurrenzverfahren gemessen. Das Portal i-scoop hat sie zusammengestellt:

Alle Werte stammen von den Autoren selbst. Unabhängig nachgeprüft hat sie bisher niemand. Die 99,6 Prozent beziehen sich zudem auf einen firmeneigenen Datensatz der Bones Studio mit rund 700 Stunden Aufnahmen, 9.300 Fähigkeiten und 163 Schauspielern. Auf den öffentlichen Datensätzen HumanML3D und LaFAN1 wird der Vorsprung kleiner. Bei der Vielfalt der Bewegungen liegen manche Verfahren gleichauf oder sogar vorn. Im Robotertest sinkt die Trefferquote auf 61,1 Prozent. Und die 15.000 Bilder pro Sekunde wurden auf einer RTX 5090 gemessen, der stärksten Karte der Reihe. Die veröffentlichten Demos hat Nvidia auf einer RTX 4090 getestet. Laut i-scoop nutzt bisher kein kommerzielles Spiel die Technik.

Dasselbe Modell bewegt einen Roboter

Nvidia hat außerdem eine Version für den humanoiden Roboter Unitree G1 trainiert. Die Bewegungsdaten wurden dafür auf das Skelett des Roboters übertragen. Die Eingabe funktioniert genauso wie bei der Spielfigur, ebenfalls über Zielposen. Auf dem Jetson Orin, dem eingebauten Rechner des G1, dauert ein Durchgang 5 Millisekunden. Das Modell plant zehnmal pro Sekunde neu oder bei jedem neuen Befehl. Laut Projektseite ist MotionBricks bereits ein zentraler Teil von GR00T Whole-Body Control, Nvidias Software zur Steuerung humanoider Roboter. Dort arbeitet es zusammen mit GEAR-SONIC.

Eine Grenze gibt es aber: Das Modell gibt gewünschte Posen aus, keine Befehle für die Motoren. Damit der Roboter nicht umfällt, sorgt ein eigener Regler, der den Posen folgt. Die Modellkarten warnen ausdrücklich, die erzeugte Bewegung sei „nicht für die physische Robotersteuerung validiert“. MotionBricks ist hier also ein Bewegungsplaner.

Download, Lizenzen und was fehlt

Alles liegt kostenlos im GitHub-Repository NVlabs/motionbricks. Darin stecken:

• eine Python-Laufzeitumgebung (mit Warp, Newton und TensorRT)
• vortrainierte Modelle für das menschliche Skelett SOMA und für den G1 im Format ONNX, einem Austauschformat für KI-Modelle, das viele Programme lesen können
• Checkpoints auf Hugging Face
• zwei Demos (Inbetweener und Scene Preview)
• zwei Editoren, einer zum Bauen von Bewegungsbausteinen und einer zum Zusammenstellen von Szenen

Laut i-scoop fehlen das Unreal-Plugin aus der Demo, die vollständige Trainings-Pipeline und die kompletten Trainingsdaten. Eine offizielle Anbindung an Unity oder Godot gibt es nicht. Wegen des ONNX-Formats kann ein Studio sie selbst bauen, muss die Arbeit dann aber auch selbst machen.

Bei den Lizenzen gibt es drei Stufen:

• Der Code steht unter Apache 2.0, kommerzielle Nutzung ist frei.
• Die trainierten Modelle stehen unter dem NVIDIA Open Model Agreement. Es erlaubt kommerzielle Nutzung, die Lizenz erlischt aber, wenn man Nvidia verklagt und behauptet, das Modell verletze ein Patent oder Urheberrecht.
• Die Beispielbewegungen stehen unter einer reinen Evaluationslizenz. Sie dürfen nicht in einem veröffentlichten Spiel landen.

Was du zum Ausprobieren brauchst

Du brauchst eine Nvidia-Grafikkarte. Andere Hersteller und Apple-Macs werden nicht unterstützt. Nvidia dokumentiert Tests nur unter Windows und Linux mit einer RTX 4090. Wie gut es auf günstigeren RTX-Karten läuft, sagt Nvidia nicht. Das Modell ist mit rund 200 Millionen Parametern klein und dürfte rechnerisch wenig Grafikspeicher brauchen. Garantiert ist das aber nicht. Außerdem solltest du dich mit Python auskennen. Eine Ein-Klick-App wie bei Chatbots gibt es nicht.

Einordnung

MotionBricks greift ein echtes, teures Problem der Spieleentwicklung an. Statt riesiger Schaltbilder aus Tausenden Clips braucht es nur ein Modell und ein paar Zielposen. Interessant ist das vor allem für kleine Studios ohne eigenes Animationsteam. Dass dasselbe Modell auch einen Roboter bewegt, zeigt, wie eng Nvidia Spiele und Robotik verbindet.

In der Praxis bleiben aber Hürden. Die Spitzenwerte beruhen auf firmeneigenen Daten und wurden nicht unabhängig geprüft. Auf öffentlichen Datensätzen und beim Roboter schrumpft der Vorsprung deutlich. Das Plugin für die Spiel-Engine fehlt. Und das Modell kann nur, was in seinen Trainingsdaten steckt. Der Engpass verschiebt sich damit: Wer es in einem Spiel einsetzen will, braucht lizenzierte Bewegungsdaten, um es zu trainieren oder anzupassen. Bis zum ersten Spiel, das MotionBricks nutzt, ist es also noch ein Stück.