Kyutai CADRE: Video-Autoencoder für Weltmodelle mit unter 230 ms Verzögerung

Worum es geht

Kyutai, ein auf offene Forschung ausgerichtetes KI-Labor, hat CADRE veröffentlicht: eine Familie von Video-Autoencodern, die speziell für interaktive Weltmodelle gebaut ist. Ein Weltmodell ist ein KI-System, das Videobilder vorhersagt oder erzeugt und dabei auf Eingaben wie Tastendrücke reagiert, ähnlich einem Spiel, das die KI live zeichnet. Das Problem, das CADRE angeht, ist die Aktionsverzögerung (Action Lag): Die Zeit zwischen einer Eingabe und der sichtbaren Reaktion im Video. Laut dem zugehörigen Paper laufen Weltmodelle auf Basis von CADRE mit 20 Bildern pro Sekunde auf einer einzelnen H100-Grafikkarte und reagieren innerhalb von 230 Millisekunden. Alle Zahlen sind Eigenangaben von Kyutai.

Warum die Verzögerung entsteht

Ein Weltmodell erzeugt Video nicht Pixel für Pixel, sondern in einem komprimierten „latenten Raum“. Ein Autoencoder übersetzt Videos in diese kompakte Darstellung und wieder zurück. Viele Weltmodelle übernehmen Autoencoder aus Text-zu-Video-Generatoren. Diese packen mehrere Frames in einen einzigen Latent-Block, sodass jede Eingabe auf das Ende eines Blocks warten muss.

Die Kompression wird als τ×s×s geschrieben: τ ist die Zahl der Frames pro Latent, s der räumliche Verkleinerungsfaktor. Die Latenz setzt sich aus τ/f (f = Bildrate) plus Erzeugungs- und Dekodierzeit zusammen. Bei τ = 8 und 20 fps kostet allein der Block 400 ms. Menschen bemerken nach Angaben der Autoren Verzögerungen ihrer eigenen Bewegung ab etwa 230 ms.

Aufbau von CADRE

Der Encoder folgt dem Rezept des früheren MIRA: Ein eingefrorenes DINOv3 (ein vortrainiertes Bildmodell) extrahiert Merkmale pro Bildausschnitt, eine trainierte 3D-Faltung verdichtet sie zu einem Latent mit 64 Kanälen. Nur dieser Flaschenhals unterscheidet die sieben Familienmitglieder. So lässt sich die Kompression als einzige Variable untersuchen.

Der Decoder ist ein kausaler Diffusions-Transformer mit 24 Blöcken, der Chunk für Chunk streamt. „Kausal“ heißt, er nutzt nur Vergangenes, keine zukünftigen Frames. Durch progressive Selbstdestillation (das Modell lernt, seine eigenen langsameren Ergebnisse in weniger Schritten zu reproduzieren) dekodiert er in 1 oder 2 Schritten. Das passiert in einer einzigen Trainingsphase und ohne adversariellen Verlust, also ohne GAN-artigen Gegenspieler. Trainiert wurde auf 23 öffentlichen Videoquellen (ca. 76.000 Stunden) aus Web, Robotik, Autofahrten und Spielen.

Evaluation und Zahlen

Kyutai trainierte dasselbe 1,2-Mrd.-Parameter-Weltmodell auf jeden Autoencoder, in vier Umgebungen: Robotermanipulation (ABC), menschliche Manipulation (EgoDex), Autofahren (PhysicalAI AV) und Innennavigation (RealEstate10K). Das Modell sieht 2 s echtes Video und erzeugt dann 4,8 s. Gemessen werden Bildqualität (FID), Bewegungsqualität (FVD, niedriger ist besser) und Aktionsfolgetreue (ARR, 1 entspricht echtem Video; gemessen mit einer eingefrorenen Inverse-Dynamics-Sonde).

Insgesamt bilden CADRE-Varianten laut Kyutai den Großteil der Latenz-Qualitäts-Grenze; in 42 von 48 Vergleichen mit MIRA, Wan 2.2, Cosmos und LTX-2 sind sie gleich schnell und besser. Gegenüber dem neu trainierten MIRA-Decoder senkt der 1-Schritt-Diffusionsdecoder den FVD um das 1,4- bis 2,5-Fache. DC-AE ist mit 118 ms schneller, arbeitet aber Frame für Frame.

Vier Erkenntnisse

• Per Diffusion dekodieren: Bei starker Kompression macht perzeptuelle Regression Bilder unscharf, Diffusion zieht dagegen ein scharfes Video.
• Zeit im Autoencoder komprimieren: Wird die Zeit erst im Weltmodell zusammengefasst („Patching“), gehen Details verloren; bei 8 Frames sinkt ARR von 0,72 auf 0,56.
• Kamerabewegung entscheidet: Statische Kameras vertragen zeitliche Kompression, bewegte Kameras profitieren von weniger Frames pro Latent und gröberen räumlichen Tokens.
• Grobe Tokens schaden zuerst der Bewegung: Bei Robotermanipulation vervielfacht 32-facher räumlicher Kompression den FVD um 2,4 gegenüber 16-facher; der FID ändert sich kaum.

Schwächen

CADRE gewinnt nicht überall. Bei Robotermanipulation erreicht Cosmos einen FVD von 39,5 gegenüber 47,6 für das beste 1-Schritt-CADRE, und bei der Aktionsfolge liegt Wan 2.2 mit ARR 0,85 klar vor CADRE-2×32×32 (0,45). Wan 2.2 rekonstruiert unbekanntes Video deutlich besser (35,02 dB PSNR). Kyutai argumentiert, Rekonstruktionsgüte sage Rollout-Qualität nicht voraus; Wan 2.2 landet bei Innenraum-FVD auf dem letzten Platz. Bei langen Latents sieht man Nähte zwischen Chunks (Boundary Excess 1,6 bis 1,8 bei τ = 8). CADRE-4×24×24 ist ein Ausreißer mit FVD 403 beim Fahren. Jedes Weltmodell deckt nur eine Umgebung bei 288×512 ab; ob die Ergebnisse auf Generalisten-Modelle übertragbar sind, ist offen.

Was du zum Ausprobieren brauchst

Die Referenzangabe ist eine H100 (80 GB, bf16, Batch 1) für Echtzeit mit 20 fps. Auf Consumer-Karten dürfte das deutlich langsamer oder gar nicht flüssig laufen; Quantisierte Varianten nennt Kyutai nicht. Es gibt eine Live-Demo, in der du die Modelle per Tastatur steuerst – dafür brauchst du nur einen Browser. Veröffentlicht sind 7 Autoencoder, 4 länger trainierte Multi-Resolution-Versionen und 4 Weltmodelle auf CADRE-2×16×16.

Einordnung

CADRE ist vor allem ein Forschungsbeitrag: Es isoliert saubere Designregeln für Weltmodelle (Kompression, Decoder, Kamera) und liefert offene Bausteine. Für Robotik, Fahrsimulation oder spielbare Welten ist niedrige Latenz zentral. Kritisch: Alle Zahlen sind selbst berichtet, getestet wurde nur in vier engen Umgebungen, und die Gewichte sind mit CC BY-NC 4.0 nicht kommerziell nutzbar (Code: MIT; DINOv3-Lizenz kommt hinzu). Wer Rekonstruktionsqualität oder Aktionsfolge in Robotik priorisiert, findet mit Wan 2.2 oder Cosmos teils bessere Werte.