Kyutai AURA: Offenes Avatar-Modell erzeugt sprechende Köpfe live mit 20,7 Bildern/s

Das französische KI-Labor Kyutai hat AURA veröffentlicht, ein Modell, das aus Sprache in Echtzeit ein Video mit einem sprechenden Gesicht erzeugt. Die kleine Variante schafft laut Kyutai 20,7 Bilder pro Sekunde auf einer einzigen Grafikkarte. Gewichte und ein Trainingsdatensatz sind frei verfügbar.

Modell-Releases 20. Nov. 2026 5 Min. Lesezeit Quelle: Bing News (en-US)
Symbolbild, KI-generiert

Worum es geht

Kyutai, ein gemeinnütziges KI-Forschungslabor aus Paris, hat ein neues Modell namens AURA vorgestellt. Es erzeugt aus gesprochener Sprache ein Video mit einem sprechenden Gesicht, einen sogenannten „Talking Head“. Das Besondere: Das Video entsteht fast in Echtzeit, während der Ton noch läuft. Bisherige Modelle dieser Art brauchen dafür oft viele Sekunden Vorlauf.

Es gibt zwei Varianten: AURA 1.3B mit 1,3 Milliarden Parametern und AURA 5B mit 5 Milliarden. Laut Kyutai erzeugt die kleine Version Video in 576p-Auflösung mit 20,7 Bildern pro Sekunde, die große Version 720p mit 9,7 Bildern pro Sekunde. Beides soll auf einer einzigen Grafikkarte laufen. Kyutai veröffentlicht beide Modellgewichte sowie einen Datensatz. Eine Live-Demo gibt es unter aura.kyutai.org. Berichtet hat darüber unter anderem AI Weekly, die Informationen stammen aus der Veröffentlichung auf Hugging Face.

Kyutai ist kein Unbekannter: Das Labor hat bereits mit Sprachmodellen für Echtzeit-Gespräche auf sich aufmerksam gemacht. AURA passt in diese Richtung, denn ein Sprachassistent mit Gesicht braucht genau so etwas.

Das Problem, das AURA lösen soll

Die meisten aktuellen Modelle, die Videos aus Audio erzeugen, sind sogenannte Diffusionsmodelle. Sie starten mit einem Bild aus reinem Rauschen und entfernen dieses Rauschen in vielen kleinen Schritten, bis ein klares Bild entsteht, ähnlich wie ein Foto, das langsam im Entwicklerbad erscheint. Diese Schritte heißen Entrauschungsschritte.

Dazu kommt: Diese Modelle arbeiten meist bidirektional. Sie schauen also gleichzeitig nach vorne und nach hinten in der Zeit und verarbeiten ganze Video-Abschnitte von mehreren Sekunden auf einmal. Für ein fertiges Video ist das in Ordnung. Für ein Live-Gespräch taugt es nicht, weil das Modell erst Sekunden an Audio braucht, bevor es überhaupt anfangen kann. Die Autoren schreiben dazu:

„Aktuelle audiogesteuerte Video-Diffusionsmodelle können realistische Sprechkopf-Videos erzeugen, benötigen aber in der Regel Dutzende Entrauschungsschritte über mehrsekündige Video-Abschnitte, was sie für Streaming-Anwendungen wie Sprachassistenten und virtuelle Avatare ungeeignet macht.“

Wie AURA funktioniert

Die Geschwindigkeit kommt laut Kyutai nicht von einer völlig neuen Architektur, sondern von Destillation: Ein großes, langsames „Lehrermodell“ bringt einem schnelleren „Schülermodell“ bei, zu ähnlichen Ergebnissen zu kommen, ungefähr so, wie ein erfahrener Koch einem Lehrling Abkürzungen zeigt, ohne dass das Gericht schlechter wird.

Das Rezept hat zwei Stufen:

  1. Kausaler Schüler: Zuerst lernt ein kausales Schülermodell, die Rechenwege (Trajektorien) des Lehrers nachzuahmen. „Kausal“ heißt, dass das Modell nur auf Vergangenes und Gegenwärtiges schaut, nicht in die Zukunft. Dafür nutzt es eine Aufmerksamkeitsmaske mit gleitendem Fenster, die abschnittsweise arbeitet. Jeder Video-Abschnitt darf also nur auf die vorherigen Abschnitte zugreifen.
  2. Distribution Matching Distillation: Danach wird mit diesem Verfahren, kombiniert mit „Backward Simulation“, die verbleibende Qualitätslücke geschlossen. Vereinfacht gesagt wird der Schüler so trainiert, dass seine Ergebnisse insgesamt wie die des Lehrers aussehen, auch wenn er mit viel weniger Schritten auskommt.

Damit das Modell beim Weiterrechnen nicht vergisst, was vorher passiert ist, nutzt es einen rollierenden KV-Cache. Das ist eine Art Zwischenspeicher, in dem das Modell die wichtigsten Informationen aus den vorherigen Abschnitten aufbewahrt. Ältere Einträge fallen nach und nach heraus. So entsteht das Video Abschnitt für Abschnitt, und zum Starten reicht der jeweils aktuelle Audio-Abschnitt.

Die Zahlen

Variante Auflösung Bilder pro Sekunde Schneller als Lehrermodell
AURA 1.3B 576p 20,7 23-mal
AURA 5B 720p 9,7 17-mal

Laut Paper erreicht AURA 1.3B eine Qualität, die mit TalkVerse vergleichbar ist, allerdings bei geringerer Auflösung. TalkVerse ist das Vergleichsmodell, das auch als Lehrer für die große Variante diente. AURA 5B soll seinen TalkVerse-Lehrer bei 720p erreichen und dabei 17-mal schneller laufen.

Zur Einordnung: Mit 20,7 Bildern pro Sekunde ist die kleine Version nah an flüssigem Video (Kino arbeitet mit 24 Bildern pro Sekunde). Die 9,7 Bilder pro Sekunde der großen Variante wirken dagegen eher ruckelig, wenn man sie live abspielt.

Was Kyutai veröffentlicht

Neben den Gewichten beider Modelle stellt Kyutai einen Datensatz mit 30.000 synthetischen Videos bereit, zusammen mit den vorberechneten Trajektorien des Lehrermodells. Das ist vor allem für Forschende interessant: Wer das Destillationsverfahren nachbauen oder auf eigene Modelle übertragen will, spart sich damit das teure Durchrechnen des Lehrermodells. AI Weekly ordnet AURA in eine ganze Reihe offener Streaming-Video-Veröffentlichungen ein, die in diesem Monat erschienen sind.

Was du zum Ausprobieren brauchst

Am einfachsten ist die Live-Demo unter aura.kyutai.org, dafür brauchst du nur einen Browser. Wer das Modell selbst betreiben will, braucht eine Nvidia-Grafikkarte. Welche GPU Kyutai für die 20,7 Bilder pro Sekunde genutzt hat, steht nicht in der Zusammenfassung. Es ist also gut möglich, dass dafür eine teure Rechenzentrums-Karte nötig ist. Unsere grobe Schätzung, nicht von Kyutai: Die 1,3B-Variante dürfte mit etwa 8 GB Grafikspeicher starten, wegen der zusätzlichen Bausteine für Audio und Bild eher mit 12 GB. Die 5B-Variante braucht spürbar mehr, eher 16 bis 24 GB. Auf älteren oder kleineren Karten wird das Modell laufen, aber nicht in Echtzeit. Auf Apple-Rechnern oder reinen CPUs ist Echtzeit-Betrieb kaum zu erwarten. Plane außerdem einige Gigabyte Speicherplatz für Modell und Abhängigkeiten ein, für den Datensatz deutlich mehr.

Einordnung

AURA richtet sich an alle, die Sprachassistenten, virtuelle Moderatoren oder Kundenservice-Avatare mit Gesicht bauen wollen, und zwar ohne Abhängigkeit von kommerziellen Avatar-Diensten. Dass Kyutai nicht nur Gewichte, sondern auch den Destillations-Datensatz veröffentlicht, ist für die offene Forschung ein echter Gewinn.

Es gibt aber auch offene Punkte. Die Zusammenfassung nennt TalkVerse als Qualitätsmaßstab, veröffentlicht dort aber keine Benchmark-Zahlen. Und sie verrät nicht, auf welcher Grafikkarte die 20,7 Bilder pro Sekunde gemessen wurden. Ohne diese Angaben lässt sich schwer sagen, wie praxistauglich das Modell auf normaler Hardware ist. Unklar bleibt in den Quellen auch die Lizenz. Und wie bei jeder Technik, die realistische sprechende Gesichter erzeugt, liegt der Missbrauch für Deepfakes nahe. Ob und welche Schutzmaßnahmen Kyutai vorsieht, geht aus den vorliegenden Informationen nicht hervor.

Quellen

#kyutai#avatar#video-generierung#open-weights#echtzeit
Originalquelle lesen

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.