Kandinsky 6.0 Video: Offene Modelle erzeugen Video mit passendem Ton

Worum es geht

Kandinsky Lab hat Anfang Oktober 2026 Kandinsky 6.0 Video veröffentlicht, eine Modellfamilie, die Video und Ton gemeinsam erzeugt. Es gibt zwei Varianten: Kandinsky 6.0 Video Pro mit 29 Milliarden Parametern (Parameter sind grob gesagt die Stellschrauben, die ein Modell beim Training lernt) und Kandinsky 6.0 Video Lite mit 3 Milliarden Parametern. Code und Modellgewichte sind unter der MIT-Lizenz freigegeben. Jeder darf sie also kostenlos nutzen und eigene Produkte darauf aufbauen. Die Gewichte liegen auf Hugging Face, der Code auf GitHub.

Beide Modelle erzeugen Videos mit Dialogen, Musik und Umgebungsgeräuschen. Der Ton passt zu dem, was im Bild passiert, und die Lippenbewegungen der Figuren stimmen mit der Sprache überein. Du kannst eine Szene als Text beschreiben oder ein erstes Bild hochladen und dazu den gewünschten Ton beschreiben. Auf Wunsch entsteht auch ein Video ohne Ton. Die maximale Länge eines Clips mit Ton beträgt derzeit fünf Sekunden. Die Entwickler wollen das in späteren Versionen verlängern.

Was die Modelle können

Laut den Quellen deckt der Ton ein breites Spektrum ab: Sprache, Soundeffekte, Schritte, Wind oder vorbeifahrende Autos. Die Audioausgabe hat eine Abtastrate von 44 kHz, also den Standard vieler Streamingdienste. Die wahrgenommene Qualität hängt laut dem Bericht von Prompt und Generierungsbedingungen ab.

Als Anwendungen nennen die Entwickler:

• Familienfotos animieren
• Videogrüße mit Sprache oder Musik
• ASMR-Szenen, etwa mit raschelndem Papier oder knisterndem Feuerholz
• Bewegung in vorhandene Bilder oder Filmszenen bringen

Die Modelle sollen außerdem physikalische Bewegungen von Menschen, Tieren und Objekten natürlicher darstellen, besonders bei schnellen Bewegungen oder Kamerawechseln. Das ist eine Herstellerangabe.

Pro und Lite im Vergleich

Die Basisgenerierung läuft in SD-Auflösung. Ein eingebautes Super-Resolution-Modul rechnet das Bild dann auf HD oder Full HD hoch. So kannst du zwischen Geschwindigkeit und Detailgrad abwägen. Lite ist für Consumer-Grafikkarten von NVIDIA gedacht, mit Voreinstellungen für 16, 24 und 32 GB Grafikspeicher. Mit Block-Offloading lassen sich beide Modelle auch auf einem Heimrechner starten. Dabei werden Teile der Gewichte nacheinander durch die GPU geschleust. Wie schnell das läuft und wie viel Speicher nötig ist, hängt von der Konfiguration ab.

Architektur und Training

Kandinsky 6.0 Video besteht aus zwei verbundenen Modulen für Video und Audio. Laut einer Drittquelle ist es ein Dual-Stream-CrossDiT: Ein vortrainierter Videostrom wird über bidirektionale Cross-Attention mit einem neu trainierten Audiostrom verbunden. Cross-Attention ist ein Mechanismus, mit dem zwei Datenströme aufeinander „achten“. So werden Bild und Ton gemeinsam erzeugt und nicht erst getrennt gebaut und zusammengefügt.

Das Audiomodul wurde zunächst von Grund auf mit 40 Millionen Audiotracks trainiert. Danach folgte gemeinsames Training mit dem Videomodul auf 7 Millionen gepaarten Audio-Video-Segmenten. Das Team wählte Clips mit klarem Ton und Nahaufnahmen sprechender Menschen aus, um Sprache und Mimik besser abzustimmen. Danach kamen laut Drittquelle Feintuning, Reinforcement-Learning (Lernen durch Belohnung) und Destillation (Verkleinern oder Beschleunigen) dazu. Das Reinforcement-Learning senkte beim Pro-Modell die Wortfehlerrate der erzeugten Sprache um 47 %. Das ist die Eigenangabe des Teams. Für Metrikdefinition und Testbedingungen verweist der Artikel auf den technischen Bericht.

Vergleiche und Benchmarks

Im technischen Bericht stehen Vergleiche mit menschlichen Bewertern. Danach schneidet Pro in allen Kriterien besser ab als Kandinsky 5.0 Video Pro. Gearbrain nennt weitere Ergebnisse, die aus dem Bericht stammen sollen:

• Gegenüber dem offenen LTX 2.5 liegt Pro bei Bildqualität und Sprachqualität vorn.
• Unter den offenen Modellen liegt nur MiniMax H3 davor.
• Bei der Bildanimation soll Pro das geschlossene Veo 3.1 Fast bei Bildqualität, Treue zum Ausgangsbild und Kameraführung übertreffen.

Der Digital-Journal-Artikel mahnt zur Vorsicht: Die Ergebnisse variieren je nach Aufgabe und Kriterium und sind kein allgemeines Ranking. Eine Drittquelle merkt an, dass Kandinsky 6.0 Video auf dem unabhängigen Physics-IQ-Board nicht auftaucht und die Aussagen auf einem herstellereigenen Vergleich beruhen. Die Vorgängerversion stand laut den Entwicklern über sechs Monate an der Spitze der offenen Modelle in der Text-zu-Video-Kategorie auf Arena.ai. Das sagt allein noch nichts über andere Aufgaben aus.

Was du zum Ausprobieren brauchst

• Grafikkarte: Für Lite eine NVIDIA-Karte mit 16, 24 oder 32 GB VRAM, etwa RTX 5060 Ti bis RTX 5090. Für Pro (29 Mrd. Parameter) braucht es deutlich mehr, also Rechenzentrumskarten oder starkes Offloading.
• Software: Eine Drittquelle nennt Python 3.13 oder 3.14 und eine NVIDIA-GPU.
• Arbeitsspeicher und Platz: Die Quellen nennen keine genauen Werte. Bei Block-Offloading wird mehr Arbeitsspeicher gebraucht und die Erzeugung dauert länger.
• Ohne eigene Hardware: Pro ist über die Plattform FAL nutzbar, außerdem gibt es einen Hugging-Face-Space für das destillierte Pro-Modell. Mac oder reiner CPU-Betrieb werden nicht erwähnt.
• Integration: Diffusers, ComfyUI, FastVideo, SGLang und vLLM-omni.

Einordnung

Offene Videomodelle mit eingebautem, synchronem Ton sind selten. Dass fünf Inferenz-Stacks am ersten Tag unterstützt werden, senkt die Einstiegshürde deutlich. Die MIT-Lizenz erlaubt auch kommerzielle Nutzung, Feintuning und Quantisierung. Das ist ein klarer Vorteil gegenüber geschlossenen Diensten.

Kritisch sind die kurze Clip-Länge von fünf Sekunden und die fehlende unabhängige Überprüfung. Fast alle Qualitätsangaben stammen aus dem Bericht der Entwickler und beruhen auf menschlichen Vergleichen unter deren Testaufbau. Ob die Ergebnisse auf deiner eigenen Hardware so aussehen, wirst du selbst prüfen müssen. Besonders interessant ist das Lite-Modell, weil es Heimanwendern Video mit Ton ermöglicht.