Kandinsky S2V 1.0: Offenes Modell macht aus Foto und Sprachaufnahme ein Avatar-Video

Kandinsky Lab hat Kandinsky S2V 1.0 veröffentlicht, ein Modell, das aus einem einzelnen Bild und einer Sprachaufnahme ein Video der sprechenden Person erzeugt. Bewegt wird dabei die ganze Figur, nicht nur der Kopf. Die Gewichte gibt es in einer kleinen 2B- und einer großen 21,4B-Variante auf Hugging Face.

Modell-Releases Selbst ausprobieren 4. Nov. 2026 4 Min. Lesezeit Quelle: Reddit r/StableDiffusion

Worum es geht

Kandinsky Lab hat mit Kandinsky S2V 1.0 ein Modell für sogenannte Speech-to-Video-Generierung veröffentlicht. Die Idee ist einfach erklärt: Du gibst ein einzelnes Bild einer Person vor, das Referenzbild, und dazu eine Sprachaufnahme. Das Modell macht daraus ein Video, in dem die Person aus dem Bild so spricht und sich bewegt, dass es zur Aufnahme passt. Bekannt wurde die Veröffentlichung über einen Beitrag im Reddit-Forum r/StableDiffusion, der auf die Projektseite kandinskyavatar.github.io und drei Modell-Repositories auf Hugging Face verlinkt.

Die Gewichte sind frei herunterladbar, und zwar in drei Varianten:

Variante	Größe	Hugging-Face-Repo
Lite	2B	kandinskylab/Kandinsky-S2V-1.0-Lite
Lite-distill	2B	kandinskylab/Kandinsky-S2V-1.0-Lite-distill
Pro	21,4B	kandinskylab/Kandinsky-S2V-1.0-Pro

Was das Modell macht – und was nicht

Die Projektseite beschreibt den Ansatz so:

„Ein Avatar-Video wird aus einem Referenzbild und einer Sprachspur erzeugt. Animiert wird die ganze Figur, nicht nur der Kopf. Der Ton ist eine Bedingung – das Modell erzeugt keinen Klang, es animiert die Person im Referenzbild passend zur vorgegebenen Sprache.“

Darin stecken zwei wichtige Punkte. Erstens geht S2V laut Hersteller über reine Lippensynchronisation hinaus. Viele ältere „Talking Head“-Werkzeuge bewegen nur Mund und Gesicht, der Rest des Bildes bleibt starr. Kandinsky S2V soll dagegen den ganzen Körper animieren, also auch Haltung, Schultern und Gesten. Wie überzeugend das im Einzelfall aussieht, lässt sich aus dem Beitrag nicht ablesen. Unabhängige Tests gibt es bislang nicht.

Zweitens ist das Modell kein Sprachgenerator. Die Audiospur ist eine Bedingung (englisch: condition), also eine Vorgabe, an der sich die Bildgenerierung ausrichtet, ähnlich wie ein Textprompt bei einem Bildgenerator. Die Stimme musst du selbst mitbringen: als echte Aufnahme oder aus einem separaten Text-to-Speech-Modell. Das fertige Video wird anschließend mit dieser Tonspur kombiniert.

Drei Varianten für unterschiedliche Ansprüche

Die Lite-Version mit 2B ist für die meisten Hobbyanwender der interessante Einstieg. Video-Diffusionsmodelle dieser Größe laufen typischerweise auf gängigen Consumer-Grafikkarten. Die Variante Lite-distill ist eine destillierte Fassung. Bei der Destillation lernt ein Modell, das Ergebnis eines größeren oder langsameren Verfahrens in weniger Rechenschritten nachzubilden. Üblicherweise heißt das: schneller, dafür mit etwas Qualitätsverlust. Genaue Angaben zu Schrittzahl oder Geschwindigkeit enthält der Reddit-Beitrag nicht.

Die Pro-Version mit 21,4B ist rund zehnmal so groß und dürfte die bessere Bildqualität und stimmigere Bewegungen liefern. Dafür braucht sie deutlich stärkere Hardware. Benchmarks oder Vergleichswerte zwischen den Varianten nennt die Quelle nicht.

Hintergrund: Kandinsky und Audio-gesteuerte Avatare

Der Name Kandinsky steht für eine Modellfamilie für Bild- und später auch Videogenerierung, die in den vergangenen Jahren mehrfach offen veröffentlicht wurde. Mit S2V kommt nun eine spezialisierte Avatar-Anwendung dazu. Audio-gesteuerte Avatar-Videos sind ein aktives Forschungsfeld. Gefragt sind sie für virtuelle Moderatoren, Lernvideos, Synchronisation und Social-Media-Inhalte. Kommerzielle Dienste bieten so etwas schon länger an, offene Modelle mit Ganzkörper-Animation sind aber noch rar. Genau deshalb ist die Veröffentlichung für die lokale Community interessant.

Was du zum Ausprobieren brauchst

Die Quelle nennt keine konkreten Hardware-Anforderungen. Die folgenden Werte sind daher grobe Schätzungen auf Basis der Modellgröße:

Lite / Lite-distill (2B): Eine Nvidia-Grafikkarte mit etwa 8–12 GB VRAM sollte für kurze Clips in niedriger Auflösung reichen. Bei Videomodellen frisst aber nicht nur das Modell Speicher, sondern auch das Video selbst: Längere Clips und höhere Auflösungen brauchen spürbar mehr.
Pro (21,4B): In voller Genauigkeit sind deutlich über 40 GB VRAM realistisch, also Profi- oder Rechenzentrumskarten. Mit 4-Bit-Quantisierung (das Modell wird verkleinert, indem seine Zahlen gröber gespeichert werden) wären es grob 14–16 GB plus Speicher für die Videogenerierung. Fertige quantisierte Dateien erwähnt die Quelle aber nicht.
Speicherplatz: Mehrere bis viele Gigabyte pro Variante, bei der Pro-Version deutlich mehr.
Mac/CPU: Ob Apple Silicon unterstützt wird, ist unklar. Reiner CPU-Betrieb ist bei Videomodellen praktisch unbrauchbar langsam.
Google Colab: Die Lite-Variante dürfte auf einer Colab-GPU testbar sein, die Pro-Variante eher nicht.

Einordnung

Kandinsky S2V 1.0 schließt eine Lücke: Offene Modelle, die aus Foto und Ton ein Ganzkörper-Video der sprechenden Person machen, gibt es bisher wenige. Dass es neben der großen Pro-Version eine 2B-Variante gibt, macht das Thema auch für Leute mit normaler Gaming-Grafikkarte zugänglich. Offen bleibt einiges: Lizenz, Hardware-Bedarf, maximale Videolänge, Auflösung und vor allem die tatsächliche Qualität im Vergleich zu kommerziellen Avatar-Diensten nennt der Beitrag nicht. Die Angabe, dass die ganze Figur animiert wird, stammt vom Hersteller.

Kritisch ist wie bei allen Avatar-Werkzeugen das Missbrauchspotenzial. Mit einem Foto und einer fremden Sprachaufnahme lassen sich täuschend echte Videos realer Menschen erzeugen. Wer das Modell nutzt, sollte nur Bilder von Personen verwenden, die eingewilligt haben, und die Ergebnisse als KI-generiert kennzeichnen.

Begriffe einfach erklärt

Speech-to-Video (S2V): Ein Verfahren, das aus einer Sprachaufnahme ein Video erzeugt, in dem eine Person passend dazu spricht und sich bewegt.
Referenzbild: Das Ausgangsfoto der Person, die animiert werden soll. Das Modell übernimmt Aussehen, Kleidung und Hintergrund daraus.
Conditioning / Bedingung: Eine Vorgabe, an der sich die Generierung ausrichtet, hier die Tonspur. Das Modell erzeugt den Ton nicht selbst, sondern richtet die Bewegungen danach aus.
Destillation: Ein Trainingsverfahren, bei dem ein Modell lernt, ähnliche Ergebnisse in weniger Rechenschritten zu liefern. Das macht es schneller, oft auf Kosten von etwas Qualität.
Lippensynchronisation: Die Mundbewegungen einer Person werden so angepasst, dass sie zum gesprochenen Text passen.
Quantisierung: Das Modell wird verkleinert, indem seine Zahlen gröber gespeichert werden. So braucht es weniger Grafikspeicher, verliert aber etwas Genauigkeit.

Quellen

Reddit r/StableDiffusion reddit.com

#kandinsky#video-generierung#avatar#speech-to-video#open-weights

Originalquelle lesen

Selbst ausprobieren: Kandinsky S2V 1.0 Lite

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

Kandinsky S2V 1.0 nimmt ein einzelnes Foto einer Person und eine Sprachaufnahme und macht daraus ein Video, in dem diese Person spricht. Laut Hersteller wird dabei nicht nur der Mund bewegt, sondern die ganze Figur, also auch Kopf, Oberkörper und Haltung. Ton erzeugt das Modell nicht. Die Stimme musst du als Audiodatei mitbringen, etwa eine eigene Aufnahme oder eine Datei aus einem Sprachsynthese-Programm. Die kleine Lite-Variante (2B) ist für Heim-PCs gedacht, die Pro-Variante (21,4B) braucht sehr viel Grafikspeicher, sollte aber bessere Ergebnisse liefern. Unabhängige Vergleiche mit kommerziellen Avatar-Diensten gibt es noch nicht. Rechne also damit, dass nicht jeder Clip auf Anhieb überzeugt.

Für wen lohnt es sich?

Interessant für Leute, die Erklärvideos, virtuelle Moderatoren oder animierte Figuren lokal und ohne Abo-Dienst erstellen wollen, und für alle, die mit Videomodellen experimentieren. Wer nur eine Grafikkarte mit wenig Speicher oder gar keine Nvidia-GPU hat oder sofort perfekte Ergebnisse erwartet, ist mit einem fertigen Online-Dienst besser bedient.

Ideen: Was du damit anstellen kannst

Sprechender Avatar für Erklärvideos

Nimm ein Foto von dir oder einer gezeichneten Figur und eine eingesprochene Erklärung. Das Modell erzeugt daraus einen Moderator, der den Text vorträgt. Praktisch für Tutorials, wenn du nicht selbst vor die Kamera willst.

Vorlesefigur für Kindergeschichten

Zeichne oder generiere eine Märchenfigur und nimm eine kurze Geschichte auf. Die Figur erzählt sie dann im Video, eine nette Überraschung für Kinder oder Enkel.

Prototyp für virtuelle Assistenten

Kombiniere ein Text-to-Speech-Modell mit S2V, um einen sprechenden Assistenten für eine Präsentation oder Website-Demo zu bauen. So kannst du testen, wie ein Avatar wirkt, bevor du Geld für einen kommerziellen Dienst ausgibst.

Historische Porträts zum Leben erwecken

Nimm ein gemeinfreies Gemälde und lass die Figur einen kurzen Text über ihre Epoche sprechen. Für Schulreferate oder Museumsprojekte, mit klarer Kennzeichnung als KI-Erzeugnis.

Charaktere für Spiele oder Pen-&-Paper

Erstelle Portraits deiner Spielfiguren und lass sie Dialogzeilen sprechen. So entstehen kurze Zwischensequenzen oder Charaktervorstellungen für deine Runde.

Größe2 Mrd. Parameter

Download4,5 GB (bei 100 MBit/s ca. 6 Min.)

Lizenzmit

ArtVideogenerator

Hugging Facekandinskylab/Kandinsky-S2V-1.0-Lite

Was dein Rechner braucht

Grafikkarte (NVIDIA) mind. 28 GB VRAMLaut README brauchst du eine NVIDIA-Grafikkarte mit mindestens 48 GB. Auf einer H100 haben die Entwickler bis zu 57 GiB gemessen. Mit der Einstellung „offload.vae_tiling: true“ sinkt der Bedarf auf etwa 28 GB. Dafür können im Video leichte Kanten zwischen den Bildkacheln sichtbar werden. Mit mehr Speicher brauchst du diese Einstellung nicht und bekommst ein sauberes Bild.

Mac (Apple Silicon M1–M5) nicht unterstütztDas Modell braucht laut Quelle eine NVIDIA-Grafikkarte mit mindestens 48 GB und CUDA 13. Macs haben keine NVIDIA-Karten. Nutze stattdessen die Online-Demo auf Hugging Face (Space „kandinskylab/Kandinsky-S2V-1.0-Demo“) oder einen gemieteten Cloud-Rechner mit NVIDIA-Karte.

Speicherplatz ca. 6,5 GB freiModell-Download plus Programme

Im Browser Online-Demo vorhandenauf Hugging Face ausprobieren, ganz ohne Installation

Starte mit Lite (2B) oder Lite-distill (2B). Die destillierte Version ist voraussichtlich schneller und eignet sich gut zum Ausprobieren, die normale Lite-Version dürfte etwas sauberere Ergebnisse liefern. Die Pro-Version mit 21,4B lohnt sich nur mit einer Grafikkarte mit sehr viel VRAM (Profi-Bereich). Offizielle quantisierte Fassungen werden in der Quelle nicht erwähnt.

Die Quelle nennt keine offiziellen Hardware-Anforderungen. Alle Werte hier sind Schätzungen.
Lite/Lite-distill (2B): Eine Nvidia-GPU mit etwa 8–12 GB VRAM sollte für kurze Clips reichen.
Pro (21,4B): In voller Genauigkeit vermutlich über 40 GB VRAM, also eher etwas für Profi-Karten oder gemietete Cloud-GPUs.
Längere Videos und höhere Auflösungen brauchen bei Videomodellen deutlich mehr Grafikspeicher als das Modell allein.
Reiner CPU-Betrieb ist für Videogenerierung viel zu langsam. Ob Apple Silicon unterstützt wird, ist unklar.

Wie finde ich heraus, was mein Rechner hat?

Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (kandinskylab/kandinsky-s2v auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.

Im Browser (ohne Installation)

Die Entwickler haben eine Online-Demo auf Hugging Face. Dort kannst du das Modell sofort ausprobieren, ohne etwas zu installieren. Manchmal musst du kurz warten, bis die Demo aufgewacht ist.

Online-Demo öffnen

Windows 10 / 11

Windows 10 / 11: nicht offiziell getestet. Windows wird in der Quelle nicht erwähnt. Du brauchst auch hier eine NVIDIA-Karte mit mindestens 48 GB (mit VAE-Tiling etwa 28 GB) und einen Treiber ab Version 580. Sicherer läuft es unter WSL2 (Linux in Windows) mit der Linux-Anleitung, oder du nutzt die Online-Demo auf Hugging Face.

Voraussetzungen prüfen. Installiere Git, ein aktuelles Python 3 und den NVIDIA-Treiber ab Version 580. Diesen Treiber braucht die CUDA-13-Version von PyTorch (CUDA ist die Rechenschnittstelle von NVIDIA). Halte etwa 25 GB freien Speicherplatz bereit. Öffne dann die PowerShell und prüfe alles mit den Befehlen unten.
```
nvidia-smi
git --version
python --version
```
Programm herunterladen. Dieser Befehl lädt den Programmcode von GitHub und wechselt in den neuen Ordner kandinsky-s2v.
```
git clone https://github.com/kandinskylab/kandinsky-s2v
cd kandinsky-s2v
```
Eigene Python-Umgebung anlegen. Eine virtuelle Umgebung (venv) hält die Pakete dieses Programms getrennt von anderen Programmen. Wenn die Aktivierung geklappt hat, steht vorne „(.venv)“. Meldet PowerShell, dass Skripte gesperrt sind, gib vorher „Set-ExecutionPolicy -Scope CurrentUser RemoteSigned“ ein.
```
python -m venv .venv
.venv\Scripts\Activate.ps1
```
Programm installieren. Dieser Befehl installiert Kandinsky S2V samt PyTorch und allen anderen Paketen. Das dauert einige Minuten.
```
pip install -e .
```
Modell herunterladen (optional). Beim ersten Start lädt das Programm alles selbst, zusammen etwa 25 GB. Wenn du das Hauptmodell vorab holen willst, nimm den Befehl unten.
```
pip install huggingface_hub
hf download kandinskylab/Kandinsky-S2V-1.0-Lite
```
Foto und Sprachaufnahme bereitlegen. Lege ein Foto der Person als reference.png und eine Sprachaufnahme als speech.wav in den Ordner kandinsky-s2v. Die Aufnahme kannst du zum Beispiel mit der Windows-Sprachaufzeichnung oder mit Audacity machen und als WAV speichern. Nimm nur Fotos von Menschen, die zugestimmt haben.
Speicher sparen bei 28 bis 48 GB. Hat deine Karte weniger als 48 GB, öffne src\kandinsky_s2v\configs\s2v_lite.yaml im Editor. Setze im Bereich „offload“ den Wert „vae_tiling“ auf „true“. Dann braucht das Programm nur noch etwa 28 GB.
Erstes Video erzeugen. Dieser Befehl erzeugt aus Foto und Aufnahme die Datei out.mp4. In PowerShell trennst du lange Befehle mit dem Rückwärts-Hochkomma ` auf mehrere Zeilen. Der erste Start dauert lange, weil die Modelle heruntergeladen werden.
```
kandy-s2v generate `
    --config src/kandinsky_s2v/configs/s2v_lite.yaml `
    --audio speech.wav `
    --image reference.png `
    --out out.mp4
```
Ergebnis. Im Ordner kandinsky-s2v liegt die Datei out.mp4: ein Video mit 25 Bildern pro Sekunde, in dem die Person aus deinem Foto passend zur Sprachaufnahme spricht und sich bewegt.

macOS

macOS: nicht unterstützt. Das Modell braucht laut Quelle eine NVIDIA-Grafikkarte mit mindestens 48 GB und CUDA 13. Macs haben keine NVIDIA-Karten. Nutze stattdessen die Online-Demo auf Hugging Face (Space „kandinskylab/Kandinsky-S2V-1.0-Demo“) oder einen gemieteten Cloud-Rechner mit NVIDIA-Karte.

Linux

Linux: unterstützt. Linux mit einer NVIDIA-Grafikkarte ist das System, für das die Anleitung geschrieben wurde. Du brauchst mindestens 48 GB Grafikspeicher (mit VAE-Tiling etwa 28 GB) und einen Treiber ab Version 580. Ohne so eine Karte kannst du die Online-Demo auf Hugging Face nutzen (Space „kandinskylab/Kandinsky-S2V-1.0-Demo“).

Voraussetzungen prüfen. Du brauchst eine NVIDIA-Grafikkarte mit viel Speicher (siehe oben) und einen NVIDIA-Treiber ab Version 580. Diesen Treiber braucht die CUDA-13-Version von PyTorch (CUDA ist die Rechenschnittstelle von NVIDIA). Außerdem brauchst du Git, ein aktuelles Python 3 und etwa 25 GB freien Speicherplatz für die Modelldateien. Mit dem Befehl unten siehst du oben rechts die Treiberversion.
```
nvidia-smi
git --version
python3 --version
```
Programm herunterladen. Dieser Befehl lädt den Programmcode von GitHub und wechselt in den neuen Ordner. Danach gibt es einen Ordner namens kandinsky-s2v.
```
git clone https://github.com/kandinskylab/kandinsky-s2v
cd kandinsky-s2v
```
Eigene Python-Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Bereich nur für dieses Programm. So kommt es nicht mit anderen Programmen durcheinander. Wenn die Aktivierung geklappt hat, steht vorne in der Zeile „(.venv)“.
```
python3 -m venv .venv
source .venv/bin/activate
```
Programm installieren. Dieser Befehl installiert Kandinsky S2V und alles, was es braucht, auch PyTorch. Das kann einige Minuten dauern. Wenn du lieber das Werkzeug uv nutzt, geht stattdessen auch „uv sync“.
```
pip install -e .
```
Modell herunterladen (optional). Du musst nichts von Hand laden: Beim ersten Start holt das Programm alles selbst, zusammen etwa 25 GB. Dazu gehören das Hauptmodell, Qwen2.5-Omni-7B, CLIP und der Video-VAE (der Teil, der Bilder in Video umwandelt und zurück). Wenn du das Hauptmodell vorab laden willst, nimm den Befehl unten.
```
pip install huggingface_hub
hf download kandinskylab/Kandinsky-S2V-1.0-Lite
```
Foto und Sprachaufnahme bereitlegen. Lege im Ordner kandinsky-s2v ein Foto der Person als reference.png ab. Daneben kommt eine Sprachaufnahme als speech.wav. Die Aufnahme kannst du zum Beispiel mit dem Handy oder einem Audio-Programm wie Audacity machen und als WAV speichern. Nimm nur Fotos von Menschen, die zugestimmt haben.
Speicher sparen bei 28 bis 48 GB. Hat deine Karte weniger als 48 GB, öffne die Datei src/kandinsky_s2v/configs/s2v_lite.yaml in einem Texteditor. Suche dort den Bereich „offload“ und setze „vae_tiling“ auf „true“. Dann braucht das Programm nur noch etwa 28 GB. Dafür können leichte Kanten im Bild sichtbar werden.
Erstes Video erzeugen. Dieser Befehl ist das Beispiel aus der Anleitung. Er nimmt dein Foto und deine Aufnahme und erzeugt daraus out.mp4. Beim ersten Mal dauert es lange, weil erst die Modelle heruntergeladen werden. Selbst auf einer H100 braucht eine Sekunde Video etwa 44 Sekunden Rechenzeit.
```
kandy-s2v generate \
    --config src/kandinsky_s2v/configs/s2v_lite.yaml \
    --audio speech.wav \
    --image reference.png \
    --out out.mp4
```
Ergebnis. Im Ordner kandinsky-s2v liegt die Datei out.mp4: ein Video mit 25 Bildern pro Sekunde, in dem die Person aus deinem Foto passend zur Sprachaufnahme spricht und sich bewegt.

So geht es nach dem ersten Ergebnis weiter

Mit --prompt und --negative ersetzt du die Standard-Beschreibung aus der Konfiguration, etwa um die Bewegung oder Stimmung zu beschreiben. Mit --steps, --guidance und --seed änderst du die Einstellungen der Bildberechnung. Ein anderer --seed ergibt eine andere Variante.
Lange Aufnahmen werden automatisch in 5-Sekunden-Stücken berechnet. Mit --chunks N legst du die Zahl der Stücke selbst fest.
Deutlich schneller geht es mit der destillierten Version: Nimm dazu --config src/kandinsky_s2v/configs/s2v_lite_distill.yaml. Sie rechnet mit 16 statt 50 Schritten und ist etwa fünfmal so schnell (8,7 statt 44 Sekunden pro Videosekunde auf einer H100).
Hast du mehrere NVIDIA-Karten in einem Rechner, kannst du die Arbeit mit 'just generate-parallel 2' oder 'just generate-parallel 4' aufteilen, gefolgt von denselben Optionen. Bei Lite gehen nur 2 oder 4 Karten.

Das kannst du ausprobieren

Ein frontales Porträtfoto von dir selbst plus eine 10-sekündige Sprachaufnahme: „Hallo, willkommen zu meinem Kanal!“

Eine gemalte Fantasiefigur (Ganzkörperbild) plus ein kurzer vorgelesener Märchenabsatz

Ein Foto einer Person im Business-Outfit plus ein per Sprachsynthese erzeugter Produkt-Erklärtext von 15 Sekunden

Ein Halbkörperbild mit sichtbaren Händen plus eine emotionale, laute Sprachaufnahme, um zu testen, ob Gesten und Körperbewegung mitgehen

Dasselbe Bild mit zwei verschiedenen Tonspuren (ruhig vs. aufgeregt), um zu vergleichen, wie stark die Animation auf die Sprache reagiert

Tipps für bessere Ergebnisse

Nutze ein gut ausgeleuchtetes, scharfes Referenzbild, auf dem die Person klar zu sehen ist. Wenn die ganze Figur animiert werden soll, sollte auch mehr als nur das Gesicht im Bild sein.
Verwende saubere Sprachaufnahmen ohne Hintergrundmusik oder Rauschen, damit das Modell die Sprache gut erkennt.
Teste zuerst mit kurzen Clips von wenigen Sekunden und steigere die Länge erst, wenn die Ergebnisse passen.
Vergleiche Lite und Lite-distill mit demselben Bild und Ton, um herauszufinden, ob dir Tempo oder Qualität wichtiger ist.

Wenn es hakt

Das Modell erzeugt keinen Ton. Du brauchst eine fertige Sprachaufnahme und musst sie eventuell selbst wieder mit dem Video zusammenführen.

Die Lizenz wird im Reddit-Beitrag nicht genannt. Prüfe die Modellkarte auf Hugging Face, bevor du Ergebnisse kommerziell nutzt.

Zu wenig VRAM führt zu Abbrüchen (Out of Memory). Dann kürzere Clips oder eine niedrigere Auflösung wählen, oder zur Lite-Variante wechseln.

Die Pro-Variante ist sehr groß. Lade sie nur herunter, wenn deine Hardware sie realistisch stemmen kann.

Verwende nur Fotos von Personen, die zugestimmt haben. Täuschend echte Videos realer Menschen können rechtliche Probleme verursachen.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: mit.

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.