Viggle Remake: Offenes Modell tauscht Personen in ganzen Videos aus, KI-Agent inklusive

Viggle hat mit Viggle Remake ein Modell mit offenen Gewichten veröffentlicht, das Personen in bestehenden Videos ersetzt und Szenen bearbeitet. Bewegung, Kamera und Ton bleiben dabei erhalten. Besonders ist der mitgelieferte MCP-Server: KI-Agenten wie Claude Code sollen damit auch lange Videos selbstständig umbauen.

Modell-Releases Selbst ausprobieren 4. Nov. 2026 4 Min. Lesezeit Quelle: Reddit r/StableDiffusion

Worum es geht

Das Unternehmen Viggle, bekannt für seine App, mit der man Figuren in Videos tanzen und sich bewegen lassen kann, hat Viggle Remake veröffentlicht. Das Modell kann in einem bestehenden Video Personen austauschen (im Englischen „recasting“, also eine Rolle neu besetzen) und Szenen bearbeiten. Bewegungen, Kameraführung und Tonspur des Originals bleiben dabei erhalten. Die Gewichte sind offen und liegen auf Hugging Face unter Viggle/Viggle-Remake. Bekannt gemacht wurde das über einen Beitrag auf X und im Reddit-Forum r/StableDiffusion. Wer nichts selbst installieren will, kann dieselbe Funktion in der Viggle-App nutzen.

Gedacht für KI-Agenten

Das Auffälligste an der Veröffentlichung: Viggle beschreibt Remake als „agent-first“, also von vornherein dafür gebaut, von einem KI-Agenten bedient zu werden statt von Hand. Dafür liefert Viggle einen MCP-Server mit. MCP (Model Context Protocol) ist ein offener Standard, über den KI-Assistenten externe Werkzeuge ansteuern können, eine Art Steckdose für Zusatzfunktionen. Agenten wie Claude Code oder Codex können damit laut Viggle Personen in Videos „beliebiger Länge“ austauschen.

Der Agent übernimmt dabei eine ganze Kette von Arbeitsschritten:

Er schneidet das Video in Abschnitte (Fenster).
Er bemalt die Keyframes, also ausgewählte Schlüsselbilder, an denen sich das Modell orientiert.
Er schreibt die Prompts, die Textanweisungen für das Modell.
Er rendert die Abschnitte.
Er prüft seine eigene Arbeit.
Er setzt das Ergebnis wieder zu einem Video zusammen.

Das Zerlegen in Fenster ist nötig, weil Videomodelle in der Regel nur kurze Clips am Stück erzeugen können. Längere Videos entstehen, indem man viele Teilstücke erzeugt und sauber aneinanderfügt. Dabei soll die Person über alle Schnitte hinweg gleich aussehen. Laut Viggle ist der bisher längste Lauf ein zweiminütiges Musikvideo. Das Repository soll alles enthalten, um dieses Ergebnis nachzustellen.

Von Hand anspruchsvoller als der Vorgänger

Viggle sagt offen, dass Remake komplizierter ist als das ältere Viggle-Animate. Wer das Modell manuell bedient, braucht einen gut strukturierten Prompt und einige bemalte Keyframes, und das Ergebnis hängt laut Viggle „stark von beidem ab“. Genau diese Arbeit soll der MCP-Agent abnehmen. Für alle, die sich weder mit Prompts noch mit Agenten beschäftigen wollen, verweist Viggle auf die eigene App.

Das ist ein interessanter Ansatz. Statt ein Modell möglichst einfach bedienbar zu machen, setzt Viggle darauf, dass ein Sprachmodell die mühsame Kleinarbeit erledigt: Keyframes vorbereiten, Prompts formulieren, Qualität kontrollieren. Die Bedienoberfläche ist in diesem Fall eher der Agent als ein Mensch.

Was im Repository steckt

Neben den eigentlichen Gewichten und dem MCP-Server enthält das Hugging-Face-Repo laut Viggle:

ComfyUI-Nodes und Workflows: ComfyUI ist eine verbreitete, kostenlose Oberfläche, in der man KI-Bild- und Videoprozesse aus Bausteinen zusammenklickt.
int8- und GGUF-Dateien: verkleinerte Fassungen für Grafikkarten mit weniger Speicher. Die Zahlen des Modells werden dabei gröber gespeichert (Quantisierung).
Kleinere LoRAs mit Rank 128 und 64: LoRAs sind schlanke Zusatzmodule, die ein Basismodell auf eine bestimmte Aufgabe trimmen. Der „Rank“ bestimmt grob ihre Größe, kleinere Ränge brauchen weniger Speicher.

Dass es LoRAs gibt, deutet darauf hin, dass Remake auf einem bestehenden Video-Basismodell aufsetzt. Welches das ist, wie viele Parameter das Modell hat und unter welcher Lizenz es steht, geht aus dem Beitrag nicht hervor.

Was du zum Ausprobieren brauchst

Konkrete Hardware-Angaben nennt Viggle nicht, nur den Hinweis, dass die int8- und GGUF-Dateien für „kleinere GPUs“ gedacht sind. Realistisch heißt das:

Grafikkarte: eine Nvidia-GPU. Wie viel VRAM nötig ist, ist unklar. Videobearbeitung dieser Art braucht erfahrungsgemäß eher viel Speicher, die quantisierten Dateien sollen den Bedarf senken.
Software: ComfyUI für den manuellen Weg. Für den Agenten-Weg zusätzlich ein Agent mit MCP-Unterstützung wie Claude Code oder Codex, die jeweils ein eigenes Konto beziehungsweise Abo benötigen.
Speicherplatz und Zeit: Mehrere Gigabyte für die Modelldateien. Lange Videos bestehen aus vielen gerenderten Fenstern, ein Zwei-Minuten-Clip dürfte also lange dauern.
Mac/CPU/Colab: Dazu macht die Quelle keine Angaben. Reiner CPU-Betrieb ist für Videogenerierung praktisch nicht nutzbar.

Einordnung

Viggle Remake ist aus zwei Gründen bemerkenswert. Erstens veröffentlicht ein kommerzieller Anbieter die Gewichte für eine Kernfunktion seiner eigenen App, inklusive ComfyUI-Integration und quantisierter Dateien. Damit ist das Modell direkt in der lokalen Community nutzbar. Zweitens ist der agentenbasierte Ansatz neu: Ein KI-Agent bedient ein Videomodell und erledigt auch die Qualitätskontrolle. Er zeigt, wohin sich Kreativ-Werkzeuge entwickeln könnten.

Vieles ist aber offen. Es gibt keine Angaben zu Modellgröße, Basismodell, Lizenz und Hardware-Bedarf, und keine unabhängigen Tests der Qualität. Dass Agenten Videos „beliebiger Länge“ verarbeiten können, ist eine Herstellerangabe, belegt ist bisher ein zweiminütiges Beispiel. Viggle selbst räumt ein, dass das Ergebnis bei manueller Nutzung stark von Prompt und Keyframes abhängt.

Dazu kommen die ethischen Fragen, die jedes Werkzeug zum Personentausch in Videos aufwirft. Wer Gesichter realer Menschen ohne deren Zustimmung in Videos einsetzt, erzeugt Deepfakes und kann sich damit rechtlich angreifbar machen.

Begriffe einfach erklärt

Recasting: Eine Rolle im Video wird neu besetzt: Eine Person wird durch eine andere ersetzt, während Bewegung und Szene gleich bleiben.
MCP (Model Context Protocol): Ein offener Standard, über den KI-Assistenten externe Programme und Werkzeuge bedienen können, ähnlich einer Steckdose für Zusatzfunktionen.
KI-Agent: Ein KI-Programm, das eine Aufgabe in mehreren Schritten selbstständig abarbeitet, Werkzeuge benutzt und seine Ergebnisse prüft.
Keyframe: Ein ausgewähltes Schlüsselbild im Video, an dem sich das Modell orientiert, etwa wie die neue Person aussehen soll.
ComfyUI: Eine kostenlose Oberfläche, in der man KI-Bild- und Videoabläufe aus Bausteinen (Nodes) zusammensteckt.
GGUF / int8: Verkleinerte Dateiformate eines Modells, bei denen die Zahlen gröber gespeichert werden, damit es auf Grafikkarten mit weniger Speicher läuft.
LoRA: Ein schlankes Zusatzmodul, das ein großes Basismodell auf eine bestimmte Aufgabe trimmt. Der Rank bestimmt grob, wie groß und detailliert es ist.

Quellen

Reddit r/StableDiffusion reddit.com

#viggle#video-editing#mcp#comfyui#open-weights#ki-agenten

Originalquelle lesen

Selbst ausprobieren: Viggle Remake

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

Viggle Remake ersetzt in einem vorhandenen Video eine Person durch eine andere oder verändert die Szene. Bewegungen, Kameraführung und Tonspur bleiben dabei wie im Original. Von Hand bedienst du es in ComfyUI: Dafür brauchst du einen gut aufgebauten Prompt und ein paar bemalte Schlüsselbilder (Keyframes), und das Ergebnis hängt laut Viggle stark davon ab. Alternativ übernimmt ein KI-Agent wie Claude Code oder Codex über den mitgelieferten MCP-Server die ganze Arbeit. Er zerlegt das Video in Abschnitte, bereitet Keyframes vor, schreibt Prompts, rendert, prüft und setzt alles wieder zusammen. So hat Viggle nach eigenen Angaben ein zweiminütiges Musikvideo umgebaut. Es ist deutlich anspruchsvoller als der Vorgänger Viggle-Animate und kein Ein-Klick-Werkzeug.

Für wen lohnt es sich?

Lohnt sich für Leute, die schon mit ComfyUI arbeiten oder einen KI-Agenten wie Claude Code nutzen und kreative Videoprojekte wie Musikvideos, Parodien oder Kurzfilme lokal umsetzen wollen. Wer einfach nur schnell ein lustiges Clip-Ergebnis will, ist laut Viggle selbst mit der Viggle-App besser bedient.

Ideen: Was du damit anstellen kannst

Eigenes Musikvideo umbesetzen

Film dich zu einem Lied und lass den Agenten dich durch eine Fantasiefigur ersetzen. Bewegung, Kamera und Musik bleiben erhalten, so entsteht ein Musikvideo mit neuer Hauptfigur.

Parodien und Memes

Nimm einen eigenen Clip und setze eine Comic- oder Tierfigur ein. Das ist genau die Art Inhalt, für die die Viggle-App bekannt ist, nur lokal und mit mehr Kontrolle.

Kostüm- und Look-Tests für Kurzfilme

Drehe eine Szene einmal und teste verschiedene Kostüme oder Figuren, ohne neu zu filmen. Praktisch für Hobbyfilmer, die Ideen schnell visualisieren wollen.

Szenen-Umgestaltung für Präsentationen

Verlege ein gefilmtes Produkt- oder Erklärvideo in eine andere Umgebung, etwa vom Büro an den Strand. Die Person und ihr Vortrag bleiben gleich.

Agenten-Workflows erkunden

Wer mit Claude Code oder Codex arbeitet, kann am MCP-Server lernen, wie Agenten mehrstufige Kreativaufgaben selbstständig erledigen und prüfen. Das ist ein gutes Übungsfeld für eigene Automatisierungen.

Größe20,1 Mrd. Parameter

Download59 GB (bei 100 MBit/s ca. 78 Min.)

Lizenzeigene Lizenz (siehe Model Card)

ArtVideogenerator

Hugging FaceViggle/Viggle-Remake

Was dein Rechner braucht

Grafikkarte (NVIDIA) mind. 80 GB VRAMDie 80 GB sind eine Herstellerangabe: sample.py braucht in bf16 (16-Bit-Genauigkeit) eine einzelne Grafikkarte mit mindestens 80 GB Grafikspeicher. Für kleinere Karten bis hinunter zu 12 GB verweist der Hersteller auf die ComfyUI-Variante mit int8- und GGUF-Dateien. Die genaue Anleitung dazu steht in COMFYUI.md und lag hier nicht vor.

Mac (Apple Silicon M1–M5) ab 128 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen

Speicherplatz ca. 61 GB freiModell-Download plus Programme

Wenn deine Grafikkarte viel VRAM hat, nimm die vollen Gewichte. Für kleinere GPUs liegen im Repo int8- und GGUF-Dateien bei, und die LoRAs mit Rank 64 sind kleiner als die mit Rank 128. Konkrete VRAM-Werte nennt die Quelle nicht. Fang deshalb mit der kleinsten Variante und kurzen Clips an und taste dich hoch.

Viggle nennt keine konkreten VRAM-Werte. Die int8- und GGUF-Dateien sind ausdrücklich für kleinere GPUs gedacht.
Eine Nvidia-Grafikkarte ist für Videogenerierung praktisch Pflicht, CPU-Betrieb ist viel zu langsam.
Lange Videos werden in viele Fenster zerlegt und einzeln gerendert. Rechne mit langen Laufzeiten und viel freiem Speicherplatz für Zwischenergebnisse.
Für den Agenten-Weg brauchst du zusätzlich einen MCP-fähigen Agenten wie Claude Code oder Codex, der ein eigenes Konto benötigt.

Wie finde ich heraus, was mein Rechner hat?

Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Dieses Modell läuft mit einem eigenen Programm seiner Entwickler. Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.

Windows 10 / 11

Windows 10 / 11: nicht offiziell getestet. Windows wird in der Quelle nicht erwähnt. Du brauchst eine NVIDIA-Karte mit mindestens 80 GB Speicher, so etwas steckt praktisch nie in einem normalen PC. Das Beispielskript demo.sh läuft unter Windows nur in WSL2 (einem Linux innerhalb von Windows). Einfacher ist die Viggle-App im Browser oder der ComfyUI-Weg für kleinere Karten.

Voraussetzungen prüfen. Installiere Python 3 und setze beim Installieren den Haken bei „Add to PATH“. Du brauchst außerdem den aktuellen NVIDIA-Treiber, eine Grafikkarte mit mindestens 80 GB Speicher, das Programm ffmpeg im Suchpfad und etwa 160 GB freien Platz. Öffne die PowerShell und prüfe alles mit diesen Befehlen.
```
python --version
nvidia-smi
ffmpeg -version
```
Arbeitsordner und Umgebung anlegen. Eine virtuelle Umgebung (venv) hält die Python-Pakete getrennt vom Rest des Systems. Meldet PowerShell beim Aktivieren einen Fehler wegen Skripten, gib vorher Set-ExecutionPolicy -Scope CurrentUser RemoteSigned ein. Wenn es geklappt hat, steht (.venv) vor der Eingabezeile.
```
mkdir viggle; cd viggle
python -m venv .venv
.venv\Scripts\Activate.ps1
```
Download-Werkzeug installieren. Das Paket huggingface_hub bringt den Befehl hf zum Herunterladen mit.
```
pip install -U huggingface_hub
```

Basismodell MiniMax-H3 laden. Das Basismodell ist etwa 144 GB groß, rechne mit mehreren Stunden. Wird der Download abgebrochen, starte den Befehl einfach noch einmal.

hf download MiniMaxAI/MiniMax-H3 --local-dir ./MiniMax-H3 `
  --include "modular_model_index.json" "transformer/*" "text_encoder/*" "tokenizer/*" `
            "processor/*" "vae/*" "audio_vae/*" "scheduler/*" "audio_scheduler/*" "docs/*"

Viggle-Remake-Dateien laden. Dieser Befehl lädt nur die LoRAs, das Startprogramm und die Beispiele, zusammen etwa 5,5 GB. Benutze kein git clone, sonst kommen rund 210 GB.
```
hf download Viggle/Viggle-Remake --local-dir ./Viggle-Remake `
  --include "lora/*" "inference/*" "examples/*" "requirements.txt"
```
Benötigte Pakete installieren. Dieser Befehl installiert alle Pakete für das Startprogramm. Da Windows nicht offiziell getestet ist, kann hier einzelnes Paket scheitern. Weiche dann auf WSL2 aus.
```
pip install -r Viggle-Remake/requirements.txt
```
Erstes Video umbauen. Nimm als Vorlage ein Beispiel aus Viggle-Remake\examples\inputs. Dort liegen ein Video, bearbeitete Standbilder und eine passende Beschreibung im Format mit sechs Abschnitten. Kopiere die Dateien als source.mp4, ref1.png, ref2.png und prompt.txt in deinen Arbeitsordner und passe die --pin-Zahlen an das Beispiel an. Das Ergebnis landet in out.mp4.
```
python Viggle-Remake/inference/sample.py --mode swap `
  --video source.mp4 --prompt prompt.txt `
  --ref ref1.png --ref ref2.png --pin 12 --pin 96 `
  --frames 124 --short-edge 480 --seed 0 `
  --base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4
```
Ergebnis. Im Ordner liegt die Datei out.mp4: ein etwa 5 bis 12 Sekunden langer Videoclip, in dem Personen oder Dinge ausgetauscht sind. Bewegung, Kamera und Originalton bleiben erhalten.

macOS

macOS: nicht offiziell getestet. Macs werden in der Quelle nicht erwähnt. Das Startprogramm ist für eine NVIDIA-Grafikkarte mit 80 GB gebaut. Auf einem Mac wird es wahrscheinlich nicht oder nur extrem langsam laufen, denn selbst das Basismodell ist rund 144 GB groß. Nutze am Mac besser die Viggle-App im Browser.

Voraussetzungen prüfen. Du brauchst die Xcode-Kommandozeilenwerkzeuge (Befehl unten), Python 3, das Programm ffmpeg und etwa 160 GB freien Platz. Realistisch ist ein Versuch nur auf einem Mac mit sehr viel gemeinsamem Speicher (Unified Memory), also deutlich über 128 GB.
```
xcode-select --install
python3 --version
ffmpeg -version
```
Arbeitsordner und Umgebung anlegen. Die virtuelle Umgebung hält die Pakete getrennt vom Rest des Systems. Wenn es geklappt hat, steht (.venv) vor der Eingabezeile.
```
mkdir viggle && cd viggle
python3 -m venv .venv
source .venv/bin/activate
```
Download-Werkzeug installieren. Das Paket huggingface_hub bringt den Befehl hf zum Herunterladen mit.
```
pip install -U huggingface_hub
```

Basismodell MiniMax-H3 laden. Dieser Download ist etwa 144 GB groß. Wird er abgebrochen, starte den Befehl einfach noch einmal.

hf download MiniMaxAI/MiniMax-H3 --local-dir ./MiniMax-H3 \
  --include "modular_model_index.json" "transformer/*" "text_encoder/*" "tokenizer/*" \
            "processor/*" "vae/*" "audio_vae/*" "scheduler/*" "audio_scheduler/*" "docs/*"

Viggle-Remake-Dateien laden. Dieser Befehl lädt LoRAs, Startprogramm und Beispiele, zusammen etwa 5,5 GB. Benutze kein git clone, sonst kommen rund 210 GB.
```
hf download Viggle/Viggle-Remake --local-dir ./Viggle-Remake \
  --include "lora/*" "inference/*" "examples/*" "requirements.txt"
```
Benötigte Pakete installieren. Dieser Befehl installiert die Pakete für das Startprogramm. Einige davon sind möglicherweise nur für NVIDIA-Karten gedacht und lassen sich auf dem Mac nicht installieren.
```
pip install -r Viggle-Remake/requirements.txt
```
Beispiele versuchen. Das Skript berechnet je ein Beispiel für die Modi swap und edit. Bricht es mit einer Meldung zu CUDA ab, läuft das Modell auf dem Mac nicht. CUDA ist die Rechentechnik von NVIDIA. Nutze dann die Viggle-App.
```
bash Viggle-Remake/examples/demo.sh
```
Ergebnis. Im Ordner liegt die Datei out.mp4: ein etwa 5 bis 12 Sekunden langer Videoclip, in dem Personen oder Dinge ausgetauscht sind. Bewegung, Kamera und Originalton bleiben erhalten.

Linux

Linux: unterstützt. Die Model Card richtet sich an Linux-Rechner mit NVIDIA-Grafikkarten. sample.py braucht eine Karte mit mindestens 80 GB Speicher, etwa eine A100 oder H100 mit 80 GB. Ohne so eine Karte nutzt du die Viggle-App im Browser. Dort musst du nichts einrichten und brauchst keine Grafikkarte.

Voraussetzungen prüfen. Du brauchst Python 3 mit venv und pip, eine NVIDIA-Grafikkarte mit mindestens 80 GB Grafikspeicher und den aktuellen NVIDIA-Treiber. Außerdem brauchst du das Programm ffmpeg zum Bearbeiten von Videos und rund 160 GB freien Platz auf der Festplatte. Mit den Befehlen prüfst du, ob alles da ist. nvidia-smi zeigt deine Grafikkarte und ihren Speicher an.
```
python3 --version
nvidia-smi
ffmpeg -version
```
Arbeitsordner und Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgeschlossener Bereich für Python-Pakete. So bringt die Installation nichts anderes auf deinem Rechner durcheinander. Nach dem Aktivieren steht (.venv) vorne in der Eingabezeile.
```
mkdir viggle && cd viggle
python3 -m venv .venv
source .venv/bin/activate
```
Download-Werkzeug installieren. Mit dem Befehl hf lädst du Dateien von Hugging Face herunter. Er gehört zum Paket huggingface_hub.
```
pip install -U huggingface_hub
```
Basismodell MiniMax-H3 laden. Viggle Remake baut auf dem großen Basismodell MiniMax-H3 auf. Dieser Download ist etwa 144 GB groß und kann viele Stunden dauern. Wird der Download abgebrochen, starte denselben Befehl einfach noch einmal. Er macht dann an der Stelle weiter, an der er aufgehört hat.
```
hf download MiniMaxAI/MiniMax-H3 --local-dir ./MiniMax-H3 \
  --include "modular_model_index.json" "transformer/*" "text_encoder/*" "tokenizer/*" \
            "processor/*" "vae/*" "audio_vae/*" "scheduler/*" "audio_scheduler/*" "docs/*"
```
Viggle-Remake-Dateien laden. Dieser Befehl lädt nur die nötigen Teile, etwa 5,5 GB: die LoRAs, das Startprogramm und die Beispiele. Eine LoRA ist eine kleine Zusatzdatei, die dem Basismodell eine neue Fähigkeit beibringt. Benutze hier kein git clone, sonst lädst du rund 210 GB herunter.
```
hf download Viggle/Viggle-Remake --local-dir ./Viggle-Remake \
  --include "lora/*" "inference/*" "examples/*" "requirements.txt"
```
Benötigte Pakete installieren. Dieser Befehl installiert alle Python-Pakete, die das Startprogramm braucht. Er muss ohne rote Fehlermeldung durchlaufen.
```
pip install -r Viggle-Remake/requirements.txt
```
Beispiele berechnen lassen. Das Skript demo.sh berechnet für jeden der beiden Modi ein Beispiel aus dem Ordner examples/inputs. Die beiden Modi heißen swap und edit. Wenn im Ergebnis die Windräder noch zu sehen sind oder der Pizzabäcker unverändert ist, wurde die LoRA nicht geladen. Falls das Skript Pfade nicht findet, schau in die Datei demo.sh, von welchem Ordner aus sie gestartet werden will.
```
bash Viggle-Remake/examples/demo.sh
```
Eigenes Video umbauen. Für ein eigenes Video brauchst du drei Dinge. Erstens das Originalvideo als source.mp4. Zweitens ein bis vier Standbilder aus diesem Video, die du in einem Bildprogramm bearbeitet hast, zum Beispiel mit einer neuen Person darin (ref1.png, ref2.png). Drittens die Datei prompt.txt mit der Beschreibung im vorgeschriebenen Format mit sechs Abschnitten. Vorlagen findest du in Viggle-Remake/examples/inputs. Mit --pin sagst du, aus welchem Bild des Originalvideos das jeweilige bearbeitete Bild stammt. Das Ergebnis landet in out.mp4.
```
python Viggle-Remake/inference/sample.py --mode swap \
  --video source.mp4 --prompt prompt.txt \
  --ref ref1.png --ref ref2.png --pin 12 --pin 96 \
  --frames 124 --short-edge 480 --seed 0 \
  --base ./MiniMax-H3 --lora-repo ./Viggle-Remake --out out.mp4
```
Ergebnis. Im Ordner liegt die Datei out.mp4: ein etwa 5 bis 12 Sekunden langer Videoclip, in dem Personen oder Dinge ausgetauscht sind. Bewegung, Kamera und Originalton bleiben erhalten.

So geht es nach dem ersten Ergebnis weiter

Mit --mode edit statt --mode swap tauschst du statt Personen lieber Gegenstände aus, entfernst oder ergänzt etwas oder änderst Hintergrund, Wetter und Licht.
--short-edge 736 berechnet das Video in 1280×736 statt in der kleineren Standardgröße. --frames legt die Länge fest. Erlaubt sind Werte der Form 17n + 5 bei 24 Bildern pro Sekunde, empfohlen sind höchstens 294. Die Zeitangaben in der Beschreibung müssen zu dieser Länge passen.
Mit --rank 128 oder --rank 64 werden kleinere LoRAs geladen (1,34 bzw. 0,67 GB) und die Ergebnisse sind laut Hersteller fast gleich. Für Grafikkarten ab 12 GB gibt es ComfyUI-Workflows mit int8- und GGUF-Dateien (siehe COMFYUI.md im Repo). ComfyUI ist eine grafische Oberfläche, in der du Arbeitsschritte als Kästchen verbindest.
Ganze Filme schneidet und rendert ein KI-Agent wie Claude Code oder codex über den MCP-Server im Ordner mcp/. Benutze das Modell nur mit Personen, die zugestimmt haben, und kennzeichne die Ergebnisse als KI-generiert.

Das kannst du ausprobieren

Ein 5-sekündiger Clip von dir beim Winken. Ersetze die Person durch einen Astronauten im weißen Raumanzug.

Ein kurzer Tanzclip. Ersetze die Tänzerin durch eine Comicfigur im Stil eines Zeichentrickfilms, Hintergrund bleibt gleich.

Eine Szene am Küchentisch. Verwandle die Küche in eine mittelalterliche Taverne, die Person bleibt unverändert.

An den Agenten: „Nimm dieses 30-sekündige Video, ersetze den Sänger durch einen Roboter mit blau leuchtenden Augen und setze alles wieder mit der Originalmusik zusammen.“

An den Agenten: „Baue das Musikvideo aus dem Repo-Beispiel nach, aber mit einer Frau im roten Mantel als Hauptfigur.“

Tipps für bessere Ergebnisse

Fang mit sehr kurzen Clips an, um ein Gefühl für Prompt und Keyframes zu bekommen, bevor du lange Videos angehst.
Schau dir das mitgelieferte Musikvideo-Beispiel im Repo an. Es zeigt, wie Prompts und Keyframes aufgebaut sein sollten.
Nutze für lange Videos den MCP-Agenten. Er übernimmt das Zerlegen, Prüfen und Zusammensetzen, das von Hand sehr mühsam wäre.
Verwende Ausgangsvideos mit gut sichtbarer Person und ruhiger Beleuchtung, das erleichtert den sauberen Austausch.

Wenn es hakt

Von Hand ist Remake anspruchsvoll. Ohne gut strukturierten Prompt und bemalte Keyframes werden die Ergebnisse laut Viggle deutlich schlechter.

Die Lizenz wird im Beitrag nicht genannt. Lies die Modellkarte auf Hugging Face, bevor du etwas kommerziell nutzt.

Für die ComfyUI-Workflows müssen die mitgelieferten Custom Nodes installiert sein, sonst erscheinen rote, fehlende Bausteine.

Bei zu wenig VRAM brechen die Läufe ab. Wechsle dann auf die int8/GGUF-Dateien oder die kleinere Rank-64-LoRA.

Personen ohne deren Zustimmung in Videos einzusetzen, kann rechtliche Folgen haben (Persönlichkeitsrecht, Deepfakes).

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.