Openjutsu: Charakter-Tausch im Video komplett lokal mit ComfyUI und MiniMax H3

Worum es geht

Openjutsu ist ein quelloffenes Projekt von D3voz (GitHub: D3voz/openjutsu), das den Charakter-Tausch „Genjutsu“ des kommerziellen Dienstes Higgsfield lokal nachbaut. Du lädst ein Video und ein Foto einer Figur hoch, drückst auf „Generate“, und die Hauptperson im Video wird durch deine Figur ersetzt. Kamera, Schnitte, Bewegung und Soundtrack bleiben erhalten. Das Projekt entstand für Comfys „Open Source Higgsfield“-Challenge; laut dem Autor wurde es größtenteils mit Claude gebaut. Der Code steht unter MIT-Lizenz, die verwendeten Modelle haben eigene Lizenzen.

Alles läuft auf der eigenen Grafikkarte mit offenen Gewichten: MiniMax H3 erzeugt das Video, SAM 3.1 (ein Segmentierungsmodell, das Personen im Bild markiert und über das Video verfolgt) erkennt die Personen, und Qwen3-VL 8B (ein Modell, das Bilder und Videoframes versteht) beschreibt Bilder und Szenen und schreibt Prompts. Die App ist ein kleines Next.js-Frontend über einem ComfyUI-Workflow (ComfyUI ist eine node-basierte Oberfläche für KI-Bild- und Videomodelle) und nutzt das Comfy-SDK, angelehnt an die Referenz-App „comfy-reshoot“.

Die Modi

• Simple motion transfer: Eine Figur ersetzt die Hauptperson, also die, die den größten Teil des Bildes ausfüllt.
• Advanced motion transfer: 1–4 Figuren mit jeweils optionaler Rolle („the drummer“). Jede verfolgte Person wird pro Einstellung einer Rolle zugeordnet; Personen ohne Figur bleiben unverändert. „One pass per person“ gibt bei zwei Figuren jeder einen eigenen Durchlauf, was etwa doppelt so lange dauert. Ein Montage-Tab behandelt geschnittene Clips, in denen Personen ohne harten Schnitt wechseln (Schwenks, Selfie-Übergaben).
• Object swap: Verfolgte Dinge (Haare, Jacke, Auto) ändern, entfernen („Remove“), den Hintergrund ändern oder per „Add“ neue Objekte platzieren. Es wird nur der betroffene Bereich neu erzeugt.
• From picture: FLUX bereitet die Figur in Pose und Bildausschnitt des Videoframes vor, bevor das Video gerendert wird. Optional gibt es „Relight“ mit neun Lichtstimmungen oder eigener Lichtbeschreibung – vom Autor selbst als sehr beta bezeichnet.
• Post-processing: „Fix faces“ zeichnet Gesichter neu, weil H3 kleine Gesichter schlecht darstellt. „Fix colours“ mildert den harten H3-Look per Detailkontrast und Tone Mapping.

So funktioniert es

Pro Clip verfolgt SAM 3.1 alle Personen, der größte Treffer wird behalten. Die Bearbeitungsmaske bekommt 10 % Spielraum über dem Kopf und wächst um 40 Pixel, damit auch anders gebaute Figuren Platz haben. Als Bewegungsvorlage dient der Quellclip, in dem die Person als scharfe graue „Schaufensterpuppe“ in exakter Silhouette erscheint – so bleiben Pose, Arme und Finger lesbar. H3 erzeugt daraus die neue Person mit dem Foto als Referenz.

Im erweiterten Modus zeigt Qwen3-VL jede Spur aus SAM pro Einstellung und benennt das Subjekt; ein weiterer Knoten gleicht doppelte Zuordnungen per Farbe ab. „Fix faces“ schneidet das Gesicht der Person über das ganze Video auf 512×512 zu, überarbeitet es in Blöcken von etwa 6,5 Sekunden und klebt es zurück. Dabei kann man „Match the photo“ (größte Ähnlichkeit, aber erfundene Mimik) oder „Follow the mouth“ (Mimik des Videos bleibt, etwas weniger Ähnlichkeit) wählen.

Bekannte Grenzen und Tipps

• Spiegel und Reflexionen funktionieren noch nicht: Die Spiegelung zeigt weiter die Originalperson, und H3 übernimmt deren Aussehen.
• Rollen sollten nach Funktion benannt werden, nicht nach Kleidung – Kleidungswörter „lecken“ ins Ergebnis.
• „Check mask“ prüft in etwa einer Minute pro 3 Sekunden Video nur die Maske: Cyan ist der neu erzeugte Bereich, Orange die verfolgte Person.
• „No lip-sync“ hilft bei Songs, zu denen die Personen im Video nicht singen; die Originalspur bleibt im Endvideo.
• Personen, die weniger als 12 Frames oder unter 2 % des Bildes sichtbar sind, bleiben unverändert, weil H3 sie als graue Figuren zeichnen würde.
• Ein größeres Bewegungsreferenz-Format (768 oder 1376 px statt 512) kann die Genauigkeit etwas erhöhen, kostet aber etwa ein Drittel bzw. das 2,4-Fache an Rechenzeit.
• Ohne Speed-LoRA (Beschleuniger-Zusatzmodell) sollten 20 oder mehr Schritte genutzt werden; Standard ist das DMAD-LoRA mit 6 Schritten.

Was du zum Ausprobieren brauchst

Laut README wird eine NVIDIA-Grafikkarte benötigt; getestet wurde mit einer RTX 4060 Ti (16 GB VRAM) und 64 GB Arbeitsspeicher, da die H3-INT8-Modelle aus dem RAM gestreamt werden. Dazu kommen ComfyUI ab 0.41.2, Node.js ab 22.6 und Python. Außerdem sind viele Custom-Nodes (u. a. SolarRenderer, MiniMaxH3-Context-Loop, KJNodes, VideoHelperSuite, Impact-Pack) und mehrere Modelldateien nötig – ComfyUI-Manager findet einige per Name, fehlende Pakete und Dateien meldet Openjutsu vor dem Start. Plane viel Speicherplatz für die Modelle ein (genaue Größen nennt die Quelle nicht). Unter Windows startet start_openjutsu.bat alles; manuell sind es Proxy, npm ci, npm run build und npm start, danach http://127.0.0.1:3000. Auf Windows muss ComfyUI mit AIOHTTP_NOSENDFILE=1 gestartet werden. Zur Laufzeit: Ein 6-Sekunden-Clip in 480p braucht etwa 6–13 Minuten, 736p ist Standard, 1080p etwa 2,5-mal langsamer und speicherhungriger. Ein 17-Sekunden-Video bei 768p für „Fix faces“ dauerte rund 28 Minuten. Über Mac, CPU oder Colab macht die Quelle keine Angaben.

Einordnung

Openjutsu zeigt, wie weit lokale Video-KI inzwischen ist: Ein Dienst, den es sonst nur als Bezahlangebot gibt, lässt sich mit offenen Modellen auf einer 16-GB-Karte nachbauen. Das Projekt ist keine neue Modellveröffentlichung, sondern ein Bedienkomfort-Layer über bestehende Workflows – der Aufwand der Installation (viele Custom-Nodes, viele Modelle) bleibt aber hoch. Die Wartezeiten sind lang, und Probleme wie Spiegelungen, kleine Gesichter und H3s harter Look werden nur teilweise durch Zusatzschritte abgefangen. Lizenzhinweise: „Fix faces“ nutzt InsightFace buffalo_l (nur nicht-kommerzielle Forschung) und Ultralytics-YOLO-Gewichte (AGPL-3.0). Der Vergleich mit Higgsfield selbst wird in der Quelle nicht belegt; Qualitätsaussagen stammen vom Autor. Die Cloud-Bereitstellung über die Comfy Developer Platform ist laut README noch nicht getestet. Wegen der Möglichkeit, Personen täuschend echt in Videos auszutauschen, ist verantwortungsvoller Umgang ein Thema – die README äußert sich dazu nicht.