Reshoot 4D: Videos nachträglich aus neuen Kamerawinkeln neu drehen – lokal in ComfyUI

Worum es geht

Unter dem Namen Reshoot 4D hat der Entwickler „itsmetamike“ einen Workflow für ComfyUI (die node-basierte Oberfläche für lokale Bild- und Video-KI) veröffentlicht. Die Idee: Du filmst eine Person, das System baut daraus eine „4D-Aufnahme“ (3D plus Zeit), und du legst danach eine ganz neue Kamerafahrt durch diese Szene. Am Ende bekommst du denselben Moment aus dem neuen Blickwinkel als Video zurück. Alles läuft nach Angaben des Autors lokal. Das Projekt entstand für den Wettbewerb „#OpenSourceHiggsfield“ und wurde auf Reddit (r/StableDiffusion) vorgestellt, nachdem es ein größeres Update bekommen hat. Code und Workflow liegen unter AGPL-3.0 auf GitHub.

Wie die Pipeline funktioniert

Die Verarbeitung läuft in mehreren Stufen:

• Capture: Aus einem Video einer einzelnen Person entsteht eine 4D-Aufnahme: ihre Bewegung in 3D, der Hintergrund und die Position samt Bewegung der Originalkamera. Es gibt einen schnellen Modus für Vorschauen und einen vollen 4D-Gaussian-Splat (eine Darstellung der Szene aus vielen kleinen, weichen 3D-Punkten) für genauere Ansichten.
• Virtual Camera: Ein 4D-Kameraeditor öffnet sich direkt im Node, es ist keine separate App nötig. Du setzt Keyframes (Schlüsselpositionen) für die Kamera auf der Zeitleiste, kannst durch die Kamera schauen oder von außen die ganze Szene betrachten. Der Editor hat ein Blender-artiges Ansichts-Gizmo, J/K/L-Shuttle-Steuerung, Einzelbildschaltung und Mehrfachauswahl, um Keys gemeinsam zu verschieben oder zeitlich zu ändern.
• Retake: Das Modell ReDirector dreht das gesamte Video entlang des neuen Kamerapfads neu.
• Photoreal Pass: LTX 2.3 (ein Videomodell) rendert jedes finale Bild. Als Führung dient das echte Filmmaterial, das auf die neue Ansicht verzerrt wurde, und zwar über Csetis „CrossView-Warp IC-LoRA“ (ein kleines Zusatzmodul für gezielte Steuerung).
• Finish: Ein eigener Node erhöht die Bildrate von 24 auf bis zu 60 fps per RIFE (Zwischenbildberechnung), erzeugt echte Bewegungsunschärfe aus einem Shutter-Winkel, skaliert bis 4K hoch und behält den Originalton.

Kamera- und Linsenfunktionen

Besonders auffällig ist, wie viel Kamerahandwerk integriert ist. Jeder Key hat Einstellungen für Blende, Fokus (in Metern oder auf das Motiv fixiert), Vignette und Filmkorn. Fokusverlagerungen (Rack Focus) und Blendenzüge zwischen Keys sind möglich, per Alt+Klick im Viewport fokussierst du auf einen beliebigen Punkt. Diese Werte lassen sich später ändern, ohne alles neu zu rendern: Der Render wird wiederverwendet, eine Fokusänderung dauert nur einige Minuten statt den ganzen Ablauf zu wiederholen.

Zoom-Keys verändern die Brennweite erst nach dem Render, wodurch auch Dolly-Zooms möglich sind. Du kannst außerdem eine animierte Kamera aus .fbx, .abc oder .usd importieren (getestet mit Blender-Exporten). Sie startet auf der Originalkamera in ungefähr realem Maßstab, inklusive Linse und Fokus. Dateien mit mehreren Kameras funktionieren, und eigene Fahrten lassen sich wieder exportieren. Pro Shot gibt es Linsenlooks wie Verzerrung, chromatische Aberration, Bloom, Halation und anamorphotisches Bokeh. Tiefen- und Motiv-Matte-Passes stehen für spätere Compositing-Arbeit bereit. Ein Settings-Panel oben im Workflow bündelt Dinge, die man zwischen Läufen ändert (Qualität, Bildrate, Upscale).

Was du zum Ausprobieren brauchst

Den Kameraeditor kannst du ohne Installation im Browser testen (am besten am Desktop, die Demo-Aufnahme ist etwa 9 MB groß). Steuerung: Leertaste für Play/Pause, C wechselt zwischen Kamera- und Editoransicht, J/K/L für Shuttle, W/A/S/D zum Fliegen der Kamera, I setzt einen Key, Esc schließt den Editor.

Für die komplette Pipeline nennt der Autor als Testsystem eine RTX 3090 mit 24 GB VRAM, pro Shot rechnet man etwa 30 Minuten. Entsprechend dürfte eine Grafikkarte dieser Klasse nötig sein; Angaben zu kleineren Karten, Arbeitsspeicher oder Speicherplatz macht die Quelle nicht. Zusätzlich brauchst du ComfyUI und die im Repository genannten Modelle.

Grenzen

Der Autor nennt die Schwächen offen: Das Ergebnis bleibt nur innerhalb von etwa 30 bis 40 Grad Abweichung von der Originalkamera gut. Schnelle Drehungen können ein Gesicht für einige Frames verschmieren. Die Reichweite will er in einem nächsten Schritt verbessern. Das System ist außerdem auf Videos von einer Person ausgelegt.

Einordnung

Reshoot 4D zeigt, wie sich mehrere offene Bausteine (4D-Rekonstruktion, ReDirector, LTX 2.3 mit LoRA, RIFE) zu einem fast schon filmischen Werkzeug kombinieren lassen, das sich an Funktionen kommerzieller Dienste orientiert; der Wettbewerbsname spielt auf Higgsfield an. Spannend ist vor allem der Kameraeditor mit Blender-Import und Linsensimulation, der nachträgliche Kamerafahrten für Videoschaffende greifbar macht. Kritisch: Die Qualität wurde bisher nur vom Autor beschrieben, unabhängige Tests fehlen. Der kleine Winkelbereich und 30 Minuten pro Shot begrenzen den praktischen Nutzen, und die AGPL-Lizenz ist für kommerzielle Einbindung relevant, da sie strenge Offenlegungspflichten mitbringt. Für Experimentierfreudige mit 24-GB-Karte ist es dennoch ein interessantes Open-Source-Projekt.