OpenField: Lokales Video-, Bild- und 3D-Studio auf ComfyUI-Basis

Worum es geht

OpenField ist ein Open-Source-Studio für Video, Standbilder und 3D-Objekte, das auf der eigenen Grafikkarte läuft. Es nutzt ComfyUI (eine knotenbasierte Oberfläche für Bild- und Video-KI) als Motor: Jede App ist ein ComfyUI-Workflow mit einer bedienbaren Oberfläche darüber. Das Projekt wurde für Comfys Wettbewerb „Open Source Higgsfield“ gebaut, der Code steht unter MIT-Lizenz. Modellgewichte liefert es nicht mit; sie werden von den jeweiligen Herausgebern geladen.

Was du damit machen kannst

Die Funktionen sind in vier Gruppen geordnet:

• Create: Text- oder Bild-zu-Video mit 28 Bewegungs-Presets, Start- und Endframes; Standbilder aus Prompts (mit FLUX.2 bis zu sechs Referenzbilder für Gesichter, Kleidung, Objekte); nahtlose Loops; aus einem Bild ein texturiertes 3D-Modell (GLB mit PBR-Maps); Sound für stumme Clips.
• Direct: Der Director kompiliert Genre, Kamera, Licht, Filmmaterial und einen Zeitepochen-Regler (1960–2020) in eine Einstellung. „Scene“ lässt ein lokales Sprachmodell 2 bis 6 Einstellungen planen, die gerendert und geschnitten werden. „Stage“ erlaubt, Szenen im Browser mit Boxen, Figuren und eigenen .glb-Modellen samt Kamerafahrt zu blocken. „Cast“ speichert Figuren oder Orte zum Erwähnen per @mention. Bis zu vier eigene LoRAs (kleine Zusatzmodelle für Stil oder Figur) lassen sich einbinden.
• Transform: „Mirror“ überträgt eine mit dem Handy gefilmte Bewegung auf eine Figur, „Reshoot“ ändert nachträglich die Kameraperspektive, dazu Effekte, Bildbearbeitung per Satz und Maske, Hintergrundentfernung (transparentes PNG, ProRes 4444 mit Alpha) und „Speak“ für sprechende Gesichter.
• Finish: Upscaling (bis 1080p/1440p), Verlängern und Übergänge, HDR-Export (ACEScg EXR, HLG) sowie eine Nahtprüfung für Loops mit Bewertung.

Technik im Hintergrund

Der Browser (Vite + React) spricht mit einem Fastify-Server, der Jobs über das offizielle Comfy SDK an einen lokalen Proxy und dann an ComfyUI auf der GPU schickt. Jeder Take lässt sich als exakt der Workflow öffnen oder als JSON herunterladen, der ihn erzeugt hat. Bei Stage rendert der Browser einen grauen Clay-Clip und eine Tiefenkarte; daraus entsteht mit Z-Image Turbo ein Look-Frame, und das LTX-2.5-Modell mit Layout-to-Render-IC-LoRA erzeugt daraus einen Clip, der dem Blocking folgt. Comfy Cloud ist nur experimentell und ungetestet.

Was du zum Ausprobieren brauchst

• NVIDIA-GPU mit 24 GB VRAM für Video (gebaut und gemessen auf einer RTX 5090 mit 32 GB). Unter 24 GB rendert Video standardmäßig in 480p, ab 24 GB in 720p. 12–16 GB reichen für Standbilder.
• Linux, Windows oder WSL2; macOS wird nicht unterstützt.
• Node 22+, Python 3.10–3.12, ComfyUI 0.38+, ffmpeg und ffprobe.
• Speicher: 72 GB für den Kern (LTX-2.5 39,8 GB, Qwen 31,8 GB), rund 334 GB für alle Bundles.
• Kostenloser Hugging-Face-Account und Read-Token für die geschützten LTX-2.5-Gewichte.

Lizenzen und Einschränkungen

LTX-2.5 steht unter der LTX-2.x Community License (kommerziell frei bis 10 Mio. USD Jahresumsatz). Qwen-Image, Z-Image Turbo und SeedVR2 sind Apache 2.0. FLUX.2 dev und 4x-UltraSharp sind nur nicht-kommerziell nutzbar und standardmäßig aus. MiniMax H3 ist in USA, EU, UK und Südkorea nicht lizenziert und ebenfalls aus. Der Server hat keine Authentifizierung und sollte nur auf Loopback laufen.

MCP für Agenten

Mit 31 MCP-Tools können Claude Code, Claude Desktop oder andere Clients alle Apps steuern, etwa „Mach einen 5-Sekunden-Dolly-Shot eines Leuchtturms in der Dämmerung und skaliere den besten Take hoch“.

Einordnung

OpenField bündelt viele offene Modelle zu einem Werkzeug, das kommerziellen Plattformen wie Higgsfield nachempfunden ist, aber ohne Cloud, Credits und Upload auskommt. Die Hürden sind hoch: viel Speicher, NVIDIA-Pflicht, geschützte Downloads. Das Projekt ist neu, unabhängig und wird von Higgsfield und Comfy Org nicht unterstützt. Wie gut die Ergebnisse im Alltag sind, belegt die README nicht durch Vergleiche.