ComfyUI-Node stellt Personen per Klick frei – mit 4K-Haardetails (SAM3 + LTX-2.5)

Worum es geht

Der „Comfy Pro Alpha Generator“ ist ein Open-Source-Node für ComfyUI (die grafische Oberfläche für lokale Bild- und Video-KI) von Rikin Patel (Comfy Compositing). Er löst ein klassisches VFX-Problem: eine einzelne Person aus einer Videoszene freistellen („Roto“), inklusive feiner Haare. Man klickt die Person an, das System verfolgt sie durch das Video und liefert ein 16-Bit-Alpha (eine Transparenzmaske) plus ein sauberes, vormultipliziertes Composite. Der Node ist ein Beitrag zu Comfy Orgs „Open Source Higgsfield“-Wettbewerb und nutzt nur offene Gewichte. Aktuelle Version: 0.5.5. Lizenz: GPL-3.0.

Das Problem und die Idee

Zwei Ansätze gibt es bisher, und jeder kann nur die Hälfte:

LTX-2.5 alpha-gen zeichnet Haare erstaunlich gut, mattiert aber jede Hauptperson im Bild und lässt sich nicht sagen, welche. SAM3 (ein Segmentierungsmodell, das beliebige Objekte verfolgt) wählt gezielt aus, liefert aber weiche Kanten. Der Node kombiniert beides: SAM3 entscheidet, was, LTX, wie die Kante aussieht.

So funktioniert es

Da man LTX nicht sagen kann, wen es mattieren soll, ändert der Node, was LTX sieht: SAM3 findet alle anderen Personen, sie werden mit einem eingemalten Hintergrund (Inpainting) aus einer Kopie der Szene entfernt. Eine einfarbige Füllung funktioniert nicht, weil LTX sie als halbtransparentes Objekt liest. Dann mattiert LTX die verbliebene Person allein.

Weitere Schritte laut README:

• Wo sich Personen berühren, liefert LTX auf beiden Seiten 1,0; im Umkreis von etwa 15 px nutzt der Node dort stattdessen eine stabilisierte ViTMatte-Kante.
• Teile, die LTX nicht als Hauptmotiv erkennt (etwa ein geparktes Auto), füllt ViTMatte auf.
• LTX rendert 49 Bilder auf einmal, daher sind die Kanten ruhig; lange Szenen werden in überlappenden, übergeblendeten Stücken gerechnet. SAM3/ViTMatte-Ausgaben werden per Optical Flow geglättet.
• Beim Start baut der Node einen ComfyUI-Graphen; jede Stufe wird gecacht, sodass Wechsel zwischen Fast/Best oder Vorschau und Vollrender vorhandene Ergebnisse wiederverwenden.

Als Subjekt kann man auch ein Wort eintippen (dog, red car, bike) oder irgendetwas anklicken; Gleichartiges wird automatisch ausgeschlossen, etwa der weiße Hund von vier Hunden oder das Fahrrad ohne Fahrer.

Neu in v0.5

Native 4K (v14): LTX arbeitet mit 1920x1088. Bei größeren Bildern rechnet der Node zusätzlich halbüberlappende 1920x1088-Kacheln entlang der Subjektkante, sodass 4K-Strähnen echt sind statt hochskalierter 1080p-Maske. Getestet mit UHD 4K, DCI 4K und 2K. Auf einer RTX 5090 mit langem feinem Haar:

Der Gewinn ist bei einzelnen Strähnen, Flyaways und Fell am größten; dicke Haare (Zöpfe) profitieren kaum. Wo das Subjekt andere Personen berührt, bleibt absichtlich das 1080p-Ergebnis.

Saubere Randfarbe (v15): Weiche Kanten tragen noch die Farbe des ursprünglichen Hintergrunds (Himmel, Gras), was über neuem Hintergrund als Halo sichtbar wird. Der Node rekonstruiert die Eigenfarbe des Subjekts und speichert ein vormultipliziertes Composite als rgba_-Dateien; das Alpha bleibt unverändert. „Quick“ (Standard) schiebt Farbe von 2 px innen nach außen, ähnlich Nukes EdgeExtend; im Test sank der Hintergrundanteil im Rand von 0,159 auf 0,056. „Perfect“ nutzt zusätzlich LTX-2.5 Clean Plate (entfernt Personen und baut den Hintergrund nach) und rechnet ihn heraus, mit Rückfall auf Quick, wo das nicht verlässlich ist. Bei 4K sank der Hintergrundanteil um 41 %.

Overlap-Modus (v13): Wenn Hände, Arme oder Haare anderer Personen das Subjekt überkreuzen, laufen drei LTX-Pässe (gesamte Szene, Subjekt, alle anderen) plus ein Tiefenmodell (Depth Anything V2 Small, 99 MB), das entscheidet, wer vorn ist. Auf einem synthetischen Test sank der Überlappungsfehler von 105,6 auf 21,5. Kosten: etwa 4,7 statt 4 Minuten für die 49-Bilder-Vorschau.

Messwerte

Getestet an einer 247-Bilder-Szene mit drei Kindern, nur das mittlere wird mattiert:

Wichtig: Beide Metriken nehmen LTX als Referenz und begünstigen daher LTX-basierte Methoden – das räumt der Autor selbst ein. Die stabilisierte ViTMatte-Variante flackert weniger, weil sie glatt ist und keine Strähnen hat. „ONYX-style“ ist eine Nachbildung der veröffentlichten Pipeline von ONYX Ai Matte v3; das kommerzielle Plugin selbst wurde nicht getestet.

Bedienung

Der Node führt in drei Schritten: Plate laden, Subjekt anklicken, rendern. Korrekturen: Alt-Klick schneidet einen Teil heraus, Shift-Klick fügt hinzu, Strg-Klick entfernt Marker. Erst eine 49-Bilder-Vorschau, dann der ganze Clip. Ausgabe: 16-Bit-PNG oder Half-Float-EXR; EXR-Ein- und -Ausgabe, Bildnummern bleiben erhalten. Modi: Best (2 LTX-Pässe), Fast (1 Pass, etwa halbe Zeit) und Overlap. Nach dem Lauf zeigen QC-Badges Flackern, Detailübereinstimmung und LTX-Abdeckung an. Technisch läuft LTX mit int8-Attention (Comfy Kitchen), was die Sampling-Zeit von 5,09 auf 3,25 s/Schritt senkt; ein 13-GB-Textencoder ist nicht nötig, da die leere Prompt-Konditionierung mitgeliefert wird.

Was du zum Ausprobieren brauchst

• Grafikkarte mit mindestens 12 GB VRAM (laut README), 16 GB RAM oder mehr.
• Bei 4K deutlich mehr RAM: 24 GB für die Vorschau, rund 97 GB für 242 Bilder; für lange Shots gibt es Disk-Streaming, das den Bedarf laut Autor etwa halbiert.
• Aktuelles ComfyUI (0.38+), die Nodes ComfyUI-SAM3 und ComfyUI-LTXVideo sowie die Modelle; zwei Lightricks-Lizenzen müssen auf Hugging Face akzeptiert werden.
• Die Zeitangaben stammen von einer RTX 5090; auf kleineren Karten dauert es länger. Angaben zu Mac, CPU oder Colab macht die Quelle nicht.

Einordnung

Der Node ist ein pragmatischer Ansatz, ein generatives Modell steuerbar zu machen, indem man ihm nur zeigt, was es mattieren soll. Für Compositing-Einsteiger und VFX-Hobbyisten mit lokaler GPU ist das spannend, weil sich damit haarfeine Freisteller ohne Greenscreen erzeugen lassen. Kritisch: Die Qualitätszahlen sind Eigenmessungen mit LTX als Referenz, auf einer einzigen Testszene; unabhängige Vergleiche fehlen. Der Overlap-Modus erhöht das Flackern, und 4K ist rechen- und speicherintensiv. Die GPL-3.0-Lizenz gilt für den Node; die LTX-Modelle haben eigene Lizenzbedingungen.