Vimoo-1.0-Lite: Offenes Videomodell macht Clips aus Text und Bildern
Das Team Vimoo-AI hat die Gewichte seines Videomodells Vimoo-1.0-Lite für ComfyUI veröffentlicht. Ein einziges Modell mit rund 9,5 Milliarden Parametern erzeugt Videos aus Text oder animiert ein Startbild – unter der freizügigen Apache-2.0-Lizenz, die auch kommerzielle Nutzung erlaubt.
Worum es geht
Auf Hugging Face ist mit Vimoo-1.0-Lite ein neues frei herunterladbares Videomodell aufgetaucht. Entwickelt hat es das Team Vimoo-AI, das seine Modellfamilie „Vimoo 1.0“ nach eigenen Angaben im Oktober 2026 veröffentlicht hat – zusammen mit einer Online-API, Beispielen für die Python-Bibliothek Diffusers und Workflows für ComfyUI. Das jetzt in der Community (unter anderem im Reddit-Forum r/StableDiffusion) geteilte Repository Vimoo-1.0-Lite-ComfyUI enthält alles, was man braucht, um das Modell in ComfyUI laufen zu lassen – jener knotenbasierten Oberfläche, in der man Bild- und Videogeneratoren wie Bausteine zusammensteckt.
Das Besondere: Ein einziges Modell mit rund 9,5 Milliarden Parametern erledigt zwei Aufgaben. Es erzeugt Videos aus einer Textbeschreibung (Text-to-Video, kurz T2V) und erweckt ein vorhandenes Standbild zum Leben (Image-to-Video, kurz I2V). Daher auch das Kürzel „TI2V“ im Namen. Die Gewichte stehen unter der Apache-2.0-Lizenz – einer der freizügigsten Open-Source-Lizenzen überhaupt.
Was im Paket steckt
Das Repository bringt nicht nur das eigentliche Videomodell mit, sondern alle Hilfsbausteine:
| Datei | Aufgabe |
|---|---|
| vimoo_v1_lite_bf16 | das Video-Diffusionsmodell selbst (≈ 9,5 Mrd. Parameter, BF16) |
| vimoo_v1_qwen2_5_vl_7b_bf16 | Text-Encoder auf Basis von Qwen2.5-VL 7B – übersetzt den Prompt in eine für das Modell verständliche Form |
| vimoo_v1_glyph_byt5_fp32 | zweiter Text-Encoder (ByT5), dem Namen nach für Schriftzeichen bzw. Text im Bild gedacht |
| vimoo_v1_siglip_so400m_fp16 | Vision-Encoder SigLIP – „liest“ das Startbild beim I2V-Modus |
| vimoo_v1_wan22_ti2v_vae_fp32 | VAE – packt Videobilder in eine kompakte Form und entpackt sie am Ende wieder |
| vimoo_v1_ti2v_distilled_lora_fp32 | optionaler destillierter LoRA-Adapter |
Auffällig ist der Dateiname des VAE: Er verweist auf das „Wan 2.2 TI2V“-VAE aus dem bekannten chinesischen Open-Source-Videomodell Wan 2.2. Inwieweit Vimoo darüber hinaus auf Wan aufbaut, geht aus der Quelle nicht hervor; Architektur und Evaluierung beschreibt Vimoo in einem separaten Haupt-Repository.
Der destillierte LoRA-Adapter ist eine kleine Zusatzdatei, die auf das Basismodell aufgesetzt wird. Destillation heißt: Ein Modell wird darauf trainiert, mit weniger Rechenschritten ähnliche Ergebnisse zu liefern – vergleichbar mit einem Koch, der ein Rezept so oft gemacht hat, dass er Abkürzungen kennt. Die Distilled-Variante läuft mit festen Einstellungen und CFG 1. CFG (Classifier-Free Guidance) bestimmt, wie streng sich das Modell an den Prompt hält; bei CFG 1 entfällt der zusätzliche Durchlauf mit dem Negativ-Prompt, was typischerweise Zeit spart. Konkrete Geschwindigkeitswerte nennt der Hersteller auf der ComfyUI-Seite allerdings nicht.
Was es erzeugt
Die Standard-Workflows liefern 121 Einzelbilder bei 24 Bildern pro Sekunde – also gut fünf Sekunden Video. Bei Text-zu-Video ist die Standardauflösung 1280 × 720 Pixel. Im Bild-zu-Video-Modus passt die Einstellung „resolution=auto“ das Seitenverhältnis des Startbildes an ein Pixelbudget von 1280 × 720 an und rundet beide Seiten auf Vielfache von 16 ab: Ein quadratisches Bild ergibt 960 × 960 Pixel, ein Hochformatbild im Verhältnis 9:16 ergibt 720 × 1280 – praktisch für Kurzvideo-Formate. Wer will, gibt Breite und Höhe manuell ein. Das Startbild wird auf die Ausgabegröße skaliert und mittig zugeschnitten.
Im normalen Workflow lassen sich die Zahl der Rechenschritte und die Text-CFG einstellen; der destillierte Workflow hält seine Werte fest. Fertige Videos landen im Ordner ComfyUI/output/.
Beim Prompten gibt es eine wichtige Einschränkung: Die offenen Modelle wurden nur mit englischen Prompts validiert. Vimoo empfiehlt ausdrücklich, deutsche Beschreibungen vorher ins Englische zu übersetzen. Außerdem gilt: Je genauer Motiv, Szene, Handlungsablauf und Kamerabewegung beschrieben sind, desto besser trifft das Ergebnis die Absicht. Die automatische Prompt-Verbesserung, die der Online-Dienst von Vimoo nutzt, gibt es lokal nicht – hier wird der eingegebene Text direkt verwendet.
Technische Voraussetzungen und Stolpersteine
Die Anforderungen sind recht modern und genau festgelegt:
- ComfyUI 0.34.0 oder neuer
- Python 3.10 oder neuer
- PyTorch 2.9.0 mit CUDA 13.0 (cu130), torchvision 0.24.0, torchaudio 2.9.0 – samt passendem, aktuellem Nvidia-Treiber
- eine Nvidia-Grafikkarte mit CUDA
Die Steuerknoten kommen aus dem separaten Paket ComfyUI-Vimoo auf GitHub, das auch die Workflow-Vorlagen mitbringt. Wichtig: Zu jeder Gewichtsdatei gehört eine JSON-Datei mit Metadaten (unterstützte Aufgaben, passendes Basismodell, Sampling-Einstellungen). Diese muss im selben Ordner liegen bleiben, sonst funktionieren die Knoten nicht richtig.
Gerechnet wird zwingend im Zahlenformat BF16; FP16 oder FP32 lehnt der Model Loader ab. Als Aufmerksamkeits-Verfahren (Attention – der Teil des Modells, der Bildbereiche miteinander in Beziehung setzt) ist standardmäßig das in PyTorch eingebaute SDPA aktiv; schnellere Alternativen wie FlashAttention 2/3/4 oder SageAttention sind optional. Für die Diffusers-Beispiele empfiehlt Vimoo eine getrennte Python-Umgebung, weil sich die Versionen der Transformers-Bibliothek beißen.
Was du zum Ausprobieren brauchst
Offizielle Angaben zum Grafikspeicher (VRAM) macht die Modellseite nicht, man kann aber grob rechnen: Das Videomodell allein belegt in BF16 rund 19 GB, der Qwen2.5-VL-7B-Text-Encoder noch einmal etwa 15 GB. Eine offizielle, verkleinerte (quantisierte) Fassung oder GGUF-Dateien gibt es bisher nicht. Realistisch ist deshalb eine Nvidia-Karte mit mindestens 24 GB VRAM (etwa RTX 3090, 4090 oder 5090), wobei ComfyUI Text-Encoder zeitweise in den Arbeitsspeicher auslagert; die Speicheroptionen beschreibt das ComfyUI-Vimoo-README. Für 32 GB Arbeitsspeicher oder mehr und rund 45–50 GB freien Speicherplatz solltest du sorgen. AMD-Karten, Apple-Silicon-Macs und reiner CPU-Betrieb werden nicht unterstützt – Voraussetzung ist ausdrücklich eine CUDA-GPU. Auf gemieteten Cloud-GPUs mit 24 bis 48 GB lässt es sich dagegen gut testen.
Einordnung
Offene Videomodelle, die Text- und Bild-zu-Video in einem einzigen Checkpoint vereinen, sind noch nicht selbstverständlich – und die Apache-2.0-Lizenz ist ein echtes Plus gegenüber Modellen mit restriktiven Nutzungsbedingungen. Mit 9,5 Milliarden Parametern liegt Vimoo-1.0-Lite größenmäßig zwischen kleinen Modellen wie Wan 2.2 5B und großen wie HunyuanVideo oder Wan 2.2 14B. Die Ausgabe in 720p mit 24 fps ist für ein lokal lauffähiges Modell solide.
Offen bleibt einiges: Wie gut die Qualität im Vergleich zur Konkurrenz ist, lässt sich aus der ComfyUI-Seite nicht ablesen – Benchmarks verweist Vimoo auf sein Haupt-Repository, unabhängige Tests gibt es noch nicht. Auch über das Team hinter Vimoo-AI ist wenig bekannt. Praktisch hinderlich sind die engen Softwarevorgaben (CUDA 13.0, PyTorch 2.9.0), der Zwang zu BF16 und das Fehlen kleinerer Quantisierungen, was Besitzer von Mittelklasse-Grafikkarten vorerst ausschließt. Erfahrungsgemäß liefert die Community solche Varianten oft nach – bis dahin ist Vimoo-1.0-Lite eher etwas für Nutzer mit starker Hardware.
Quellen
- Reddit r/StableDiffusion huggingface.co
Selbst ausprobieren: Vimoo-1.0-Lite TI2V
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Vimoo-1.0-Lite erzeugt kurze Videoclips von gut fünf Sekunden (121 Bilder bei 24 fps) in bis zu 1280 × 720 Pixeln. Du kannst entweder eine Szene auf Englisch beschreiben und daraus ein Video machen lassen, oder ein eigenes Foto hochladen, das dann animiert wird. Beide Aufgaben erledigt dasselbe Modell, du wählst den Modus einfach im Eingabeknoten. Hochformat-Bilder ergeben automatisch Hochformat-Videos (720 × 1280), quadratische Bilder 960 × 960. Eine destillierte Variante mit festen Einstellungen ist für schnellere Ergebnisse gedacht. Grenzen: Getestet wurde nur mit englischen Prompts, die Clips sind kurz, und unabhängige Qualitätsvergleiche mit Wan 2.2 oder HunyuanVideo gibt es noch nicht.
Für wen lohnt es sich?
Lohnt sich für Hobby-Filmer, Content-Creator und ComfyUI-Nutzer mit einer starken Nvidia-Karte (ab etwa 24 GB VRAM), die ein frei lizenziertes, auch kommerziell nutzbares Videomodell suchen. Wer nur einen Mac, eine AMD-Karte oder eine Grafikkarte mit 8–12 GB hat, sollte warten, bis die Community verkleinerte Versionen anbietet.
Ideen: Was du damit anstellen kannst
Lade ein Strand- oder Bergfoto im Bild-zu-Video-Modus hoch und beschreibe auf Englisch, was sich bewegen soll, etwa Wellen, Wolken oder Bäume im Wind. Heraus kommt ein gut fünf Sekunden langer Clip, der sich als bewegter Bildschirmhintergrund oder für eine Diashow eignet.
Nimm ein 9:16-Bild als Startbild, dann erzeugt das Modell automatisch ein 720 × 1280 Pixel großes Hochformat-Video. So entstehen kurze Loops für Reels, Shorts oder Status-Meldungen.
Beschreibe Filmszenen per Text, inklusive Kamerafahrt, und lass mehrere Varianten rendern. Damit kannst du Ideen für ein Kurzfilmprojekt oder ein Musikvideo schnell sichtbar machen, bevor gedreht wird.
Fotografiere ein Produkt und lass es mit einer langsamen Kamerafahrt oder sanftem Licht in Szene setzen. Dank Apache-2.0-Lizenz darfst du die Ergebnisse auch kommerziell verwenden.
Erzeuge atmosphärische Füllaufnahmen wie dampfenden Kaffee, Regen am Fenster oder Stadtverkehr bei Nacht. Solche Clips lassen sich als Zwischenschnitte in YouTube-Videos oder Vorträgen einsetzen.
Was dein Rechner braucht
Es gibt nur einen Checkpoint (BF16, ca. 9,5 Mrd. Parameter), der für Text- und Bild-zu-Video gilt. Wähle den Workflow vimoo_v1_ti2v_lite.json, wenn du Schritte und CFG selbst einstellen und maximale Qualität willst. Wähle vimoo_v1_ti2v_lite_distilled.json plus den Distilled-LoRA, wenn es schneller gehen soll – dann bleiben die Sampling-Einstellungen fest. Offizielle quantisierte oder GGUF-Versionen gibt es bisher nicht.
- Zwingend eine Nvidia-Grafikkarte mit CUDA; AMD, Apple Silicon und reiner CPU-Betrieb werden nicht unterstützt.
- Offizielle VRAM-Angaben fehlen; grob geschätzt belegen Videomodell (~19 GB) und Qwen2.5-VL-7B-Text-Encoder (~15 GB) in BF16 zusammen über 30 GB, daher sind 24 GB VRAM mit Auslagerung in den Arbeitsspeicher ein realistisches Minimum.
- Mindestens 32 GB Arbeitsspeicher werden empfohlen, damit ComfyUI Encoder auslagern kann.
- Für alle Dateien solltest du etwa 45–50 GB freien Speicherplatz einplanen.
- Nötig ist ein Nvidia-Treiber, der CUDA 13.0 unterstützt – ältere Treiber reichen nicht.
- Höhere Auflösungen und mehr Bilder kosten mehr Speicher; bei Speichermangel zuerst Auflösung oder Bildanzahl senken.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (Vimoo-AI/ComfyUI-Vimoo auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Die Quelle verlangt nur eine NVIDIA-Grafikkarte mit CUDA 13.0 und nennt kein Betriebssystem. Windows wird nicht ausdrücklich erwähnt. ComfyUI läuft grundsätzlich unter Windows, deshalb sind die Linux-Schritte hier auf PowerShell übertragen. Ohne NVIDIA-Karte geht es nicht.
- Voraussetzungen prüfen. Du brauchst eine NVIDIA-Grafikkarte, einen aktuellen NVIDIA-Treiber, der CUDA 13.0 unterstützt, Python ab Version 3.10 und Git. CUDA ist die Rechenschnittstelle von NVIDIA, über die das Modell auf der Grafikkarte läuft. Plane außerdem rund 45 GB freien Speicherplatz für die Modelldateien ein. In der PowerShell zeigt dir „nvidia-smi“ oben rechts die CUDA-Version an, die dein Treiber unterstützt. Dort sollte 13.0 oder höher stehen.
nvidia-smi python --version git --version - ComfyUI herunterladen. ComfyUI ist das Programm, in dem du das Modell bedienst. Es läuft als Oberfläche im Browser. Der Befehl lädt ComfyUI in den Ordner „ComfyUI“, und „cd“ wechselt in diesen Ordner. Alle weiteren Befehle führst du in diesem Ordner aus.
git clone https://github.com/Comfy-Org/ComfyUI cd ComfyUI - Eigene Python-Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgeschotteter Ordner für Python-Pakete. So kommt nichts mit anderen Programmen durcheinander. Wenn die Aktivierung geklappt hat, steht vor deiner Eingabezeile „(.venv)“. Meldet Windows, dass Skripte gesperrt sind, gib einmal „Set-ExecutionPolicy -Scope CurrentUser RemoteSigned“ ein und aktiviere danach erneut.
python -m venv .venv .venv\Scripts\Activate.ps1 - PyTorch mit CUDA 13.0 installieren. PyTorch ist die Rechenbibliothek für das Modell. Die Quelle verlangt genau diese Versionen für CUDA 13.0. Danach installierst du die übrigen Pakete, die ComfyUI selbst braucht. Der Download ist mehrere Gigabyte groß und dauert eine Weile.
python -m pip install "torch==2.9.0+cu130" "torchvision==0.24.0+cu130" "torchaudio==2.9.0+cu130" --index-url https://download.pytorch.org/whl/cu130 python -m pip install -r requirements.txt - Vimoo-Erweiterung installieren. Die Erweiterung ComfyUI-Vimoo bringt die Vimoo-Bausteine (Nodes) und fertige Arbeitsabläufe (Workflows) mit. Sie kommt in den Unterordner „custom_nodes“. Installiere ihre Pakete in derselben aktivierten Umgebung, sonst erscheinen die Nodes später nicht.
git clone https://github.com/Vimoo-AI/ComfyUI-Vimoo custom_nodes/ComfyUI-Vimoo python -m pip install -r custom_nodes/ComfyUI-Vimoo/requirements.txt - Modelldateien herunterladen. Zuerst installierst du das Hugging-Face-Werkzeug „hf“. Dann lädst du das Videomodell, die Text-Encoder, den Bild-Encoder und den VAE herunter, zusammen rund 38 GB. Ein Text-Encoder übersetzt deinen Text in Zahlen, der VAE macht aus dem Ergebnis echte Bilder. Die Dateien landen automatisch im richtigen Unterordner von „models“. Lösche die .json-Dateien nicht, die Nodes brauchen sie.
python -m pip install -U huggingface_hub hf download Vimoo-AI/Vimoo-1.0-Lite-ComfyUI diffusion_models/vimoo_v1_lite_bf16.safetensors diffusion_models/vimoo_v1_lite_bf16.safetensors.vimoo.json text_encoders/vimoo_v1_qwen2_5_vl_7b_bf16.safetensors text_encoders/vimoo_v1_glyph_byt5_fp32.safetensors clip_vision/vimoo_v1_siglip_so400m_fp16.safetensors vae/vimoo_v1_wan22_ti2v_vae_fp32.safetensors --local-dir models - ComfyUI starten. Starte ComfyUI mit den Speicher-Optionen, die die Quelle empfiehlt. Damit lagert ComfyUI Teile des Modells in den Arbeitsspeicher aus, wenn die Grafikkarte zu wenig Speicher hat. Sobald im Fenster eine Adresse wie http://127.0.0.1:8188 erscheint, öffnest du sie im Browser. Lass das PowerShell-Fenster offen.
python main.py --enable-dynamic-vram --async-offload 2 - Workflow öffnen und einstellen. Öffne im Template-Browser von ComfyUI die Vorlage „vimoo_v1_ti2v_lite“. Im Baustein „Vimoo Model Loader“ wählst du vimoo_v1_lite_bf16.safetensors aus und stellst dtype auf bf16. Andere Einstellungen werden abgelehnt. Die übrigen Verbindungen und Standardwerte lässt du, wie sie sind.
- Erstes Video erzeugen. Im Eingabe-Baustein bleibt die Aufgabe auf „t2v“ (Text zu Video). Nimm den Prompt, der in der Vorlage schon steht, oder schreib einen eigenen auf Englisch. Für einen schnellen ersten Test stellst du die Auflösung auf „manual“ und wählst eine kleine Größe, zum Beispiel 640 × 352, und weniger Bilder, zum Beispiel 49. Breite und Höhe müssen durch 16 teilbar sein, die Bildzahl muss 4n + 1 sein. Klicke auf „Queue“. Das fertige Video liegt danach in ComfyUI\output.
- Ergebnis. Im Ordner ComfyUI/output liegt ein kurzes, selbst erzeugtes Video zu deinem englischen Text-Prompt.
macOS
macOS: nicht unterstützt. Diese ComfyUI-Version braucht laut Quelle zwingend eine NVIDIA-Grafikkarte mit CUDA, und die gibt es im Mac nicht. Der Hersteller hat aber ein eigenes Repo „Vimoo-1.0-MLX“ (github.com/Vimoo-AI/Vimoo-1.0-MLX) für Apple-Chips. Alternativ kannst du die Online-API auf vimoo.ai nutzen.
Linux
Linux: unterstützt. Linux mit NVIDIA-Grafikkarte und CUDA 13.0 ist der Weg, den die Quelle beschreibt. AMD- und Intel-Grafikkarten werden nicht unterstützt.
- Voraussetzungen prüfen. Du brauchst eine NVIDIA-Grafikkarte, einen aktuellen NVIDIA-Treiber, der CUDA 13.0 unterstützt, Python ab Version 3.10 und Git. CUDA ist die Rechenschnittstelle von NVIDIA, über die das Modell auf der Grafikkarte läuft. Plane rund 45 GB freien Speicherplatz ein. „nvidia-smi“ zeigt oben rechts die CUDA-Version, die dein Treiber unterstützt. Dort sollte 13.0 oder höher stehen.
nvidia-smi python3 --version git --version - ComfyUI herunterladen. ComfyUI ist das Programm, in dem du das Modell bedienst. Es läuft als Oberfläche im Browser. Der Befehl lädt ComfyUI in den Ordner „ComfyUI“, und „cd“ wechselt hinein. Alle weiteren Befehle führst du dort aus.
git clone https://github.com/Comfy-Org/ComfyUI cd ComfyUI - Eigene Python-Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgeschotteter Ordner für Python-Pakete. So stört sie keine anderen Programme. Wenn die Aktivierung geklappt hat, steht vor deiner Eingabezeile „(.venv)“. In jedem neuen Terminal musst du sie wieder aktivieren.
python3 -m venv .venv source .venv/bin/activate - PyTorch mit CUDA 13.0 installieren. PyTorch ist die Rechenbibliothek für das Modell. Die Quelle verlangt genau diese Versionen für CUDA 13.0. Danach installierst du die übrigen Pakete von ComfyUI. Der Download ist mehrere Gigabyte groß.
python3 -m pip install "torch==2.9.0+cu130" "torchvision==0.24.0+cu130" "torchaudio==2.9.0+cu130" --index-url https://download.pytorch.org/whl/cu130 python3 -m pip install -r requirements.txt - Vimoo-Erweiterung installieren. Die Erweiterung ComfyUI-Vimoo bringt die Vimoo-Bausteine (Nodes) und fertige Arbeitsabläufe (Workflows) mit. Installiere ihre Pakete in derselben aktivierten Umgebung, sonst erscheinen die Nodes später nicht.
git clone https://github.com/Vimoo-AI/ComfyUI-Vimoo custom_nodes/ComfyUI-Vimoo python3 -m pip install -r custom_nodes/ComfyUI-Vimoo/requirements.txt - Modelldateien herunterladen. Zuerst installierst du das Hugging-Face-Werkzeug „hf“. Dann lädst du das Videomodell, die Text-Encoder, den Bild-Encoder und den VAE herunter, zusammen rund 38 GB. Ein Text-Encoder übersetzt deinen Text in Zahlen, der VAE macht aus dem Ergebnis echte Bilder. Die Dateien landen direkt in den richtigen Unterordnern von „models“. Lösche die .json-Dateien nicht.
python3 -m pip install -U huggingface_hub hf download Vimoo-AI/Vimoo-1.0-Lite-ComfyUI \ diffusion_models/vimoo_v1_lite_bf16.safetensors \ diffusion_models/vimoo_v1_lite_bf16.safetensors.vimoo.json \ text_encoders/vimoo_v1_qwen2_5_vl_7b_bf16.safetensors \ text_encoders/vimoo_v1_glyph_byt5_fp32.safetensors \ clip_vision/vimoo_v1_siglip_so400m_fp16.safetensors \ vae/vimoo_v1_wan22_ti2v_vae_fp32.safetensors \ --local-dir models - ComfyUI starten. Starte ComfyUI mit den Speicher-Optionen, die die Quelle empfiehlt. Damit lagert ComfyUI Teile des Modells in den Arbeitsspeicher aus, wenn die Grafikkarte zu wenig Speicher hat. Sobald eine Adresse wie http://127.0.0.1:8188 erscheint, öffnest du sie im Browser. Lass das Terminal offen.
python3 main.py --enable-dynamic-vram --async-offload 2 - Workflow öffnen und einstellen. Öffne im Template-Browser von ComfyUI die Vorlage „vimoo_v1_ti2v_lite“. Im Baustein „Vimoo Model Loader“ wählst du vimoo_v1_lite_bf16.safetensors aus und stellst dtype auf bf16. FP16 und FP32 werden abgelehnt. Alle übrigen Verbindungen und Standardwerte lässt du, wie sie sind.
- Erstes Video erzeugen. Im Eingabe-Baustein bleibt die Aufgabe auf „t2v“ (Text zu Video). Nimm den Prompt, der in der Vorlage schon steht, oder schreib einen eigenen auf Englisch. Für einen schnellen ersten Test stellst du die Auflösung auf „manual“, zum Beispiel 640 × 352, und wählst 49 Bilder. Breite und Höhe müssen durch 16 teilbar sein, die Bildzahl muss 4n + 1 sein. Klicke auf „Queue“. Das Video landet in ComfyUI/output.
- Ergebnis. Im Ordner ComfyUI/output liegt ein kurzes, selbst erzeugtes Video zu deinem englischen Text-Prompt.
So geht es nach dem ersten Ergebnis weiter
- Bild zu Video: Stell im Eingabe-Baustein auf „i2v“ und lade ein eigenes Bild hoch. Bei resolution=auto wird es auf etwa 1280 × 720 skaliert und mittig zugeschnitten.
- Schneller testen: Mit dem Distilled-Adapter geht es schneller. Lade dazu noch loras/vimoo_v1_ti2v_distilled_lora_fp32.safetensors samt .json-Datei per hf download in den Ordner models und öffne die Vorlage „vimoo_v1_ti2v_lite_distilled“. Ihr Beispielbild, den Sauerteiglaib, kopierst du aus custom_nodes/ComfyUI-Vimoo/assets nach ComfyUI/input.
- Volle Qualität: Die Standardwerte sind 1280 × 720 Pixel und 121 Bilder bei 24 fps. Schreib deine Prompts ausführlich und auf Englisch, mit Motiv, Szene, Handlung und Kamerabewegung.
- Bei Speicherfehlern beim Umwandeln in Bilder (Decoding) schaltest du im Baustein „Vimoo Output VAE“ tiled_decode ein. Damit wird das Video in Kacheln verarbeitet und braucht weniger Speicher.
Das kannst du ausprobieren
A red fox walks slowly through a snowy forest at sunrise, soft golden light, the camera follows at ground level.Close-up of a cup of coffee on a wooden table, steam rising, rain running down the window in the background, slow push-in camera movement.(Bild-zu-Video mit eigenem Urlaubsfoto) The waves gently roll onto the beach, palm leaves sway in the wind, clouds drift slowly across the sky.An old man in a workshop carefully sands a wooden violin, sawdust floating in a beam of sunlight, the camera slowly circles around him.A futuristic city at night seen from a drone flying between skyscrapers, neon reflections on wet streets, cars with glowing headlights moving below, smooth forward tracking shot.Tipps für bessere Ergebnisse
- Schreibe ausführliche englische Prompts mit Motiv, Umgebung, Handlungsablauf und Kamerabewegung, statt nur ein paar Stichworte zu verwenden.
- Im Distilled-Workflow CFG 1 und das gespeicherte Sampling-Raster nicht verändern und nur den positiven Prompt nutzen.
- Die Generierungs-FPS und die FPS der Videoausgabe immer gleich lassen (Standard 24), sonst läuft das Video zu schnell oder zu langsam.
- Bei Bild-zu-Video ein Startbild im gewünschten Seitenverhältnis verwenden – mit resolution=auto entsteht dann automatisch das passende Videoformat.
- Optional FlashAttention oder SageAttention installieren und in den Vimoo Performance Options wählen, um schneller zu rechnen; standardmäßig läuft PyTorch SDPA.
Wenn es hakt
Die Vimoo-Knoten fehlen? ComfyUI muss mindestens Version 0.34.0 sein, ComfyUI-Vimoo muss in custom_nodes liegen, danach ComfyUI neu starten und den Browser neu laden.
Fehler beim Start oder mit CUDA: Es wird genau PyTorch 2.9.0 mit CUDA 13.0 (cu130) plus torchvision 0.24.0 und torchaudio 2.9.0 erwartet, dazu ein passend aktueller Nvidia-Treiber.
Das Modell lädt nicht oder die Einstellungen stimmen nicht: Die .vimoo.json- und .json-Dateien müssen direkt neben den zugehörigen Gewichtsdateien liegen.
Im Vimoo Model Loader muss dtype=bf16 eingestellt sein; FP16 und FP32 werden abgelehnt.
Für die Diffusers-Beispiele eine eigene Python-Umgebung anlegen, weil sie eine andere Transformers-Version brauchen als ComfyUI.
Deutsche Prompts sind nicht getestet und liefern womöglich schlechtere Ergebnisse – vorher ins Englische übersetzen.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.