Pika H3 Flex: Offenes Video-Modell mit Ton in nur sechs Schritten

Worum es geht

Pika Labs hat auf Hugging Face das Modell Pika H3 Flex veröffentlicht. Es ist ein nachtrainiertes (post-trained) Modell auf Basis von MiniMax-H3 und erzeugt Videos samt synchronisiertem Stereo-Ton. Der Clou laut Hersteller: Es braucht nur sechs Sampling-Schritte – also sechs Durchläufe des Modells pro Generierung –, wo andere Video-Modelle oft deutlich mehr benötigen. Pika bezeichnet es als Werkzeug für professionelle Kreative, die schnell und mit präziser Kontrolle iterieren wollen. Die Gewichte, der Code und ComfyUI-Workflows sind öffentlich. Bekannt wurde die Veröffentlichung über einen Reddit-Beitrag in r/StableDiffusion.

Aufbau: Zwei Adapter auf einem Basismodell

Pika H3 Flex ist eine Modellfamilie für Video und Audio mit zwei „Task-Adaptern“. Ein Adapter ist hier ein LoRA – eine kleine Zusatzschicht, die ein großes Basismodell für eine Aufgabe umlenkt, ohne dessen gesamte Gewichte zu ersetzen. Beide Adapter liegen als FP32-LoRA mit Rank/Alpha 128 vor.

• FL2VA (Text und Endpunkt-Bilder): Text-zu-Video, Startbild, Endbild oder beides.
• Ref2VA (multimodale Referenzen): Das Modell bekommt geordnete Bild- und Videoreferenzen, optional Audio.

Die Pipeline kodiert Prompt und Eingabemedien, erzeugt Video- und Audio-Latents (komprimierte Zwischendarstellungen) mit dem gewählten Adapter, dekodiert sie und fügt alles zu einer MP4-Datei zusammen. Das Repository enthält zusätzlich die MiniMax-H3-Basiskomponenten im Diffusers-Format (Transformer, Text-Encoder, VAE, Audio-VAE, Tokenizer). Der Transformer ist dabei nur das Basismodell; der passende Pika-Adapter muss separat angewendet werden. Ein Hinweis aus dem Manifest: Generisches Sechs-Schritt-Euler-Sampling ist nicht gleichwertig – es muss der mitgelieferte, exakte Sampling-Plan verwendet werden.

Technische Daten

Die Dauer wird auf das Frame-Raster des Modells aufgerundet: 5 Sekunden ergeben 124 Frames (ca. 5,17 s), 15 Sekunden ergeben 362 Frames (ca. 15,08 s).

Referenzen und Modi

Supportet werden Text-zu-Video, Start-Bild (i2va), End-Bild (l2va), beide Bilder (fl2va) und Referenzmodus (ref2va). Ref2VA nimmt bis zu 9 Bilder, 3 Videos und 3 separate Audioclips, insgesamt 12 Dateien; mindestens ein Bild oder Video ist Pflicht. Videos und Audioclips müssen je 2–15 Sekunden lang sein, die Summe der Videos und die Summe der Audioclips darf je 15 Sekunden nicht überschreiten. Der eingebettete Ton eines Videos zählt nicht als eigene Audiodatei. Pika betont, dass das nur akzeptierte Eingabegrenzen sind – nicht jede Maximalkombination passt in den GPU-Speicher.

Der Beispiel-Prompt im Repo zeigt, was gemeint ist: eine Tischtennis-Szene in einem leeren Pool mit minutengenau getakteten Kamerabewegungen (Top-down, Kranfahrt, Schwenks, 180-Grad-Orbit), konsistenten Figuren laut Referenzbild sowie detaillierter Beschreibung von Geräuschen und Musik. Pika weist darauf hin, dass die Showcase-Clips kreative Beispiele sind, keine Validierungs-Renderings oder Durchsatz-Benchmarks; exakte Reproduktion sei nicht garantiert, Seeds und Preprocessing sind unspezifiziert.

Pika-API-Erweiterungen

Separat von den herunterladbaren Gewichten bietet Pika gehostete Dienste: Video in 1080p, 2K und 4K aus einem Entwurfsvideo, getrennte Audio-Stems und Prompt-Verbesserung. Diese Funktionen gelten nicht für die lokale Inferenz, die nativ 480p/768p mit gemischtem Stereoton liefert.

Was du zum Ausprobieren brauchst

Die Basiskomponenten belegen etwa 210 GB; ein Workflow lädt nur die zu ihm passende Transformer-Partition. Das Pika-CLI läuft mit einer Anfrage auf einer GPU. Getestet wurden repräsentative 480p- und 768p-Anfragen auf einer H100 mit 80 GB. Große Anfragen brauchen --cpu-offload und reichlich Host-RAM. Das ist also eher Workstation- oder Cloud-Niveau als Gaming-PC; konkrete Werte für kleinere Karten nennt die Quelle nicht (Details stehen in der Hardware-Doku des Repos). Installation per pip, Conda oder Docker; der Befehl pika-h3-pro lädt Basis und Adapter automatisch. Alternativ gibt es ComfyUI-Workflows (T2V, FL2VA, R2V) mit BF16-LoRAs sowie Diffusers-Beispiele. Google Colab und Kaggle werden als Plattformen genannt, ob die Hardware dort reicht, ist offen.

Lizenz

Die Adapter sind Derivate von MiniMax H3 und stehen unter der MiniMax H3 Community License. Die gebündelten Basiskomponenten behalten die MiniMax-Lizenz, der Qwen-Encoder samt Tokenizer ist Apache 2.0, der Beispielcode ebenfalls Apache 2.0 (nicht aber Gewichte und Beispielmedien). Pika bittet um Nennung und Zitat des „Technical Deep Dive“.

Einordnung

Sechs Schritte für Video mit Ton sind ein attraktives Geschwindigkeitsversprechen, zumal Referenzsteuerung mit bis zu 12 Dateien und Kameraführung per Prompt für Mehrszenen-Erzählungen praktisch sind. Belegt ist das bisher nur durch Pikas eigene Showcases; unabhängige Tests, Geschwindigkeitsmessungen und Qualitätsvergleiche fehlen in den Quellen. Lokal bleibt die Hürde hoch (210 GB Basis, 80-GB-Karte als Testkonfiguration), und höhere Auflösungen sind an die kostenpflichtige Pika-API gebunden. Die Community-Lizenz kann Nutzungsbeschränkungen enthalten, die du vor kommerzieller Nutzung prüfen solltest.