LongCat-Video-Avatar 1.6: Meituans offener Avatar-Generator schafft Videos über 10 Minuten

Worum es geht

Das LongCat-Team des chinesischen Konzerns Meituan hat LongCat-Video-Avatar 1.6 veröffentlicht. Meituan kennt man vor allem als Lieferdienst- und Local-Commerce-Plattform. Das Modell erzeugt sogenannte audiogetriebene Menschenvideos: Du gibst eine Sprachaufnahme und entweder eine Textbeschreibung oder ein Foto vor, und heraus kommt ein Video, in dem eine Person spricht, Mimik und Gestik zeigt und die Lippen synchron zum Ton bewegt. Das klappt mit einer einzelnen Person oder mit mehreren Personen im Gespräch.

Die Gewichte stehen unter der freizügigen MIT-Lizenz auf Hugging Face (meituan-longcat/LongCat-Video-Avatar-1.6), der Code liegt auf GitHub. Version 1.6 baut auf der im Mai 2026 erschienenen Version 1.5 auf. Laut Meituan bringt sie natürlichere Mimik, bessere Lippensynchronität, besser abgestimmte Gesichts- und Körperbewegungen, stabilere lange Videos und eine schnellere Berechnung. Auf das Release aufmerksam wurde die Szene unter anderem über das Reddit-Forum r/LocalLLaMA.

Was neu ist in Version 1.6

Der Hersteller nennt drei Schwerpunkte:

• Natürlichere Lippen: Typische Schwächen von Avatar-Modellen sollen seltener auftreten. Dazu gehören übertriebene oder verkrampfte Mundbewegungen, unnatürlich rot gefärbte Lippen und Flackern im Mundbereich.
• Stabile lange Videos: Das Modell erzeugt lange Videos Stück für Stück. Jeder neue Abschnitt setzt am vorherigen an, das nennt man autoregressive Fortsetzung. Dabei summieren sich normalerweise kleine Fehler, bis das Gesicht verschwimmt oder sich verändert. Version 1.6 soll diese Fehlerhäufung eindämmen und so Videos von mehr als zehn Minuten ermöglichen, bei gleichbleibender Bildqualität und gleichbleibendem Aussehen der Person.
• Schnellere Berechnung: Optimierungen an der gesamten Verarbeitungskette sollen die Generierung beschleunigen, was vor allem für den Betrieb als Dienst wichtig ist. Konkrete Geschwindigkeitswerte nennt die Modellkarte nicht. Sie verweist auf einen technischen Bericht, dessen arXiv-Eintrag zum Zeitpunkt der Veröffentlichung noch leer war.

Aus Version 1.5 übernommen sind laut deren Projektseite einige wichtige Bausteine. Für die Audioanalyse nutzt das Modell Whisper-Large statt Wav2Vec2. Whisper ist ein Spracherkennungsmodell von OpenAI, das gesprochene Laute sehr genau erfasst, was die Lippensynchronität verbessert. Außerdem kommt das Modell auch mit Anime-Figuren, Tieren und schwierigen Szenen zurecht, etwa wenn mehrere Personen miteinander interagieren oder jemand Gegenstände in der Hand hält. Und es braucht nur 8 Rechenschritte. Das wird durch Destillation erreicht: Ein schnelleres Modell lernt, das Ergebnis eines langsamen, vielschrittigen Modells in wenigen Schritten nachzubilden.

Wie es technisch funktioniert

Unter der Haube steckt ein Diffusionsmodell. Solche Modelle beginnen mit reinem Bildrauschen und entfernen es Schritt für Schritt, bis ein Video entsteht. Der Kern ist ein Diffusion Transformer (DiT). Basis ist Meituans allgemeines Videomodell LongCat-Video, das du zusätzlich herunterladen musst. In den Danksagungen nennt das Team unter anderem das Videomodell Wan und den Text-Encoder UMT5-XXL.

Das Paket enthält zwei LoRA-Adapter. Das sind kleine Zusatzmodule, die ein großes Modell für eine bestimmte Aufgabe nachschärfen, ohne es komplett neu zu trainieren:

• DMD-LoRA (loraA): Laut Modellkarte verbessert sie in den frühen Schritten die strukturelle Stabilität und reduziert Verzerrungen.
• OPSD-LoRA (loraB): Sie übernimmt die übrigen Schritte.

Mit den Parametern --mix_steps und --mix_alpha legst du fest, wie die beiden gemischt werden. Standardmäßig rechnen die ersten vier der acht Schritte nur mit DMD, die letzten vier nur mit OPSD. Gibst du DMD mehr Gewicht, wird das Bild laut Hersteller strukturell stabiler.

Dazu kommen zwei optionale Sparmodi. Bei der Quantisierung werden die Zahlen des Modells gröber gespeichert, dadurch braucht es weniger Speicher und rechnet schneller. Es gibt eine fertige INT8-Version des DiT (--use_int8) und einen FP8-Modus (--use_fp8), der Nvidias Transformer Engine voraussetzt. Beide dürfen nicht gleichzeitig aktiv sein.

Das Modell beherrscht diese Modi:

Wie gut ist es? Der Nutzervergleich

Meituan hat Version 1.6 in einer Art Arena gegen den Vorgänger und vier kommerzielle Systeme antreten lassen. Testpersonen sahen jeweils zwei Videos und wählten das bessere aus. Insgesamt kamen über alle 15 möglichen Paarungen 33.051 gültige Einzelstimmen zusammen. Daraus wurde ein Elo-Wert berechnet, das ist dasselbe Prinzip wie die Rangliste im Schach (genauer: das Bradley-Terry-Modell).

Die Modellkarte nennt nur den Elo-Wert von Version 1.6 und die Reihenfolge der übrigen Systeme, aber nicht deren Punktzahlen. Wie groß die Abstände sind, bleibt deshalb offen. Wichtig ist außerdem: Den Test hat der Hersteller selbst durchgeführt und ausgewertet, eine unabhängige Überprüfung gibt es bisher nicht. Startup Fortune hatte schon bei Version 1.5 darauf hingewiesen, dass solche Vergleiche als Herstellerangaben zu behandeln sind.

Für Version 1.5 hatte Meituan einen eigenen Benchmark aufgebaut. Er umfasst 508 Bild-Audio-Paare aus sechs Szenarien (Nachrichtensprecher, Bildung, Alltag, Unterhaltung, Gesang, Werbung), zwei Sprachen (Chinesisch und Englisch) und zwei Stile (realistisch und animiert). 770 Crowdworker gaben dafür 13.240 Bewertungen ab, zusätzlich prüften zehn Fachleute Physik, Bild-Ton-Abstimmung, zeitliche Stabilität und Identitätstreue.

Was du zum Ausprobieren brauchst

Das ist kein Modell für den Laptop. Alle offiziellen Beispielbefehle starten mit torchrun --nproc_per_node=2, sind also auf zwei Nvidia-GPUs ausgelegt, die die Berechnung untereinander aufteilen. Für Rechenzentrumskarten der Hopper-Generation (H20, H100, H200, H800) empfiehlt Meituan FlashAttention 3, eine besonders schnelle Methode zur Berechnung der Aufmerksamkeitsschicht. Ab mehr als zwei GPUs hilft eine spezielle Umgebungsvariable (LONGCAT_A2A_WORKSPACE=1), die Kommunikation zwischen den Karten zu beschleunigen.

Eine konkrete VRAM-Angabe nennt die Quelle nicht. Unsere grobe Schätzung: Mit dem INT8-Modus brauchst du eine einzelne Karte mit mindestens etwa 24 GB VRAM, komfortabler wird es mit 48 GB oder mit zwei Karten. Dazu kommt reichlich Festplattenplatz, weil du das Basismodell LongCat-Video und das Avatar-Paket herunterladen musst. Die Installation setzt Linux mit CUDA 12.4, PyTorch 2.6, FlashAttention 2.7.4, ffmpeg und librosa voraus. Apple-Rechner und reine CPU-Systeme sind praktisch außen vor. In Google Colab bekommst du höchstens mit teuren Großkarten ein brauchbares Ergebnis. Eine Unterstützung für ComfyUI oder eine fertige Web-Demo gibt es laut den Quellen noch nicht.

Einordnung

LongCat-Video-Avatar 1.6 ist eines der stärksten frei verfügbaren Modelle für sprechende Avatare. Wenn die eigenen Messungen stimmen, liegt es vor bekannten Bezahldiensten wie HeyGen und Kling Avatar 2.0. Die MIT-Lizenz erlaubt auch kommerzielle Nutzung, das ist bei Videomodellen nicht selbstverständlich. Startup Fortune sah schon in Version 1.5 Druck auf Avatar-Startups: Wenn die reine Generierung frei verfügbar ist, verschiebt sich der Wert hin zu Arbeitsabläufen, Markensteuerung, Einwilligungsnachweisen und Compliance. Für kleine Unternehmen könnten Produkterklärer oder Schulungsvideos günstiger werden.

Es gibt aber auch Kritikpunkte. Die Hürde ist hoch: Mehrere große GPUs und eine anspruchsvolle Installation machen das Modell vorerst zu einem Werkzeug für Entwickler und Agenturen. Die Qualitätswerte stammen allein vom Hersteller, und den technischen Bericht konnte man zum Start noch nicht einsehen. Dazu kommt das Missbrauchspotenzial. Realistische Videos von sprechenden Menschen aus einem einzigen Foto erleichtern auch Deepfakes. Die Modellkarte schiebt die Verantwortung für Datenschutz und Rechtskonformität ausdrücklich den Nutzern zu. Wasserzeichen oder Einwilligungsprüfungen erwähnt sie nicht, obwohl China für KI-Inhalte eine Kennzeichnungspflicht hat und der AI Act der EU Transparenzpflichten vorsieht.