WeMM-Video: Tencents offene KI-Modelle sehen und hören Videos gleichzeitig
Tencent hat vier offene Modelle veröffentlicht, die bei einem Video Bild und Ton zusammen auswerten. Sie beschreiben Szenen, schreiben Gesprochenes mit und beantworten Fragen dazu. Laut Tencents eigenen Tests schlägt schon die kleine 4B-Version ein siebenmal größeres Konkurrenzmodell, unabhängig geprüft hat das aber noch niemand.

Worum es geht
Tencent hat mit WeMM-Video eine Familie offener KI-Modelle veröffentlicht, die Videos verstehen sollen, und zwar Bild und Ton gemeinsam. Entwickelt hat sie das Team WeChat Vision, laut explainx.ai zusammen mit der Tsinghua-Universität. Es gibt vier Größen: 2B, 4B und 9B als dichte Modelle und 35B-A3B als Mixture-of-Experts-Modell. Bei dieser Bauweise ist das Netz in viele Spezialisten („Experten“) aufgeteilt, und pro Wort rechnen nur etwa 3 Milliarden der rund 35 Milliarden Parameter mit.
Die Gewichte liegen in einer Hugging-Face-Sammlung und im GitHub-Repository Tencent/WeMM-Video. Dort finden sich auch Docker-Setups, Schnellstart-Anleitungen und die Pipeline, mit der Tencent die Testergebnisse erzeugt hat. Der technische Bericht erschien am 19. November 2026 auf arXiv (2611.26409). Die Lizenz ist Apache 2.0. Laut Tencents Lizenzdatei gelten für eingebundene Fremdkomponenten deren eigene Bedingungen. Welche Komponenten das sind, steht nicht in der Modellkarte.
Auffällig ist, wie still der Start lief. Laut dem Blog von OrcaRouter wurden alle 18 Repositories (vier Größen in je fünf Formaten) am 17. November innerhalb von etwa fünf Minuten hochgeladen, offenbar per Skript. Einen Blogpost, eine Pressemitteilung oder eine Launch-Seite von Tencent gab es nicht. Zum Zeitpunkt der OrcaRouter-Analyse standen die Basis-Checkpoints bei null Downloads.
Was die Modelle können
WeMM-Video ist ein sogenanntes Omni-Modell: Es verarbeitet mehrere Eingabearten in einem einzigen Modell. Bei einem Video mit Ton kann es Ereignisse beschreiben, Gesprochenes mitschreiben und Fragen dazu beantworten, was zu sehen und zu hören ist. Es nimmt auch stumme Videos, reine Audiodateien, Bilder und Text an. Ausgegeben wird immer Text, auf Chinesisch oder Englisch.
Der Unterschied zu den meisten offenen Videomodellen: Die schauen sich nur die Einzelbilder an und ignorieren den Ton. Ein Omni-Modell kann dagegen beantworten, wer gerade spricht, was gesagt wurde oder ob die Musik zur Szene passt. Laut dem Bericht sind bisherige offene Modelle bei echten Videos „brüchig“. Sie übersehen Details, ordnen Geräusche nicht dem richtigen Ereignis zu und erfinden Dinge, die weder im Bild noch im Ton vorkommen. Als Einsatzbereiche nennt Tencent Live-Shopping, die Analyse von Kurzserien und interaktive Videos.
Jedes Modell hat zwei Modi. Der Instruct-Modus antwortet direkt und schnell. Der Thinking-Modus schreibt vorher eine Denkspur, also Schritt für Schritt nachvollziehbare Überlegungen. Das kostet mehr Zeit und Tokens, bringt laut Bericht aber bei den meisten Denkaufgaben deutlich bessere Ergebnisse. Umgeschaltet wird über den Parameter enable_thinking in der Chat-Vorlage.
Wie es gebaut und trainiert wurde
Technisch besteht jedes Modell aus drei Teilen. Ein Vision-Encoder übersetzt Videobilder in Tokens, also in Häppchen, die das Sprachmodell verarbeiten kann. Ein Audio-Encoder macht dasselbe mit dem Ton. Das Sprachmodell verarbeitet diese Tokens zusammen mit dem Text. Bild- und Ton-Tokens werden in zeitlicher Reihenfolge verschränkt und mit Zeitstempeln als Text versehen. So kann das Modell einen gesprochenen Satz dem Bild zuordnen, in dem er fällt. Die Architektur orientiert sich laut explainx.ai an video-SALMONN 2.
Die Basis stammt von Alibaba. Die dichten Modelle bauen auf Qwen3.5-2B, -4B und -9B auf, das MoE-Modell auf Qwen3.6-35B-A3B. Der Audio-Teil ist ein Whisper-artiger Encoder, initialisiert aus Qwen2.5-Omni. Er liest Ton mit 16 kHz in 30-Sekunden-Stücken. Ein sogenannter Q-Former, eine Art Verdichter, fasst jedes 0,1-Sekunden-Fenster zu einem Token zusammen. Das ergibt 10 Audio-Tokens pro Sekunde. Das Sprachmodell selbst ist ein Hybrid: Nur jede vierte Schicht nutzt volle Attention, die anderen drei eine sparsamere lineare Variante.
Trainiert wurde mit etwa 1,2 Billionen multimodalen Tokens. Den größten Anteil haben gemeinsame Audio-Video-Daten mit 45,4 Prozent, die häufigste Aufgabe ist das Beschreiben von Inhalten (Captioning) mit 37,7 Prozent. Die Daten umfassen unter anderem Sport, E-Sport, Filme, Kurzserien, Interviews, Shows und Live-Shopping. Das Vortraining hatte drei Stufen: Zuerst wurde nur die Audio-Anbindung trainiert, dann fast das ganze Modell ohne den Vision-Encoder, zuletzt wurde der Kontext mit langen Videos und langen Audios erweitert.
Danach folgten drei Schritte im Nachtraining:
- Multi-Teacher-OPD (On-Policy-Distillation): Stärkere „Lehrer“-Modelle bringen dem Modell Text- und Bildfähigkeiten bei, Modelle aus der eigenen Familie sichern die Audiofähigkeiten.
- Anti-Repetition-MrDPO: Die Basismodelle neigten dazu, sich endlos zu wiederholen. Mit gezielt gesammelten Beispielen solcher Schleifen wurde das wegtrainiert, über LoRA-Adapter, also kleine Zusatzmodule.
- Spezialisiertes Reinforcement Learning: Lernen durch Belohnung, mit Regeln bei überprüfbaren Aufgaben und mit Bewertungsrastern bei offenen Aufgaben.
Benchmarks: stark, aber nur Tencents eigene Zahlen
Tencent hat nach eigenen Angaben über 120 Benchmarks getestet. Das Flaggschiff 35B-A3B soll im Thinking-Modus bei 16 von 17 allgemeinen Audio-Video-Tests vor Qwen3.5-Omni-Flash und Seed2.0-Mini-0428 liegen. Zu Gemini-3.0-Flash verkleinere sich der Abstand, einen Sieg beansprucht der Bericht dort nicht. Das 9B-Modell soll das größere Qwen3-Omni-30B-A3B-Instruct übertreffen.
OrcaRouter hat die Zahlen für das 4B-Modell aus dem Bericht zusammengetragen (Thinking-Modus):
| Benchmark | WeMM-Video-4B | Qwen3-Omni-30B-A3B | MiniCPM-o-4.5-9B |
|---|---|---|---|
| Video-MME (mit Ton) | 83,9 | 77,3 | 69,2 |
| Video-MME v2 (mit Ton) | 48,1 | 36,3 | 28,1 |
| Daily-Omni | 82,5 | 70,7 | 80,2 |
| WorldSense | 60,3 | 54,0 | 55,7 |
| LVBench (stumm) | 65,3 | 50,2 | 50,9 |
| LongVideoBench (stumm) | 74,8 | 63,5 | 66,0 |
| Video-Holmes | 58,8 | – | 64,3 |
| FutureOmni | 50,9 | 55,1 | 56,1 |
Besonders auffällig ist der Vorsprung von 15 Punkten bei LVBench, einem Test für lange Videos. Gerade dort schneiden kleine Modelle sonst schlecht ab. Bei reinem Audio verliert das 4B-Modell dagegen gegen das proprietäre Qwen3.5-Omni-Flash: 75,2 zu 80,4 bei MMAU und 67,3 zu 74,0 bei MMAR. Bei Bildern und Text liegt es auf Augenhöhe, etwa mit 78,4 gegenüber 76,9 bei MMMU und 96,5 gegenüber 95,3 bei DocVQA. Bei OCRBench (85,7 zu 89,1) und GPQA (73,2 zu 76,4) liegt es hinten.
Die Einschränkung: Kein Dritter hat diese Werte bisher nachgeprüft. Laut Bericht stammen die Zahlen der Konkurrenz aus offiziellen Angaben „wo verfügbar, sonst aus eigenen Auswertungen“. Bei manchen Aufgaben bewerteten KI-Modelle wie GPT-4o die Antworten. Zudem wechselt der Modus zwischen den Tabellen: Video-Tests liefen im Thinking-Modus, Audio-Tests im Instruct-Modus. Weder Artificial Analysis noch LMArena führen WeMM bislang.
Der Haken: Namen und Kontext
OrcaRouter weist auf zwei Abweichungen zwischen Etikett und Inhalt hin. Erstens bezieht sich die Zahl im Namen nur auf das Sprachmodell. Mit Bild- und Audioteil sind die Modelle tatsächlich größer: 3,28 Milliarden (2B), 5,61 Milliarden (4B), 10,49 Milliarden (9B) und 36,18 Milliarden Parameter (35B-A3B). Allein der Audio-Teil des 4B-Modells hat 1,07 Milliarden Parameter. In BF16, dem vollen 16-Bit-Format, braucht die 4B-Datei 10,45 GiB.
Zweitens erlaubt die Konfiguration theoretisch 262.144 Tokens Kontext, also wie viel Text, Bild und Ton das Modell auf einmal im Blick behalten kann. Alle von Tencent veröffentlichten Startbefehle setzen aber 8.192 Tokens. Weil Ton allein 10 Tokens pro Sekunde verbraucht, reicht das für gut 13 Minuten reines Audio. Mit Bild wird es deutlich weniger. Das vLLM-Rezept nimmt außerdem nur 16 Bilder pro Video statt der möglichen 128. Unter welchen Bedingungen die Langvideo-Tests liefen, steht nicht im Repository.
Was du zum Ausprobieren brauchst
Die offizielle Anleitung setzt Python 3.12, eine NVIDIA-Grafikkarte mit Treiber für CUDA 12.9 und FFmpeg voraus. Festgelegt sind torch 2.10.0, torchvision 0.25.0, torchcodec 0.10.0 und transformers 5.2.0. Zum Laden über Transformers braucht man trust_remote_code=True. Damit wird Code aus dem Modell-Repository ausgeführt. Die README empfiehlt deshalb, den Code vorher zu lesen und eine feste Version (Commit) anzugeben. Für den Serverbetrieb gibt es Docker-Images mit angepasstem vLLM 0.18.0 und SGLang 0.5.16. Sie bieten eine OpenAI-kompatible Schnittstelle auf Port 8000. Pro Anfrage sind bis zu vier Bilder, zwei Videos und zwei Audiodateien erlaubt.
Angeboten werden die Formate BF16, FP8, AWQ W4A16, GGUF Q4_K_M und NVFP4. Die 4-Bit-Formate sind per Quantisierung verkleinert: Die Zahlen des Modells werden gröber gespeichert, das spart viel Speicher. Grob geschätzt braucht das 2B-Modell in 4 Bit etwa 4 GB Grafikspeicher, das 4B rund 6 GB, das 9B etwa 8 GB und das 35B-A3B um die 24 GB, jeweils plus Puffer für längere Videos. In BF16 belegt allein das 4B-Modell über 10 GiB. Es gibt eine GGUF-Variante mit eigener Laufzeitumgebung. Ob sie auf Mac oder reiner CPU sinnvoll läuft, geht aus den Quellen nicht klar hervor. Der offizielle Weg ist auf NVIDIA ausgelegt.
Einordnung
WeMM-Video füllt eine echte Lücke. Offene Modelle, die Bild und Ton eines Videos gemeinsam verstehen, gibt es bisher kaum, und schon gar nicht in Größen, die auf normale Grafikkarten passen. Treffen Tencents Zahlen zu, ist das 4B-Modell bei Videoverständnis stärker als Qwen3-Omni-30B-A3B, das siebenmal so groß ist. Dabei soll es bei Bildern, Dokumenten und Text kaum schwächer sein als das Basismodell. Dann könnte ein einziges Modell Screenshots, PDFs und Videos abdecken.
Vorsicht ist trotzdem angebracht. Alle Benchmarks stammen von Tencent selbst, die Baselines hat Tencent ausgesucht, und die Spitzenwerte kommen aus dem teureren Thinking-Modus. Die Modellnamen untertreiben den tatsächlichen Speicherbedarf. Die praktische Grenze von 8.192 Tokens schränkt die Arbeit mit langen Videos stark ein. Außerdem hängt das Projekt technisch an Alibabas Qwen-Modellen. Ob die Versprechen im Alltag halten, zeigen erst unabhängige Tests, und die gibt es bisher nicht.
Quellen
- Reddit r/LocalLLaMA huggingface.co
- blockchain.news blockchain.news
- orcarouter.ai orcarouter.ai
- explainx.ai explainx.ai
- Google News (SA) news.google.com
- Google News (ID) news.google.com
- Google News (IT) news.google.com
- Google News (AT) news.google.com
- Google News (AR) news.google.com
- Google News (PT) news.google.com
- Google News (BE) news.google.com
- Google News (AR) news.google.com
- Google News (IN) news.google.com
Selbst ausprobieren: WeMM-Video-4B
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
WeMM-Video schaut sich ein Video an und hört gleichzeitig den Ton. Es kann beschreiben, was passiert, Gesprochenes mitschreiben und Fragen beantworten wie „Wer sagt in welcher Szene was?“ oder „Passt die Musik zur Stimmung?“. Außerdem nimmt es stumme Videos, reine Audiodateien, Bilder, Dokumente und Text an und antwortet auf Deutsch nicht offiziell, sondern auf Chinesisch oder Englisch. Laut Tencents eigenen Tests schlägt schon das 4B-Modell das deutlich größere Qwen3-Omni-30B-A3B bei Videoverständnis, besonders bei langen Videos. Bei reinem Audio liegt es hinter proprietären Modellen wie Qwen3.5-Omni-Flash. Die wichtigste Grenze im Alltag: Die mitgelieferten Startbefehle erlauben nur 8.192 Tokens Kontext und nehmen nur 16 Bilder pro Video. Lange Clips mit Ton füllen den Speicher also schnell.
Für wen lohnt es sich?
Lohnend ist es für Leute mit NVIDIA-Grafikkarte, die Videos automatisch beschreiben, durchsuchen oder auswerten wollen, etwa Content-Creator, Forscher oder Entwickler von Video-Tools. Wer nur chatten will oder einen Mac oder AMD-Rechner hat, ist mit anderen Modellen besser bedient, weil die offizielle Installation auf NVIDIA und CUDA zugeschnitten ist.
Ideen: Was du damit anstellen kannst
Kurze Handyvideos nacheinander durchlaufen lassen und für jedes eine Beschreibung mit Ort, Personenzahl und Geschehen erstellen. So entsteht ein durchsuchbares Archiv der eigenen Videosammlung.
Eine Aufnahme mit Ton einspielen und Transkript plus Kernaussagen anfordern. Weil das Modell auch das Bild sieht, kann es Folieninhalte und Gesagtes zusammenführen.
Für kurze Social-Media-Videos das Gesprochene mit ungefähren Zeitpunkten ausgeben lassen. Das Ergebnis dient als Rohfassung für Untertitel, die man danach nachbessert.
Das Modell beschreiben lassen, was im Bild passiert, während niemand spricht. Daraus lassen sich Audiodeskriptionen für blinde oder sehbehinderte Zuschauer entwerfen.
Ein Bastel- oder Kochvideo einspielen und eine schriftliche Schritt-für-Schritt-Anleitung anfordern. Dabei werden auch Hinweise berücksichtigt, die nur gesprochen und nie eingeblendet werden.
Weil das Modell laut Tencent auch bei Dokumenten stark ist (DocVQA 96,5), kann man Rechnungen oder Screenshots fotografieren und gezielt Fragen dazu stellen.
Was dein Rechner braucht
2B (3,28 Mrd. Parameter): für Karten mit etwa 4 GB Grafikspeicher in 4 Bit, zum Ausprobieren. 4B (5,61 Mrd.): guter Kompromiss für Karten ab etwa 6–8 GB in 4 Bit (AWQ oder GGUF Q4_K_M). In BF16 braucht es über 10,45 GiB plus Kontext, also eine 16-GB-Karte. 9B (10,49 Mrd.): in 4 Bit ab etwa 8–12 GB, in BF16 eher 24 GB. 35B-A3B (36,18 Mrd., davon 3 Mrd. aktiv): in 4 Bit etwa 24 GB Grafikspeicher, laut Tencent das stärkste Modell. FP8 und NVFP4 lohnen sich vor allem auf neueren NVIDIA-Karten, die diese Formate in Hardware unterstützen. Die Speicherwerte sind grobe Schätzungen, keine Herstellerangaben.
- Offiziell vorausgesetzt: NVIDIA-Grafikkarte mit Treiber für CUDA 12.9, Python 3.12 und FFmpeg.
- Die Namen untertreiben die Größe: „4B“ hat tatsächlich 5,61 Milliarden Parameter, davon 1,07 Milliarden für den Audio-Teil. In BF16 sind das 10,45 GiB ohne Kontext.
- Ton verbraucht 10 Tokens pro Sekunde. Bei den voreingestellten 8.192 Tokens Kontext passen nur gut 13 Minuten reines Audio, mit Videobildern deutlich weniger.
- Mehr Bilder pro Video und mehr Kontext brauchen spürbar mehr Grafikspeicher. Die vLLM-Vorgabe von 16 Bildern ist bewusst sparsam.
- Es gibt eine GGUF-Version (Q4_K_M) mit eigener Laufzeitumgebung. Ob sie auf Mac oder CPU brauchbar schnell läuft, ist in den Quellen nicht belegt.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (Tencent/WeMM-Video auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Die Quelle nennt nur eine Linux-Umgebung mit NVIDIA-Grafikkarte, Windows wird nicht erwähnt. Vor allem TorchCodec (für Video) kann unter Windows Ärger machen. Sicherer ist WSL2, also ein Linux innerhalb von Windows, mit der Linux-Anleitung.
- Voraussetzungen prüfen. Installiere Python 3.12, Git und FFmpeg. FFmpeg muss im Systempfad liegen, damit der Befehl ffmpeg funktioniert. Außerdem brauchst du eine NVIDIA-Grafikkarte mit aktuellem Treiber, der CUDA 12.9 unterstützt. Prüfe alles in der PowerShell.
py -3.12 --version git --version ffmpeg -version nvidia-smi - Programm herunterladen. Holt den WeMM-Video-Code mit den Beispieldateien und wechselt in den Ordner.
git clone https://github.com/Tencent/WeMM-Video.git cd WeMM-Video - Virtuelle Umgebung anlegen. Legt einen abgeschotteten Python-Ordner an und aktiviert ihn. Kommt eine Fehlermeldung zu Skripten, führe vorher einmal Set-ExecutionPolicy -Scope CurrentUser RemoteSigned aus. Danach steht (.venv) vorne in der Zeile.
py -3.12 -m venv .venv .venv\Scripts\Activate.ps1 - PyTorch installieren. Lädt PyTorch für CUDA 12.9. Das sind mehrere Gigabyte.
python -m pip install --index-url https://download.pytorch.org/whl/cu129 torch==2.10.0 torchvision==0.25.0 torchcodec==0.10.0 - Weitere Pakete installieren. Installiert Transformers und die Hilfspakete für Bild und Ton.
python -m pip install transformers==5.2.0 accelerate pillow librosa soundfile scipy requests - Modell herunterladen. Lädt die rund 11 GB Gewichte von Hugging Face.
hf download tencent/WeMM-Video-4B - Erstes Video auswerten. Wertet den mitgelieferten Apollo-11-Clip samt Ton aus. Die Beschreibung erscheint im Fenster. Scheitert es am Video-Lesen (TorchCodec), weiche auf WSL2 aus.
python examples/transformers_video.py --model tencent/WeMM-Video-4B --video examples/media/apollo-11-first-steps.mp4 --prompt "Describe what happens and summarize what you hear." - Ergebnis. Im Terminal erscheint eine englische Beschreibung des Apollo-11-Beispielvideos, also was zu sehen ist und was gesagt wird.
macOS
macOS: nicht offiziell getestet. Die offizielle Anleitung setzt eine NVIDIA-Grafikkarte voraus, die gibt es am Mac nicht. Laut Model Card hat Tencent auf dem Prozessor nur einen Text-Test gemacht. Am Mac ist es also ein Versuch und wird langsam. Die GGUF-Variante mit eigener Laufzeit (native/README.md im Repo) ist für CPU gedacht und wohl die bessere Wahl.
- Voraussetzungen prüfen. Du brauchst die Xcode-Kommandozeilenwerkzeuge (bringen Git mit), Python 3.12 und FFmpeg, zum Beispiel über Homebrew. Plane mindestens 16 GB Arbeitsspeicher ein, denn das Modell liegt komplett im RAM.
xcode-select --install python3.12 --version ffmpeg -version - Programm herunterladen. Holt den WeMM-Video-Code mit den Beispieldateien und wechselt in den Ordner.
git clone https://github.com/Tencent/WeMM-Video.git cd WeMM-Video - Virtuelle Umgebung anlegen. Legt einen abgeschotteten Python-Ordner an. Danach steht (.venv) vorne in der Zeile.
python3.12 -m venv .venv source .venv/bin/activate - Pakete installieren. Am Mac lässt du die CUDA-Adresse weg, dann holt pip die normale PyTorch-Version. Danach kommen Transformers und die Hilfspakete.
python -m pip install torch==2.10.0 torchvision==0.25.0 torchcodec==0.10.0 python -m pip install transformers==5.2.0 accelerate pillow librosa soundfile scipy requests - Modell herunterladen. Lädt die rund 11 GB Gewichte von Hugging Face.
hf download tencent/WeMM-Video-4B - Erst mit Text testen. Speichere diesen Code als demo.py im Projektordner und starte ihn mit python demo.py. Er stellt eine einfache Rechenfrage aus der Model Card. Kommt nach einer Weile eine Uhrzeit als Antwort, läuft das Modell.
import torch from transformers import AutoModelForImageTextToText, AutoProcessor m = "tencent/WeMM-Video-4B" proc = AutoProcessor.from_pretrained(m, trust_remote_code=True) model = AutoModelForImageTextToText.from_pretrained(m, trust_remote_code=True, dtype=torch.bfloat16, device_map="auto").eval() msg = [{"role": "user", "content": [{"type": "text", "text": "A 20-minute meeting starts at 09:45. When does it end?"}]}] inp = proc.apply_chat_template(msg, tokenize=True, return_dict=True, return_tensors="pt", add_generation_prompt=True, enable_thinking=False).to(device=model.device, dtype=model.dtype) with torch.inference_mode(): out = model.generate(**inp, max_new_tokens=128, do_sample=False) print(proc.tokenizer.decode(out[0, inp.input_ids.shape[1]:], skip_special_tokens=True)) - Video auswerten. Klappt der Text-Test, probiere den mitgelieferten Apollo-11-Clip. Auf dem Mac kann das sehr lange dauern.
python examples/transformers_video.py --model tencent/WeMM-Video-4B --video examples/media/apollo-11-first-steps.mp4 --prompt "Describe what happens and summarize what you hear." - Ergebnis. Im Terminal erscheint eine englische Beschreibung des Apollo-11-Beispielvideos, also was zu sehen ist und was gesagt wird.
Linux
Linux: unterstützt. Das ist das offizielle Zielsystem: Python 3.12, eine NVIDIA-Grafikkarte mit einem Treiber für CUDA 12.9 und FFmpeg. Ohne starke Grafikkarte gibt es die GGUF-Variante mit eigener Laufzeit für den Prozessor (siehe native/README.md im Repo).
- Voraussetzungen prüfen. Du brauchst Python 3.12, Git, FFmpeg (ein Programm, das Video und Ton liest) und einen aktuellen NVIDIA-Treiber, der CUDA 12.9 unterstützt. CUDA ist die Rechenschnittstelle von NVIDIA. Mit nvidia-smi siehst du deine Grafikkarte und die unterstützte CUDA-Version. Rechne mit etwa 12 GB Download für das Modell.
python3.12 --version git --version ffmpeg -version nvidia-smi - Programm herunterladen. Damit holst du den Code von WeMM-Video samt Beispieldateien auf deinen Rechner und wechselst in den Ordner. Alle weiteren Befehle führst du in diesem Ordner aus.
git clone https://github.com/Tencent/WeMM-Video.git cd WeMM-Video - Virtuelle Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgeschotteter Ordner für Python-Pakete. So stört nichts dein restliches System. Wenn es geklappt hat, steht (.venv) vorne in der Eingabezeile.
python3.12 -m venv .venv source .venv/bin/activate - PyTorch installieren. PyTorch ist die Rechenbibliothek, die das Modell ausführt. Der Befehl lädt die Version für CUDA 12.9. Das sind mehrere Gigabyte, also hab etwas Geduld.
python -m pip install --index-url https://download.pytorch.org/whl/cu129 \ torch==2.10.0 torchvision==0.25.0 torchcodec==0.10.0 - Weitere Pakete installieren. Jetzt kommen Transformers (lädt das Modell) und Hilfspakete für Bilder und Ton dazu. Am Ende sollte „Successfully installed“ erscheinen.
python -m pip install transformers==5.2.0 accelerate pillow librosa soundfile scipy requests - Modell herunterladen. Damit lädst du die rund 11 GB Gewichte vorab in den Hugging-Face-Speicher. Ohne diesen Schritt lädt das Skript sie beim ersten Start selbst.
hf download tencent/WeMM-Video-4B - Erstes Video auswerten. Das Beispielskript schaut sich den mitgelieferten Apollo-11-Clip an, samt Ton. Die Antwort erscheint nach einiger Zeit im Terminal. Das Modell lädt eigenen Code von Hugging Face (trust_remote_code), das ist bei diesem Modell so vorgesehen.
python examples/transformers_video.py --model tencent/WeMM-Video-4B \ --video examples/media/apollo-11-first-steps.mp4 \ --prompt "Describe what happens and summarize what you hear." - Ergebnis. Im Terminal erscheint eine englische Beschreibung des Apollo-11-Beispielvideos, also was zu sehen ist und was gesagt wird.
So geht es nach dem ersten Ergebnis weiter
- Gib mit --video eine eigene MP4-Datei mit Ton an und stell mit --prompt deine eigene Frage. Das geht auf Englisch oder Chinesisch.
- Im Python-Beispiel der Model Card kannst du auch Bilder (type image), reine Tonaufnahmen (type audio) oder Videos ohne Ton (type video) übergeben. Mit max_frames und fps legst du fest, wie viele Einzelbilder das Modell aus dem Video nimmt.
- Setze enable_thinking=True, dann denkt das Modell erst Schritt für Schritt nach und antwortet danach (Thinking-Modus).
- Für Fortgeschrittene: Mit dem gepatchten vLLM oder SGLang (oder den Docker-Images aus dem Repo) läuft das Modell als Server mit OpenAI-kompatibler Schnittstelle. Testen kannst du ihn mit python examples/chat.py video-audio --model tencent/WeMM-Video-4B.
Das kannst du ausprobieren
Beschreibe in drei Sätzen, was in diesem Video passiert. (stummes Video)Transkribiere das Gesprochene in dieser Audiodatei und fasse den Inhalt danach kurz zusammen.Wer spricht in diesem Video wann, und was sagt die Person genau? Nenne die ungefähren Zeitpunkte. (Video mit Ton, use_audio aktiviert)Passt die Hintergrundmusik zur Stimmung der Szene? Begründe deine Antwort mit dem, was du siehst und hörst.Schau dir dieses Kochvideo an und schreibe daraus ein Rezept mit Zutatenliste und Arbeitsschritten, inklusive der Hinweise, die nur gesprochen werden.
Tipps für bessere Ergebnisse
- Den Thinking-Modus (enable_thinking) für Fragen nutzen, bei denen das Modell nachdenken muss, etwa zu Abläufen oder Ursachen. Für schnelle Beschreibungen und Transkripte reicht der Instruct-Modus.
- Fragen auf Englisch oder Chinesisch stellen, denn nur diese Sprachen werden offiziell unterstützt. Eine deutsche Zusammenfassung kannst du danach anfordern.
- Kurze Clips von unter einer Minute liefern mit den Standardeinstellungen die besten Ergebnisse. Lange Videos besser in Abschnitte teilen.
- Konkret fragen statt allgemein: „Was sagt die Frau links, nachdem die Tür aufgeht?“ nutzt die Zeitstempel-Stärke des Modells besser als „Was passiert?“.
Wenn es hakt
Die exakten Versionen einhalten: torch 2.10.0, torchvision 0.25.0, torchcodec 0.10.0 und transformers 5.2.0. Ältere transformers-Versionen kennen das Modell nicht.
Zum Laden ist trust_remote_code=True nötig. Wie die README empfiehlt, den Code vorher prüfen und über den Parameter revision eine feste Commit-Version angeben.
Normales vLLM oder SGLang reicht nicht: Tencent liefert gepatchte Versionen (vLLM 0.18.0, SGLang 0.5.16) als Dockerfiles. Am einfachsten startest du diese Docker-Images.
Wird der Ton ignoriert, fehlt meist use_audio: true in der Anfrage. Ohne diese Einstellung wertet das Modell nur die Bilder aus.
Ohne FFmpeg lassen sich Videos und Audios nicht einlesen. Vorher installieren.
Bei langen Videos bricht die Anfrage ab oder wird abgeschnitten, weil der Kontext auf 8.192 Tokens begrenzt ist. Den Clip kürzen oder max-model-len vorsichtig erhöhen, das kostet aber Grafikspeicher.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.