PAN 2: Offenes Weltmodell mit 29 Milliarden Parametern simuliert Handlungen als Video

Worum es geht

Das Institute of Foundation Models (IFM) der Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) in Abu Dhabi hat am 10. November 2026 auf X PAN 2 angekündigt. Es ist ein sogenanntes Weltmodell: ein KI-System, das vorhersagen soll, wie sich eine Szene verändert, wenn jemand darin etwas tut. Du gibst eine Beschreibung der Ausgangslage (optional mit einem Startbild) und die geplanten Handlungen als Text ein. PAN 2 erzeugt daraus ein Video, das zeigt, was nach seiner Vorhersage passiert.

Das Modell ist der Nachfolger von PAN, das im November 2025 erschien. Das IFM hat die Gewichte, den Trainingscode und den Inferenzcode unter der freizügigen Apache-2.0-Lizenz veröffentlicht. Die Gewichte liegen auf huggingface.co/IFM/PAN2. Gedacht ist PAN 2 vor allem für Robotik und KI-Agenten: Ein Agent schlägt mehrere mögliche Pläne vor, PAN 2 spielt jeden davon als Video durch, und der Agent führt den Plan aus, dessen simuliertes Ergebnis am besten aussieht. Das IFM nennt das „simulatives Schlussfolgern“.

Wie PAN 2 funktioniert: erst denken, dann malen

PAN 2 folgt der Architektur „Generative Latent Prediction“ (GLP), die das IFM in seinem Fachartikel „Critique of World Models“ beschrieben hat. Die Simulation läuft in zwei Stufen ab.

Konzeptionelles Schlussfolgern: Zuerst liest ein großes Sprachmodell (LLM) die Ausgangslage und die gewünschten Aktionen. Daraus schreibt es den nächsten Zustand der Welt als strukturierte Beschreibung im JSON-Format, also als maschinenlesbare Liste mit Feldern statt Fließtext. Darin stehen Ereignisse, zeitlich festgelegte Handlungen mit der jeweils ausführenden Person und die Kamerabewegung. Laut IFM kann jedes LLM diese Rolle übernehmen, das Anweisungen zuverlässig befolgt. Im technischen Bericht dient standardmäßig Kimi K3 als Planer. Getestet wurden außerdem Claude Opus 5.5, GPT-6 Astra und Qwen 3.8 Flash. Die meisten vollständig erledigten Pläne lieferte Claude Opus 5.5.

Perzeptuelles Schlussfolgern: Danach übernimmt das eigentliche Videomodell. Es ist ein dichter multimodaler Diffusions-Transformer (MMDiT) mit 29 Milliarden Parametern. Diffusion heißt hier: Das Modell startet mit Rauschen und verfeinert es Schritt für Schritt zu einem Bild, ähnlich wie ein Foto, das langsam scharf wird. Das IFM hat es von Grund auf mit Hunderten Millionen annotierten Videos trainiert, die im selben strukturierten Format beschrieben sind. Ein „eingefrorener“, also nicht weiter trainierter Text-Encoder (Qwen3.5-9B) übersetzt die Beschreibung in Steuersignale. Der VAE-Decoder von Wan 2.2 macht aus der komprimierten internen Darstellung (den „Latents“) schließlich sichtbare Einzelbilder. Ein VAE ist ein Baustein, der Bilder in eine kompakte Form packt und wieder entpackt.

Wie wichtig die erste Stufe ist, zeigen Ablationstests, bei denen einzelne Bausteine weggelassen werden. Ohne konzeptionelles Schlussfolgern sinkt der Anteil vollständig erledigter Pläne von 34 auf 0 Prozent, die Quote erledigter Einzelschritte fällt von 75,1 auf 8,7 Prozent. Wird die Eingabe nur ins richtige Format umgeschrieben, ohne dass inhaltlich geplant wird, erreicht das Modell immerhin 27,8 Prozent. Eine weitere Erkenntnis aus dem Training: Nach einer frühen Phase hat das IFM Videospiel-, Animations- und Simulationsmaterial aus den Trainingsdaten entfernt. Ein Testmodell mit 9 Milliarden Parametern, das ohne dieses Material trainiert wurde, gewann 58 Prozent der Stimmen in einem Blindvergleich.

Zahlen und Benchmarks: vorn bei langen Plänen, nicht überall

Alle Werte stammen vom IFM selbst. Die eigene Testreihe umfasst sechs Fähigkeiten mit 300 Einzelaktionen sowie 100 mehrstufige Alltagsaufgaben aus der Ich-Perspektive (200 Prompts, 456 Schritte).

Das Bild ist gemischt. Bei kompletten mehrstufigen Plänen liegt PAN 2 knapp vorn. Trotzdem scheitern rund zwei von drei simulierten Plänen an mindestens einem Schritt. Bei Einzelschritten liegt PAN 2 gleichauf mit MiniMax-H3. In allen sechs Einzelfähigkeiten führt MiniMax-H3. Laut MarkTechPost sieht es auf Physics-IQ in der Standardkonfiguration jedes Systems schlechter aus: Dort erreicht PAN 2 37,48 Punkte, MiniMax-H3 42,91. Der Spitzenwert von 49,38 kam mit Claude Opus 5.5 als Planer zustande. Bei Physics-IQ ist der Wert so normiert, dass die Abweichung zwischen zwei echten Aufnahmen 100 ergibt. In der menschlichen Bewertung verglichen 13 Prüfer in 1.400 Paarvergleichen blind, ob die Videos die Handlung umsetzen, physikalisch stimmen und in sich stimmig bleiben. Elo ist dabei ein Punktesystem wie beim Schach. PAN 2 erreichte 1595 Punkte mit GPT-6 Astra als Planer, MiniMax-H3 1620. MarkTechPost weist außerdem darauf hin, dass der Blog des IFM für Cosmos 3 Super und LTX-2.5 andere Planwerte angibt als die Modellkarte.

Was die Konkurrenz anders macht

Im Vergleich mit anderen großen Videomodellen hat PAN 2 vor allem bei der Offenheit einen Vorteil. MiniMax-H3 nutzt einen 33-Milliarden-Transformer und steht unter einer eigenen Community-Lizenz. NVIDIAs Cosmos 3 Super ist ein 64-Milliarden-„Mixture-of-Transformers“ unter der Lizenz OpenMDW 1.1. LTX-2.5 von Lightricks hat laut den Dateinamen seiner Checkpoints 22 Milliarden Parameter. Nur bei PAN 2 ist der vollständige Trainingscode unter Apache 2.0 verfügbar. Dafür erzeugt PAN 2 keinen Ton, während MiniMax-H3, Cosmos 3 Super und LTX-2.5 Audio liefern. Mit 20 Sekunden ist die maximale Cliplänge von PAN 2 größer als die 15 Sekunden von MiniMax-H3.

Was du zum Ausprobieren brauchst

PAN 2 ist nichts für den Gaming-PC. Das Modell lässt sich über Hugging Face Diffusers, vLLM, FastVideo oder das Skript generate.py aus dem Repository nutzen. Laut Modellkarte lädt jeder GPU-Worker das komplette 29-Milliarden-Modell in BF16, einem 16-Bit-Zahlenformat. Als Notlösung gibt es „Block-Offloading“: Teile des Modells werden dabei auslagert und nur bei Bedarf auf die Grafikkarte geholt. Das IFM nennt weder einen VRAM-Bedarf noch Generierungszeiten. Grob überschlagen belegen allein die Gewichte in BF16 knapp 60 GB. Dazu kommen der Text-Encoder Qwen3.5-9B, der VAE und der Speicher für 241 bis 481 Einzelbilder. Realistisch ist also eine Rechenzentrumskarte mit 80 GB oder mehr. Diese Zahl ist eine eigene Schätzung, keine Herstellerangabe. Eine verkleinerte Version, etwa im GGUF-Format, gibt es nicht. Auch ein Betrieb auf Mac oder CPU ist nicht vorgesehen. Wer keine eigene Hardware hat, mietet am besten eine Cloud-GPU.

Die Software-Anforderungen sind aktuell: Python 3.14, PyTorch 2.12.1 mit CUDA 13.2, eine Beta von FlashAttention 4 und die „quack-kernels“. Text-Encoder (Qwen/Qwen3.5-9B) und VAE (Wan-AI/Wan2.2-TI2V-5B-Diffusers) werden getrennt heruntergeladen. Für generate.py muss der Checkpoint einmal mit einem mitgelieferten Skript ins native Format umgewandelt werden. Standardmäßig arbeitet das Modell mit 50 Schritten, Flow Shift 9 und Guidance 2,5. Ein Clip hat 241 Bilder, das sind rund 10 Sekunden.

Eingaben sollten als strukturierte Beschreibungen formuliert sein. Freitext schreibt ein Planer-LLM vorher um. Dafür liefert das IFM einen „Conceptual Reasoner“-Skill für Claude Code und Codex sowie ein Skript für lokale Modelle. Pro Beschreibung gilt ein hartes Limit von 1.536 Tokens, empfohlen sind höchstens 1.480.

Sicherheit und Grenzen

Das IFM empfiehlt dringend, den separat erhältlichen Schutzfilter pan2-guardrail zu nutzen. Er prüft die Anfrage vor der Generierung mit Qwen3Guard-Gen-4B und das fertige Video mit dem Bildklassifikator Q16. In internen Tests sank der Anteil schädlicher Text-zu-Video-Anfragen, die tatsächlich ein unsicheres Video lieferten, von 33,9 auf 1,5 Prozent. Der Filter blockierte allerdings auch 11,5 Prozent harmloser Text-Anfragen und 3,3 Prozent harmloser Bild-zu-Video-Anfragen. Deepfakes realer Personen, Desinformation und sicherheitskritische Entscheidungen ohne menschliche Prüfung schließt die Modellkarte ausdrücklich aus.

Die Modellkarte nennt selbst mehrere Schwächen. Lange Pläne scheitern oft. Gemessen wurden nur Pläne, die gelingen sollten. Wie gut PAN 2 Pläne simuliert, die eigentlich scheitern müssten, ist noch nicht untersucht, obwohl genau das für Robotik entscheidend wäre. Das Modell reagiert empfindlich auf die Formulierung der Eingabe. Die Fallstudien beruhten auf von Hand verfeinerten Prompts. Und weil jeder Clip nur von höchstens einem Startbild ausgeht, verändert sich das Aussehen von Szenen über mehrere Clips hinweg.

Einordnung

PAN 2 ist eines der wenigen großen Video-Weltmodelle, bei denen neben den Gewichten auch der komplette Trainingscode offenliegt. Forschende können damit nachvollziehen und nachbauen, wie es entstanden ist. Das unterscheidet es von MiniMax-H3, Cosmos oder LTX mit ihren eigenen Lizenzen. Die Zerlegung in einen austauschbaren LLM-Planer und einen Videogenerator ist ebenfalls interessant: Bessere Sprachmodelle dürften die Simulation verbessern, ohne dass das Videomodell neu trainiert werden muss.

Allerdings sind alle Zahlen Eigenangaben in teils günstig gewählten Konfigurationen, und die Abstände zur Konkurrenz sind klein. Ein überzeugendes Video ist außerdem noch kein Beweis, dass ein Roboter die gezeigte Handlung in der Realität ausführen kann. Bei einer Erfolgsquote von 34 Prozent für komplette Pläne und dem hohen Hardwarebedarf ist PAN 2 ein Forschungswerkzeug. Dass autonome physische Planung gelöst wäre, zeigt es nicht.