Nvidia und MIT: Open-H3-Regenerate-2K hebt MiniMax-H3-Videos auf 2K bis 4K

Worum es geht

Das Team „Efficient-Large-Model“, bestehend aus Forschern von Nvidia und dem Massachusetts Institute of Technology (MIT), hat auf Hugging Face die Modellgewichte des Videoprojekts Open-H3-Regenerate-2K veröffentlicht. Der zugehörige Inferenzcode liegt im GitHub-Repository NVlabs/Sana. Das Projekt basiert auf MiniMax H3, dem Video-Generierungsmodell des chinesischen Unternehmens MiniMax, und verwandelt niedrig aufgelöste Videoentwürfe in hochauflösende Videos: 2K (2560×1440) und bis zu nativem 4K (3840×2160). Die Meldung stammt von QbitAI und wurde laut dem Text von MiniMax bereitgestellt; die Zahlen sind daher Angaben des Projektteams bzw. des Umfelds von MiniMax.

Wie MiniMax H3 aufgebaut ist

Laut Hauptquelle besteht das H3-Gesamtsystem aus mehreren Stufen: Verarbeitung multimodaler Eingaben (Text, Bild, Video, Audio), die Basis-Generierung von Audio und Video sowie die Regenerierung in hoher Auflösung. Das Basismodell H3-Base hat offene Gewichte und erzeugt Audio und Video in 768p. Das offizielle Modul H3-Regenerate-2K gibt es dagegen nur über eine API. Genau diese letzte Stufe ersetzt das neue Projekt durch eine selbst betreibbare, offene Variante.

Zum Hintergrund (laut intelligentliving.co): H3 ist ein „omni-modales“ Modell mit einem 33 Milliarden Parameter großen Transformer (Parameter – grob gesagt die Stellschrauben, die ein Modell beim Training lernt). Das Gesamtsystem inklusive Textencoder Qwen3-VL-32B kommt auf etwa 69,2 Milliarden Parameter. Es erzeugt Clips von 4 bis 15 Sekunden mit 24 Bildern pro Sekunde und synchronem Stereoton. Statt eines klassischen Super-Resolution-Moduls, das Details oft verwischt, regeneriert H3 sein eigenes Low-Res-Ergebnis „im Kontext“ – das ist der Ansatz, den das Nvidia/MIT-Team nachbaut.

Wie die Verfeinerung funktioniert

Beim Training des Verfeinerungsmodells blieben der Transformer-Hauptteil von H3 und der Video-VAE (ein Autoencoder, der Videos in eine kompakte Darstellung, den „latenten Raum“, packt und zurückwandelt) unverändert. Trainiert wurde nur eine zusätzliche LoRA – ein kleines, nachträglich eingehängtes Zusatzgewicht, das ein großes Modell mit wenig Aufwand anpasst.

Bei der Inferenz wird diese Verfeinerungs-LoRA mit Community-Adaptern wie LightX2V FL2VA Turbo und LMS Sharp zusammengeführt. In nur drei Denoising-Schritten (Entrauschungsschritte, in denen das Bild aus Rauschen schrittweise entsteht) werden die Details in der Zielauflösung neu erzeugt. Szene, Layout und Bewegung des Entwurfs dienen als Grundlage.

Geschwindigkeit

Für mehr Tempo nutzt das Projekt einen Community-entwickelten Latent-Upscaler, der die latente Darstellung direkt vergrößert. Das spart wiederholtes Decodieren und Codieren bei hoher Auflösung. Zusätzlich beschleunigen Sparse Attention (der Aufmerksamkeitsmechanismus rechnet nur mit ausgewählten Teilen), Rechnen mit niedriger Genauigkeit und ein schneller VAE-Decoder aus der Software SoL-Engine die Verfeinerung und das Decodieren.

Das entspricht etwa dem 3,9-Fachen an Geschwindigkeit. Wichtig: Die B200 ist eine Rechenzentrums-GPU; die Zeiten gelten nicht für Heim-Hardware.

Qualität im Vergleich zur offiziellen API

Auf dem Testset RefinerBench-150 verglich das Team beide Lösungen mit gleichem Input und gleichem 2K-Output. Im Wahrnehmungsmaß UniPercept erreicht Open-H3-Regenerate-2K im Mittel 60,0, die offizielle H3-Regenerate-2K-API 53,4. In VBench liegt der offene Ansatz bei ästhetischer Qualität, Bildqualität und Subjektkonsistenz vorn; die offizielle API bleibt bei Bewegungsglätte und Dynamik leicht überlegen. Es handelt sich um Eigenmessungen des Projektteams, unabhängige Nachprüfungen liegen in den Quellen nicht vor.

Das H3-Ökosystem

MiniMax H3 wurde laut Hauptquelle im August mit offenen Gewichten veröffentlicht. Binnen eines Monats sei es über 24 Millionen Mal heruntergeladen worden, es gebe über 300 öffentliche Ableger, und H3 gehöre zu den 2026 am häufigsten heruntergeladenen Modellen. Dieselbe Nvidia/MIT-Gruppe veröffentlichte außerdem StreamRender-H3 (Streaming-Videorendering auf Basis von H3 Ref2VA) und Sol-H3-VAE (ein aus dem H3-VAE destillierter schneller Decoder). Weitere Community-Projekte: LightX2V mit MiniMax-H3 Turbo (4- und 8-Schritt-Varianten), das Feintuning „Singularity“, FastH3 von FastVideo, Pika H3 Flex mit sechs Schritten sowie Anpassungen von ComfyUI und Unsloth für lokale Workflows.

Lizenz: Achtung für Europa

Laut intelligentliving.co steht H3 unter der „MiniMax H3 Community License“. Diese schließt die USA, die EU, Großbritannien und Südkorea aus dem „Applicable Territory“ aus; dort darf man die Gewichte demnach nicht lokal nutzen oder deren Ausgaben verwenden. Die gehostete API bleibt weltweit verfügbar. Wie die Lizenz für das abgeleitete Open-H3-Regenerate-2K gilt, nennen die Quellen nicht – wer in Deutschland arbeitet, sollte das vor einer Nutzung klären.

Was du zum Ausprobieren brauchst

Die Quellen nennen keine Mindestanforderungen für das Heimsystem. Getestet wurde auf einer Nvidia B200 (Rechenzentrum). Für 2K/4K-Regenerierung mit einem 33-Milliarden-Parameter-Backbone ist eine große GPU mit viel VRAM realistisch; ein Community-Video zeigt immerhin einen ComfyUI-Workflow für H3-Verfeinerung. Auf CPU oder Mac ist das praktisch nicht sinnvoll. Plane mehrere zehn bis über hundert Gigabyte Speicherplatz für H3-Basis, VAE und Adapter ein (Schätzung, nicht aus der Quelle).

Einordnung

Das Projekt schließt eine Lücke: Die hochwertige Auflösungsstufe von H3 war bisher nur per API zu haben, jetzt gibt es eine offene, anpassbare Alternative, die laut Eigenmessung bei der Wahrgenommenen Bildqualität besser abschneidet. Dass Nvidia mitarbeitet, zeigt, wie stark sich H3 als Plattform für Community-Entwicklung etabliert. Kritisch: Alle Zahlen stammen vom Projektteam bzw. aus einer von MiniMax bereitgestellten Meldung, unabhängige Tests fehlen, und die Lizenzfrage für Nutzer in der EU ist offen bis ungünstig. Die Geschwindigkeit gilt nur für Spitzenhardware.