NVIDIA Nemotron-Labs Dory1.0-4B: Looped-LLM mit variablem Rechenaufwand

Worum es geht

NVIDIA hat Dory1.0-4B veröffentlicht, ein kleines Sprachmodell mit Looped-Architektur (latent-recurrent). Ein gemeinsamer Block von Layern wird mehrfach angewendet, sodass das Modell pro Token mehr rechnen kann, ohne mehr Parameter zu brauchen.

Die wichtigsten Fakten

• 4 Mrd. Parameter, normalized-GPT mit abwechselnd Sliding-Window- und Full-Attention.
• Aufbau: 8 Input-Layer, 20 rekurrente Layer (geloopt), 8 Output-Layer.
• Kontext bis 256K Tokens, nur Englisch.
• Elastic Inference: Anzahl der Loops (1, 2, 4 …) wählbar, ohne Retraining.
• Last-loop KV-Caching vermeidet zusätzlichen KV-Cache-Speicher je Loop.
• Natives NVFP4-Pretraining, danach BF16.
• Formate: BF16, MXFP8, NVFP4 und Q5_K_M.
• Lizenz: OpenMDW-1.1, kommerzielle Nutzung erlaubt.
• Benchmarks verglichen mit Qwen3.5-4B/9B, Gemma 4 26B A4B und Qwen3.6-35B-A3B (Zahlen im Auszug nicht enthalten).

Einordnung

Der Ansatz ist technisch interessant, weil Rechenbudget zur Laufzeit statt über Modellgröße skaliert wird. Für lokale Tests ist ein 4B-Modell gut erreichbar, allerdings ist die Architektur neu und braucht vermutlich eigenen Code. Die Leistung im Vergleich zu Qwen3.5 lässt sich anhand des Auszugs nicht beurteilen.