NVIDIA Dory: 4B-Modell denkt in Schleifen und schlägt größere Modelle

Worum es geht

NVIDIA hat ein neues, kleines Sprachmodell namens Dory veröffentlicht. Es stammt aus der Nemotron-Forschung des Grafikkartenherstellers, hat 4 Milliarden Parameter und steht unter der Open-MDW-Lizenz. Damit darf es sowohl für Forschung als auch kommerziell genutzt werden. Bekannt gemacht hat das Modell unter anderem der KI-Erklärer Sam Witteveen in einem ausführlichen Video. Die Website Geeky Gadgets hat es zusammengefasst, in der Community r/LocalLLaMA wurde es als neues Modell diskutiert.

Interessant ist Dory weniger wegen seiner Größe als wegen seiner Bauweise. Es ist ein Looped Transformer, also ein Modell, das einen Teil seiner Schichten mehrfach hintereinander durchläuft, statt jede Schicht nur einmal zu nutzen. NVIDIA will damit eine alte Frage angehen: Wie bekommt man mehr Rechentiefe, ohne dass das Modell mehr Speicher braucht?

Wie das Schleifen-Prinzip funktioniert

Ein klassischer Transformer, die Grundarchitektur fast aller heutigen Sprachmodelle, schickt jedes Wort einmal durch einen Stapel von Schichten, von unten nach oben. Mehr Schichten bedeuten meist ein klügeres Modell, aber auch mehr Parameter und damit mehr Speicherbedarf.

Dory teilt seine Schichten in drei Blöcke auf:

• einen Eingangsblock, der den Text aufbereitet,
• einen rekurrenten Block, der mehrfach durchlaufen wird,
• einen Ausgangsblock, der das Ergebnis erzeugt.

Der mittlere Block arbeitet wie ein Überarbeitungsschritt: Bei jedem Durchlauf werden die internen Darstellungen der Wörter weiter verfeinert, ähnlich wie man einen Text mehrmals Korrektur liest. Typisch sind laut Geeky Gadgets ein, zwei oder vier Durchläufe. Weil dabei immer dieselben Schichten wiederverwendet werden, wächst die Zahl der Parameter nicht.

Damit das Modell bei mehreren Runden nicht „vom Weg abkommt“, übernimmt Dory eine Idee aus den ResNet-Bildmodellen: Die ursprünglichen Eingangsdaten werden bei jedem Durchlauf erneut eingespeist. Das soll für Stabilität sorgen und verhindern, dass Informationen über die Runden verloren gehen.

Elastische Rechenleistung: Tempo gegen Qualität

Die praktisch spannendste Eigenschaft nennt NVIDIA „elastic inference compute“. Gemeint ist, dass du beim Ausführen des Modells selbst bestimmen kannst, wie oft der mittlere Block durchlaufen wird:

• Wenige Durchläufe liefern schnelle Antworten, etwa für einfache Fragen oder Echtzeitanwendungen.
• Mehr Durchläufe kosten mehr Rechenzeit, sollen aber bei schwierigeren Aufgaben bessere Ergebnisse liefern.

Der Speicherbedarf für die Modellgewichte bleibt dabei gleich. Ein einzelnes Modell kann so je nach Bedarf als schnelles „Kurz-Denker“- oder gründlicheres „Lang-Denker“-Modell arbeiten, ohne dass du zwei verschiedene Modelle bereithalten musst. Geeky Gadgets beschreibt das als sparsame Alternative zu Mixture-of-Experts-Modellen, die zwar schnell rechnen, aber sehr viel Speicher brauchen.

Training und Leistung

Dory wurde auf 6 Billionen Tokens vortrainiert. Danach folgten Supervised Fine-Tuning (SFT), bei dem das Modell an Beispielantworten lernt, und Reinforcement Learning, bei dem es für gute Antworten belohnt wird.

Bei den Benchmarks soll Dory vor allem in zwei Bereichen glänzen: beim Befolgen von Anweisungen und beim Verstehen langer Texte. Hier übertrifft es laut dem Bericht sogar deutlich größere Modelle wie Gemma 4 26B. Konkrete Zahlen nennt Geeky Gadgets allerdings nicht.

Ebenso deutlich werden die Schwächen benannt: Bei wissensintensiven Aufgaben, also Fragen, bei denen das Modell viele Fakten auswendig kennen muss, kann Dory mit größeren Modellen nicht mithalten. Das ist logisch: Mehr Schleifen machen das Modell gründlicher im Denken, aber Wissen speichert es in seinen Parametern, und davon hat es nur 4 Milliarden. Zudem steigen die Verbesserungen durch mehr Schleifen nicht bei allen Aufgaben gleichmäßig.

Was du zum Ausprobieren brauchst

Mit 4 Milliarden Parametern ist Dory klein. Die Modellgewichte passen in 4-Bit-Quantisierung (das Modell wird verkleinert, indem seine Zahlen gröber gespeichert werden) in rund 3 bis 4 GB Grafikspeicher, in voller 16-Bit-Genauigkeit in etwa 8 bis 9 GB. Eine handelsübliche Grafikkarte mit 8 GB reicht damit grundsätzlich aus. Auch Macs mit Apple Silicon und 16 GB Speicher dürften genügen, und für Google Colab mit kostenloser T4-GPU ist die Größe ebenfalls passend. Auf dem Prozessor allein läuft ein 4B-Modell zwar, aber langsam, und mit jeder zusätzlichen Schleife noch langsamer.

Ein Haken: Laut Geeky Gadgets wächst bei mehr Durchläufen der KV-Cache, also der Zwischenspeicher, in dem das Modell sich die bisher verarbeiteten Wörter merkt. Mit vier Schleifen und langem Kontext brauchst du deshalb spürbar mehr Speicher als die reine Modellgröße vermuten lässt. Plane etwas Reserve ein.

Da die Schleifen-Architektur neu ist, unterstützen verbreitete Werkzeuge wie llama.cpp oder Ollama sie möglicherweise noch nicht. Ob es bereits GGUF-Dateien gibt, geht aus den Quellen nicht hervor. Der sicherste Weg ist die offizielle Anleitung auf NVIDIAs Modellseite, vermutlich mit Hugging Face Transformers.

Einordnung

Dory ist vor allem ein Forschungsrelease, und auch Geeky Gadgets betont, dass es vor dem breiten Produktiveinsatz wohl noch Optimierung braucht. Die Idee der Looped Transformer ist nicht völlig neu, wird aber hier von einem großen Hersteller als vollständig trainiertes, offen lizenziertes Modell umgesetzt. Das macht sie für alle zugänglich, die mit dem Prinzip experimentieren wollen.

Für Nutzer mit schwacher Hardware ist der Ansatz attraktiv: ein kleines Modell, das bei Bedarf „länger nachdenkt“, statt ein großes, das immer viel Speicher braucht. Das passt zu Geräten am Netzwerkrand (Edge Computing), Smartphones oder Anwendungen, die mal schnell, mal gründlich antworten sollen.

Offen bleibt einiges: Die Quellen nennen keine konkreten Benchmark-Zahlen, keine Kontextlänge und keine Geschwindigkeitsmessungen. Der Vergleich mit Gemma 4 26B betrifft nur ausgewählte Disziplinen. Wie gut Dory im Alltag abschneidet, etwa auf Deutsch oder beim Programmieren, müssen unabhängige Tests erst zeigen. Spannend ist auch die Frage, wie sich das Konzept auf größere Modelle übertragen lässt. Geeky Gadgets sieht hier Potenzial, belegt ist das aber noch nicht.