Nvidia Nemotron-Labs-Sigma: Sprachmodell schreibt Text per Diffusion statt Wort für Wort
Nvidia hat mit Nemotron-Labs-Sigma ein offenes Sprachmodell mit 8 Milliarden (und eine kleinere Variante mit 3 Milliarden) Parametern veröffentlicht, das Text nicht Token für Token schreibt, sondern ganze Blöcke parallel aus Rauschen herausrechnet – ähnlich wie Bildgeneratoren. Das verspricht deutlich schnellere Textausgabe und ist ein spannendes Forschungsobjekt.

Worum es geht
Nvidia hat auf Hugging Face eine neue Modellfamilie namens Nemotron-Labs-Sigma veröffentlicht. Sie ist in der Community r/LocalLLaMA am 16. November 2026 aufgetaucht. Laut Titel des Beitrags gibt es sie in zwei Größen, mit 8 und mit 3 Milliarden Parametern. Ausführlich beschrieben ist bisher nur die 8B-Version, und zwar auf ihrer Modellkarte huggingface.co/nvidia/Nemotron-Labs-Sigma-8B.
Das Besondere ist nicht die Größe, sondern die Arbeitsweise. Sigma ist ein kontinuierliches Diffusions-Sprachmodell. Fast alle bekannten Chatbots, von ChatGPT bis Llama, sind autoregressiv: Sie schreiben ein Token (ein Wortstück) nach dem anderen, und jedes neue hängt von allen vorherigen ab. Sigma erzeugt stattdessen ganze Textblöcke auf einmal. Es fängt mit Zufallsrauschen an und verfeinert dieses Schritt für Schritt, bis lesbarer Text herauskommt. Bildgeneratoren wie Stable Diffusion arbeiten nach demselben Prinzip.
Nvidia veröffentlicht zwei Fassungen: ein Basismodell, das nur vortrainiert ist, und eine Instruct-Variante für Chat und das Befolgen von Anweisungen: Nemotron-Labs-Sigma-8B-instruct. Laut Modellkarte ist das Modell „bereit für kommerzielle und nicht-kommerzielle Nutzung“.
Wie Diffusion bei Text funktioniert
Bei Bildern ist Diffusion naheliegend. Pixel sind Zahlen, und denen kann man schrittweise Rauschen hinzufügen oder es wieder entfernen. Text besteht dagegen aus einzelnen Symbolen, also Wörtern und Tokens, zwischen denen es keine fließenden Übergänge gibt. Viele bisherige Text-Diffusionsmodelle arbeiten deshalb diskret: Sie maskieren Wörter, ähnlich wie bei einem Lückentext, und füllen die Lücken nach und nach.
Nvidia geht bei Sigma einen anderen Weg. Jedes Token wird als Punkt in einem kontinuierlichen Einbettungsraum dargestellt, eine Art Koordinatensystem, in dem ähnliche Tokens nah beieinander liegen. Dieser Raum hat bei Sigma nur 16 Dimensionen und ist damit sehr klein. Das Modell startet mit Gaußschem Rauschen, also zufällig verteilten Zahlen, und schiebt diese Punkte Schritt für Schritt dorthin, wo sinnvolle Tokens liegen. Das Entrauschungsnetz und die Token-Einbettungen werden laut Nvidia gemeinsam trainiert, und zwar per Likelihood-Optimierung: Das Modell lernt, den Trainingstexten eine möglichst hohe Wahrscheinlichkeit zuzuordnen.
Blöcke, Schritte und KV-Cache
Sigma kombiniert beide Welten. Der Text entsteht in parallelen Blöcken. Innerhalb eines Blocks werden alle Tokens gleichzeitig über eine einstellbare Zahl von Entrauschungsschritten verfeinert. Dafür stehen zwei bekannte Verfahren aus der Bilddiffusion zur Verfügung:
- DDPM (Denoising Diffusion Probabilistic Model): der klassische, zufallsbehaftete Sampler, der meist viele Schritte braucht.
- DDIM (Denoising Diffusion Implicit Model): eine deterministische Variante, die mit deutlich weniger Schritten auskommt.
Dazu kommt Self-Conditioning. Das Modell bekommt seine eigene Schätzung aus dem vorigen Schritt als zusätzliche Eingabe, was die Verfeinerung stabiler macht.
Wenn ein Block fertig ist, wird er „festgeschrieben“. Die bereits erzeugten Tokens werden dann über einen ganz normalen KV-Cache wiederverwendet. Das ist der Zwischenspeicher, in dem Sprachmodelle bereits verarbeiteten Text ablegen, damit sie ihn nicht immer neu berechnen müssen. Von Block zu Block arbeitet Sigma also wie ein herkömmliches Modell, innerhalb eines Blocks wie ein Bildgenerator.
Warum das schneller sein kann
Der Vorteil liegt in der Abwägung zwischen Tempo und Qualität. Ein autoregressives Modell braucht für 100 Tokens 100 Durchläufe. Sigma kann einen ganzen Block in wenigen Entrauschungsschritten erzeugen. Laut Nvidia kosten weniger Schritte „ein wenig Qualität“, bringen aber „große Beschleunigungen“. Konkrete Zahlen zu Geschwindigkeit oder Benchmarks enthält der vorliegende Auszug der Modellkarte nicht. Bei den Highlights ist nur von einer Denkleistung die Rede, die „konkurrenzfähig“ sei. Der Satz bricht in der Quelle ab, deshalb bleibt unklar, womit genau verglichen wird.
Nvidia hebt außerdem hervor, dass die glatte, kontinuierliche Darstellung das Modell gut geeignet macht für:
- Few-Step-Destillation: Man trainiert eine Version, die mit sehr wenigen Schritten, im Extremfall nur einem, fast genauso gute Ergebnisse liefert. Bei Bildmodellen hat das die Erzeugung um ein Vielfaches beschleunigt.
- Trajectory Steering: Man lenkt den Entrauschungsweg gezielt, etwa um den Text in eine bestimmte Richtung zu bringen. Das ist vergleichbar mit der Art, wie Bildgeneratoren über Leitsignale gesteuert werden.
Für wen das Basismodell gedacht ist
Nvidia betont ausdrücklich, dass das Basismodell kein Assistent ist. Es soll Ausgangspunkt für Forschung zu parallelem Decoding, Fine-Tuning (Nachtrainieren auf eigene Daten) und Destillation sein. Wer chatten oder Anweisungen geben will, soll die Instruct-Variante nehmen. Das Modell trägt den Namenszusatz „Labs“ und ist damit erkennbar ein Forschungsprojekt aus Nvidias Nemotron-Familie und kein fertiges Produkt.
Was du zum Ausprobieren brauchst
Die Quelle nennt keine offiziellen Hardware-Angaben. Folgendes ist eine Schätzung:
- Grafikkarte: Für die 8B-Variante in voller Genauigkeit (BF16) brauchst du rund 16 bis 18 GB Grafikspeicher (VRAM), also etwa eine RTX 4090, 5090 oder eine Profikarte. Die 3B-Variante dürfte mit etwa 6 bis 8 GB auskommen und läuft damit auch auf Mittelklasse-Karten.
- Quantisierte Fassungen: Das sind Versionen, die durch gröber gespeicherte Zahlen kleiner werden. Dass es so etwas gibt, ist nicht bekannt. Weil die Architektur neu ist, unterstützen gängige Programme wie Ollama, LM Studio oder llama.cpp das Modell sehr wahrscheinlich noch nicht. Du wirst Python mit der Hugging-Face-Bibliothek transformers und vermutlich mitgeliefertem Modellcode brauchen.
- Arbeitsspeicher und Platz: Plane mindestens 32 GB RAM und rund 20 GB freien Speicherplatz für die 8B-Gewichte ein.
- Mac, CPU, Colab: Auf Apple Silicon oder nur mit dem Prozessor zu rechnen ist ungewiss, weil Nvidia-Forschungscode meist auf CUDA ausgelegt ist. Die 3B-Variante sollte sich in Google Colab mit einer T4- oder L4-GPU testen lassen.
Einordnung
Diffusions-Sprachmodelle gelten seit einiger Zeit als möglicher Weg aus dem Engpass der Wort-für-Wort-Erzeugung. Bisher stammten die bekannten Beispiele meist aus der diskreten Maskierungs-Ecke. Dass Nvidia einen kontinuierlichen Ansatz bei 8 Milliarden Parametern offen veröffentlicht, ist für die Forschung bemerkenswert. Die Kombination aus parallelen Blöcken und KV-Cache wirkt pragmatisch, weil sie bewährte Inferenz-Technik weiterverwendet.
Viel ist allerdings offen. Ohne veröffentlichte Benchmarks und Geschwindigkeitsmessungen lässt sich nicht sagen, wie Sigma gegen gleich große klassische Modelle wie Llama- oder Qwen-Varianten abschneidet. „Konkurrenzfähig“ ist eine Herstellerangabe. Für Endnutzer ist das Modell vorerst eher ein Experimentierobjekt als ein Ersatz für bewährte lokale Chatmodelle. Wer sich für die Zukunft schneller Textgenerierung interessiert, bekommt hier aber eines der ersten offenen Modelle dieser Bauart in nennenswerter Größe.
Quellen
- Reddit r/LocalLLaMA reddit.com
- 247wallst.com 247wallst.com
- cryptobriefing.com cryptobriefing.com
- nvidianews.nvidia.com nvidianews.nvidia.com
Selbst ausprobieren: Nemotron-Labs-Sigma-8B
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Nemotron-Labs-Sigma erzeugt Text nicht Wort für Wort, sondern blockweise durch schrittweises Entrauschen, ähnlich wie ein Bildgenerator. Lokal kannst du damit beobachten, wie sich Qualität und Tempo verändern, wenn du die Zahl der Entrauschungsschritte änderst. Das Basismodell setzt vorhandene Texte fort und ist für Forschung, Fine-Tuning und Destillation gedacht, nicht für Gespräche. Zum Chatten und für Anweisungen gibt es die Instruct-Variante. Laut Nvidia ist die Denkleistung „konkurrenzfähig“, unabhängige Benchmarks fehlen aber noch. Gegenüber ausgereiften lokalen Chatmodellen wie Qwen oder Llama solltest du keinen Qualitätssprung erwarten. Der Reiz liegt in der neuen Technik und dem möglichen Geschwindigkeitsvorteil.
Für wen lohnt es sich?
Lohnt sich für Entwickler, Studierende und Forschende, die neue Generierungsverfahren verstehen oder darauf aufbauen wollen, und für Bastler mit einer starken Nvidia-Grafikkarte und Python-Erfahrung. Wer einfach einen guten lokalen Chat-Assistenten sucht, ist mit etablierten Modellen in Ollama oder LM Studio besser bedient.
Ideen: Was du damit anstellen kannst
Lass denselben Prompt mit 4, 16 und 64 Entrauschungsschritten laufen und stoppe jeweils die Zeit. So siehst du direkt, wie viel Qualität du für mehr Geschwindigkeit opferst.
Gib nach jedem Entrauschungsschritt den Zwischenstand aus, sofern der Code das erlaubt. Du siehst dann, wie aus Rauschen nach und nach Wörter werden, und verstehst Diffusion besser als aus jedem Lehrbuch.
Trainiere das Basismodell mit eigenen Texten nach, etwa Produktbeschreibungen oder Fachartikeln aus deinem Bereich. Prüfe danach, ob blockweise Generierung bei solchen Formaten schneller brauchbare Ergebnisse liefert.
Gib den Anfang einer E-Mail, eines Blogartikels oder einer Geschichte vor und lass das Modell weiterschreiben. Das Ergebnis ist eine Rohfassung zum Überarbeiten.
Stelle der Instruct-Variante und einem gleich großen klassischen Modell wie Llama oder Qwen dieselben Fragen. So bekommst du ein eigenes Gefühl dafür, wo Diffusion heute steht.
Was dein Rechner braucht
Werte geschätzt aus der Modellgröße – die Model Card kann genauere Angaben enthalten.
Welche Variante passt zu mir?
Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.
| Variante | Download | Braucht ca. | Passende Grafikkarten |
|---|---|---|---|
4-bit (Q4) Standard |
5,1 GB | 7 GB | z. B. RTX 3060 Ti, RTX 4060, RTX 5060, RX 7600 |
8-bit (Q8) |
9,1 GB | 12 GB | z. B. RTX 3060 12 GB, RTX 4070, RTX 5070, RX 7700 XT |
16-bit (Original) |
17 GB | 20 GB | z. B. RTX 3090, RTX 4090, Tesla P40 |
Für Chat und Anweisungen nimmst du die Instruct-Variante (nvidia/Nemotron-Labs-Sigma-8B-instruct), für Forschung und Fine-Tuning das Basismodell. Die 8B-Version braucht in BF16 grob 16 bis 18 GB VRAM. Die laut Reddit-Titel ebenfalls existierende 3B-Version ist die bessere Wahl für Karten mit 8 bis 12 GB oder für Google Colab. Quantisierte Fassungen (GGUF) sind nicht bekannt.
- Geschätzt 16–18 GB VRAM für die 8B-Variante in BF16, offizielle Angaben fehlen in der Quelle.
- Die 3B-Variante dürfte mit etwa 6–8 GB VRAM auskommen.
- Eine Nvidia-GPU mit CUDA wird dringend empfohlen. Ob das Modell auf Apple Silicon oder nur mit der CPU läuft, ist unklar.
- Mehr Entrauschungsschritte bedeuten mehr Rechenzeit, an der Speichergröße ändern sie wenig.
- Plane rund 20 GB Speicherplatz für die Gewichte ein.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Google Colab (im Browser, ohne Installation)
Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.
- Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
- Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
- Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei
colab.ipynbauswählen. - Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
- Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
- Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 6 Minuten.
- Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen.
- Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.
Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.
Windows 10 / 11
Dieses Modell läuft mit Python. Unser Skript erledigt die Einrichtung automatisch: Es legt eine abgeschottete Python-Umgebung an, installiert die nötigen Programme (PyTorch, ca. 3 GB) und lädt das Modell (5,1 GB (bei 100 MBit/s ca. 7 Min.)).
- Grafikkartentreiber aktualisieren (NVIDIA): aktuellen Treiber installieren. Ohne NVIDIA-Karte läuft es auf dem Prozessor – deutlich langsamer.
- Python installieren. Auf python.org Python 3.12 herunterladen und starten. Wichtig: Unten im ersten Fenster das Häkchen bei Add python.exe to PATH setzen, dann Install Now.
- Ordner anlegen und Dateien laden. Einen Ordner erstellen, z. B.
Dokumente\KI-Test, und beide Dateien hineinspeichern: - Terminal im Ordner öffnen. Den Ordner im Explorer öffnen, Rechtsklick auf eine freie Stelle → In Terminal öffnen.
- Starten. Diesen Befehl einfügen und Enter drücken:
Jetzt laufen Installation und Download. Das kann beim ersten Mal 10–30 Minuten dauern.powershell -ExecutionPolicy Bypass -File try_windows.ps1 - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
- Nochmal mit eigener Eingabe:
demo.pymit dem Editor öffnen, den Beispieltext ändern, speichern. Dann im Terminal:.\.venv-nemotron-labs-sigma-8b\Scripts\Activate.ps1 python demo.py
macOS
Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.
- Terminal öffnen. Cmd + Leertaste, Terminal eintippen, Enter.
- Entwicklerwerkzeuge installieren (nur beim ersten Mal, liefert Python mit):
Im Fenster auf Installieren klicken. Kommt „already installed“, ist alles schon da.xcode-select --install - Dateien herunterladen – beide landen im Ordner Downloads:
- Starten:
Installation und Download dauern beim ersten Mal 10–30 Minuten.cd ~/Downloads bash try_mac.sh - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
Linux
- Grafikkarte prüfen.
nvidia-smisollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:sudo ubuntu-drivers install - Python-Grundlagen installieren (Ubuntu/Debian):
sudo apt update && sudo apt install -y python3-venv python3-pip git - Dateien in einen Ordner laden und dort ein Terminal öffnen:
- Starten:
bash try_linux.sh - Ergebnis. Im Fenster erscheint die Antwort des Modells auf eine Testfrage.
Das kannst du ausprobieren
Die Hauptstadt von Frankreich istSchreibe eine kurze Geschichte über einen Roboter, der Gärtner werden will.Erkläre in drei Sätzen, wie ein Diffusionsmodell funktioniert.Ein Zug fährt um 9:15 Uhr los und braucht 2 Stunden und 50 Minuten. Wann kommt er an? Rechne Schritt für Schritt.Fasse die Vor- und Nachteile von paralleler Textgenerierung gegenüber Wort-für-Wort-Generierung in einer Tabelle zusammen.
Tipps für bessere Ergebnisse
- Fang mit dem DDIM-Sampler und einer mittleren Schrittzahl an und senke sie dann schrittweise, um zu sehen, ab wann die Qualität spürbar nachlässt.
- Gib dem Basismodell den Anfang eines Textes vor, statt eine Frage zu stellen, zum Beispiel einen Satzanfang oder einen Absatz im gewünschten Stil.
- Vergleiche dieselbe Eingabe mit wenigen und vielen Schritten und miss die Zeit. Genau dieser Kompromiss zwischen Tempo und Qualität ist der Kern des Modells.
- Nutze für Chat-Tests die Instruct-Variante und halte dich an das Chat-Format, das auf deren Modellkarte beschrieben ist.
Wenn es hakt
Wegen der neuen Architektur wird das Modell wahrscheinlich nicht von Ollama, LM Studio oder llama.cpp unterstützt. Nutze Python mit transformers und folge der Anleitung auf der Modellkarte.
Vermutlich ist eigener Modellcode nötig. Lade ihn mit trust_remote_code=True und prüfe vorher, was im Repo steht.
Das Basismodell antwortet nicht wie ein Chatbot, sondern setzt Text fort. Für Fragen und Anweisungen brauchst du die Instruct-Variante.
Wenn der Grafikspeicher nicht reicht (CUDA out of memory), wechsle auf die 3B-Variante oder verkürze die Ausgabelänge.
Die Generierung hängt von Sampler-Einstellungen ab (DDPM oder DDIM, Schrittzahl). Mit falschen Werten kommt wirres Ergebnis heraus.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: eigene Lizenz (siehe Model Card).
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.