Nvidia Nemotron 3.5 Transcribe: Offenes Modell transkribiert, übersetzt und erkennt Sprecher

Worum es geht

Nvidia hat am 28. Oktober 2026 Nemotron 3.5 Transcribe veröffentlicht, ein Sprachmodell mit offenen Gewichten (Open Weights), das auf Hugging Face und ModelScope verfügbar ist. Es verwandelt Sprachaufnahmen in Text, kann aber mehr als reine Transkription: Es ordnet Sprecher zu (Diarisierung), übersetzt und beantwortet Fragen zum Inhalt einer Aufnahme. Gesteuert wird es per Textanweisung, ähnlich wie ein Chatbot. Zusätzlich veröffentlicht Nvidia den Trainingsdatensatz Granary v2, die Pipeline dahinter und Anleitungen zum Nachtrainieren.

Was das Modell kann

Dasselbe Modell erzeugt aus einer Besprechungsaufnahme je nach Anweisung unterschiedliche Ergebnisse, zum Beispiel „Transkribiere die Aufnahme und beschrifte jeden Sprecher“, „Übersetze das Audio ins Englische“ oder „Welche Entscheidungen wurden getroffen?“. Nach Nvidia-Angaben:

• Transkription in 40 Sprachen
• Übersetzung von 31 Sprachen ins oder aus dem Englischen
• Sprecherzuordnung in 13 Sprachen, bis zu acht Sprecher
• Aufnahmen bis zu einer Stunde Länge
• Zeitstempel auf Wortebene

Fachbegriffe wie „HbA1c“ oder „Metformin“ lassen sich als Hinweisliste in den Prompt schreiben; das Modell soll sie nur verwenden, wenn sie wirklich zu hören sind. Der Funktionsumfang unterscheidet sich je nach Sprache, und Fragen zum Audioinhalt (Audio-Q&A) sind nur auf Englisch trainiert. Nvidia rät, Namen, Sprecherwechsel und Antworten stichprobenartig gegen die Aufnahme zu prüfen. Das Modell ist für aufgezeichnetes Audio gebaut, nicht für Live-Streaming.

Architektur und Geschwindigkeit

Das Modell koppelt einen Sprach-Encoder mit einem hybriden Mamba-Transformer-Mixture-of-Experts-Sprachmodell. Bei Mixture-of-Experts (MoE) besteht das Modell aus vielen spezialisierten Teilnetzen, von denen pro Token nur einige arbeiten: Von 30 Milliarden Parametern (den beim Training gelernten Stellschrauben) sind nur etwa 4 Milliarden aktiv. Sprecherhinweise des Sortformer-Systems fließen zusammen mit den akustischen Merkmalen in das Sprachmodell ein, sodass es Sprecherwechsel schon beim Erzeugen des Textes markiert.

Mit der kommenden NVFP4-Quantisierung (einer stark komprimierten Zahlendarstellung) verarbeitete es auf einer RTX PRO 6000 Blackwell Server Edition 100 Stunden Audio in unter drei Minuten (30-Sekunden-Clips, hohe Parallelität). Quantisierte Versionen und lokaler Betrieb mit NeMo-Speech.cpp sollen bald folgen, etwa für RTX Spark, DGX Spark oder Jetson AGX Thor. Schon jetzt lässt sich das Checkpoint mit vLLM betreiben; gehostete Endpunkte bieten Baseten, DeepInfra und Simplismart.

Benchmarks

WER (Word Error Rate) ist der Anteil falsch erkannter Wörter; niedriger ist besser. Bei Artificial Analysis hat das Modell mit rund 4 Mrd. aktiven Parametern etwa ein Sechstel der aktiven Parameter des gleichauf liegenden Modells (24 Mrd.). The Decoder nennt 2,81 % gegenüber 2,77 % für Voxtral Small. Bei David AI liegt es knapp vor Nvidias eigenem Nemotron 3 Diarization (18,38 %). Bei VoiceArena lässt es nur 8,32 % der Wörter aus (Median etwa 31 %). Laut Nvidia liegt es auf der Artificial-Analysis-Gesamtliste vor mehreren verbreiteten kommerziellen Sprach-APIs.

Granary v2 und Anpassung an Fachgebiete

Granary v2 entstand mit NeMo Curator. Das veröffentlichte Manifest umfasst laut Nvidia 463.062 Stunden in 48 Sprachen aus 16 Korpora (Vorgänger: 25 Sprachen). The Decoder nennt dagegen rund 844.000 Stunden; die Zahlen weichen voneinander ab, Nvidias eigene Angabe bezieht sich auf das Manifest. Zudem gibt Nvidia an, der Datensatz entspreche nicht dem vollständigen Trainingsmix des Modells. Zu jeder Aufnahme gibt es drei Schreibvarianten (z. B. „I paid, uh, twenty-five euros.“ – „I paid, uh, €25.“ – „I paid €25.“), dazu Beschriftungen, Übersetzungen und Qualitätsflags. Die Quellaudios müssen separat unter ihren jeweiligen Lizenzen geladen werden.

In einer Medizin-Fallstudie mit Aufnahmen indischer Ärzte (Eka Care, 3.619 Clips) senkte ein präziserer Prompt die Fehlerrate von 30,8 % auf 23,8 %, Fine-Tuning auf 11,8 %. Auf separaten, unbekannten Sprechern fiel sie von 22,44 % auf 12,17 % und schlug damit ein offenes Medizin-Spezialmodell (13,79 %) und ein verbreitetes Allzweckmodell (14,92 %). Trainiert wurde mit etwa 153 Stunden synthetischer Sprache, 29 Stunden Common Voice und 63 Stunden MultiMed, in rund 14 GPU-Stunden auf einer GB300. Nachteile: Auf allgemeinem Englisch (LibriSpeech) stieg die Fehlerrate leicht von 1,54 % auf 1,69 %, und bei Medikamenten-Markennamen blieb das Spezialmodell genauer.

Was du zum Ausprobieren brauchst

Die Quelle nennt keine konkreten VRAM-Werte. Nach Nvidia läuft das Modell auf einer einzelnen GPU, vom DGX Spark bis zum Rechenzentrum. Bei 30 Mrd. Parametern (4-bit) sind grob 18–20 GB Grafikspeicher realistisch (eigene Schätzung); die quantisierten Versionen kommen laut Nvidia erst noch. Der einfachste Einstieg ist die Hugging-Face-Demo oder ein gehosteter Endpunkt. Lokal brauchst du vLLM und reichlich Speicherplatz; ob es auf Mac oder rein auf CPU läuft, ist offen, NeMo-Speech.cpp ist angekündigt.

Einordnung

Dass ein offenes Modell Transkription, Sprecherzuordnung und Übersetzung in einem Schritt bietet, vereinfacht Pipelines, die bisher mehrere Modelle brauchten. Nvidias spezialisiertes Diarisierungsmodell aus dem September musste noch mit einem Transkriptionsmodell kombiniert werden. Gegenüber Mistrals Voxtral-Familie setzt Nvidia auf Aufnahmen statt Echtzeit, Mistral laut The Decoder mit Voxtral 3 auf Sprachagenten. Kritisch: Die Benchmarks stammen großteils von Nvidia, die Zahlen zum Datensatz widersprechen sich, Echtzeit fehlt, und die Medizin-Anpassung zeigt Zielkonflikte. Die Lizenz geht aus den Quellen nicht hervor.