Nvidia RE-USE: Winziges Open-Modell macht schlechte Sprachaufnahmen klar
Nvidia hat mit NemotronLabs RE-USE ein Modell veröffentlicht, das Rauschen, Hall, Übersteuerung und Kompressionsschäden aus Sprachaufnahmen entfernt. Es hat nur 9,6 Millionen Parameter, schlägt laut Nvidia aber deutlich größere Modelle und steht kommerziell nutzbar auf Hugging Face.
Worum es geht
Nvidia hat am 30. Oktober 2026 (US-Zeit) ein Modell namens NemotronLabs RE-USE auf Hugging Face veröffentlicht. Es stellt Sprachaufnahmen wieder her, die durch Störgeräusche, Hall, abgeschnittene Signale oder Kompressionsschäden schlecht klingen. Das Modell ist ein offenes Modell und darf laut Nvidia kommerziell genutzt werden. Auffällig ist seine Größe: Es hat nur 9,6 Millionen Parameter.
Was das Modell repariert
RE-USE ist als universelles Sprachverbesserungsmodell (Speech Enhancement) gedacht. Es soll nicht nur Hintergrundrauschen und Nachhall (Reverb) entfernen, sondern auch eine ganze Reihe weiterer Defekte:
- Clipping, also übersteuerte, „zerrissene“ Audiosignale
- Bandbreitenbegrenzung, etwa bei Telefonqualität
- Codec-Artefakte, also Schäden durch verlustbehaftete Kompression
- Paketverluste, wie sie bei Online-Übertragungen vorkommen
- Verzerrungen durch billige Mikrofone
Dabei sollen Verständlichkeit und die Identität des Sprechers erhalten bleiben, die Stimme soll also weiter wie dieselbe Person klingen. Sprechen mehrere Personen gleichzeitig, behält das Modell die Hauptstimme und unterdrückt die übrigen. Das eignet sich für Interviews und Podcasts. Eine echte Trennung aller Sprecher oder eine Sprecherzuordnung bietet es nicht; dafür braucht man andere Werkzeuge.
Sprachen und Abtastraten
Das Modell nimmt Audio mit 8, 16, 22,05, 24, 32, 44,1 und 48 kHz an, ohne dass man je Rate ein eigenes Modell braucht. Trainiert wurde mit englischer, deutscher, spanischer, französischer und chinesischer Sprache. Nvidia will damit ein Modell, das nicht an eine Sprache gebunden ist.
Architektur
Das Modell kombiniert einen Encoder und Decoder aus Faltungsschichten (Convolution) mit einem Kern aus 30 Schichten eines bidirektionalen Mamba-Modells. Encoder und Decoder wandeln Audio in eine interne Darstellung und wieder zurück in Sprache. Der Mamba-Kern lernt Zeit- und Frequenzmuster sowie die Art der Beschädigung.
Mamba basiert auf Zustandsraummodellen (State Space Models). Der Rechenaufwand wächst linear mit der Länge der Eingabe. Bei klassischer Self-Attention wächst er quadratisch. Dadurch lassen sich lange Aufnahmen effizient verarbeiten.
Trainiert wurde mit rund 2.500 Stunden synthetischer Sprachdaten. Dazu kamen Impulsantworten von Räumen und Mikrofonen, die reale akustische Umgebungen nachbilden.
Zahlen und Vergleich
Bewertet wurde auf dem nicht-blinden Testsatz von URGENT 2025. Laut Nvidia liegt RE-USE bei vier Kennzahlen vor den größeren offenen Modellen Sidon (250 Mio.) und UniPASE (500 Mio.): PESQ (Sprachqualität), STOI (Verständlichkeit), Sprecherähnlichkeit und Spracherkennungsgenauigkeit.
| Messung | Ergebnis |
|---|---|
| Zeichengenauigkeit der Spracherkennung, 16 kHz, verrauschtes Original | 76,5 % |
| Nach Bearbeitung mit RE-USE | 87,1 % |
| Sprecherähnlichkeit bei 44,1 kHz, RE-USE | 0,90 |
| Sprecherähnlichkeit bei 44,1 kHz, Resemble Enhance | 0,57 |
Alle Zahlen sind Herstellerangaben.
Einsatzgebiete
Typische Anwendungen sind Podcasts und Videos aufzuwerten, Sprachdatensätze zu bereinigen und Audio für die automatische Spracherkennung (ASR) vorzuverarbeiten. Auch für das Aufbereiten von Trainingsdaten für Text-to-Speech oder sprachbasierte Sprachmodelle ist es gedacht. Weil das Modell so klein ist, belastet es Pipelines wenig, die auf derselben GPU auch Erkennungs- oder Generierungsmodelle betreiben. Nvidia nennt die Architektur zudem vorteilhaft für Echtzeitanwendungen.
Was du zum Ausprobieren brauchst
Offiziell wird Linux mit Nvidia-Ampere-GPUs unterstützt, etwa A100, mit Beschleunigung über den Triton Inference Server. Das Modell ist mit 38,4 MB Gewichten winzig, daher sind der Speicherbedarf und der Platzbedarf gering. Auf Mac oder CPU gibt es in der Quelle keine Angaben. Am einfachsten ist die Hugging-Face-Demo, mit der man einzelne Dateien testet. Aufnahmen über 30 Sekunden verarbeitet ein mitgeliefertes Skript in überlappenden Abschnitten, um GPU-Speicher zu sparen.
Einordnung
Ein Modell mit 9,6 Millionen Parametern, das größere Konkurrenten schlägt, ist für alle interessant, die Sprachaufnahmen automatisch aufbereiten wollen: Podcaster, Videoschaffende und Teams, die Sprachdaten für KI-Training säubern. Die Mehrsprachigkeit inklusive Deutsch ist ein Plus. Zu beachten: Die Benchmarkwerte stammen von Nvidia selbst, unabhängige Tests liegen laut Quelle nicht vor. Die offiziell getestete Umgebung ist eng auf Nvidia-Hardware zugeschnitten, und die Trennung mehrerer Sprecher gehört nicht zum Funktionsumfang.
Quellen
- AI Times (KR) aitimes.com
Selbst ausprobieren: NemotronLabs RE-USE
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
RE-USE macht schlechte Sprachaufnahmen klarer. Es entfernt Rauschen, Hall, Übersteuerung, Telefonqualität und Kompressionsschäden und behält dabei die Stimme des Sprechers. Es arbeitet mit Aufnahmen von 8 bis 48 kHz und wurde auf Englisch, Deutsch, Spanisch, Französisch und Chinesisch trainiert. Das Modell ist winzig (38,4 MB) und eignet sich auch für Echtzeitszenarien. Es trennt keine einzelnen Sprecher, sondern behält die Hauptstimme. Laut Nvidia übertrifft es deutlich größere Modelle.
Für wen lohnt es sich?
Lohnt sich für Podcaster, Videoproduzenten und Entwickler, die Sprachdaten für Spracherkennung oder TTS aufbereiten. Weniger geeignet, wenn du Sprecher trennen oder Musik bearbeiten willst oder keine Nvidia-GPU hast.
Ideen: Was du damit anstellen kannst
Gäste, die per schlechtem Mikrofon zugeschaltet waren, lassen sich nachträglich entrauschen. Das Ergebnis klingt klarer, die Stimme bleibt erkennbar.
Schicke Audio erst durch RE-USE und dann in eine Spracherkennung. Laut Nvidia stieg die Zeichengenauigkeit so von 76,5 % auf 87,1 %.
Wer eine eigene Stimme oder ein Sprachmodell trainiert, kann Datensätze mit gemischter Qualität vereinheitlichen.
Familienvideos oder Archivmaterial mit Rauschen und Hall lassen sich in der Tonspur verbessern.
Was dein Rechner braucht
Es gibt laut Quelle nur das eine Modell mit 9,6 Mio. Parametern. Offiziell getestet ist Linux mit Ampere-GPU wie A100.
- Offiziell unterstützt: Linux und Nvidia-Ampere-GPUs, z. B. A100, mit Triton Inference Server.
- Die Gewichte sind in FP32 nur 38,4 MB groß, der Speicherbedarf ist daher gering.
- Lange Aufnahmen über 30 Sekunden werden per Skript in überlappende Stücke geteilt, um GPU-Speicher zu sparen.
- Zu CPU- oder Mac-Betrieb macht die Quelle keine Angaben.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (microsoft/DNS-Challenge auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Im Browser (ohne Installation)
Die Entwickler haben eine Online-Demo auf Hugging Face. Dort kannst du das Modell sofort ausprobieren, ohne etwas zu installieren. Manchmal musst du kurz warten, bis die Demo aufgewacht ist.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Die Model Card nennt nur Linux als unterstütztes System und eine NVIDIA-Karte (Ampere, getestet auf A100). Unter Windows ist das nicht getestet. Am sichersten ist WSL2 (Linux in Windows) mit NVIDIA-Karte oder die Online-Demo auf Hugging Face.
- Voraussetzungen prüfen. Du brauchst Python 3, Git und eine NVIDIA-Grafikkarte mit aktuellem Treiber (Ampere oder neuer, also RTX 30er-Serie oder besser). Außerdem brauchst du eine Umgebung für Mamba (so heißt die Netzwerk-Bauart des Modells). NVIDIA nennt dafür fertige Docker-Umgebungen aus dem Projekt SEMamba. Für das Skript inference.sh brauchst du eine Bash-Shell, am besten WSL2.
- Umgebung anlegen. Öffne PowerShell und lege eine virtuelle Umgebung an. Das ist ein eigener Ordner für Python-Pakete, damit nichts durcheinandergerät. Danach steht (.venv) vor der Eingabezeile.
python -m venv .venv .venv\Scripts\Activate.ps1 - Pakete installieren. Installiere das Werkzeug zum Herunterladen und resampy. resampy braucht man laut Model Card nur, wenn du die Bandbreiten-Erweiterung (BWE) nutzen willst. Die Mamba-Pakete müssen zusätzlich über die SEMamba-Docker-Umgebung oder in WSL2 bereitstehen.
pip install huggingface_hub resampy - Modell herunterladen. Der Befehl lädt das Repo samt Skripten in den Ordner NemotronLabs_REUSE. Das Modell selbst ist nur etwa 0,04 GB groß. Danach wechselst du in den Ordner.
hf download nvidia/NVIDIA-NemotronLabs-RE-USE --local-dir ./NemotronLabs_REUSE cd ./NemotronLabs_REUSE - Eigene Aufnahme bereitlegen. Lege deine verrauschte Sprachaufnahme als .wav-Datei in den Ordner noisy_audio. Nimm zum Beispiel eine Handyaufnahme mit Hintergrundlärm, die du vorher in WAV umgewandelt hast. Mono ist am besten.
- Verbesserung starten. Starte das Skript in einer Bash-Shell (am besten WSL2 im selben Ordner). Das Skript liest alle Dateien aus noisy_audio.
sh inference.sh - Ergebnis anhören. Wenn das Skript fertig ist, liegen die bereinigten Dateien im Ordner enhanced_audio. Öffne sie und vergleiche sie mit dem Original.
- Ergebnis. Im Ordner enhanced_audio liegt deine bereinigte Sprachaufnahme als .wav-Datei, ohne Rauschen und Hall.
macOS
macOS: nicht offiziell getestet. Die Model Card nennt nur Linux und NVIDIA-Grafikkarten. Macs haben keine NVIDIA-Karte, daher wird es hier sehr wahrscheinlich nicht laufen. Nutze lieber die Online-Demo (Gradio) auf Hugging Face.
- Voraussetzungen prüfen. Du brauchst Python 3, Git und die Xcode-Kommandozeilentools (Installation mit xcode-select --install). Das Modell ist laut Model Card für NVIDIA-Karten gebaut, die ein Mac nicht hat. Dieser Weg ist deshalb ein Versuch ohne Garantie.
xcode-select --install - Umgebung anlegen. Lege eine virtuelle Umgebung an. Das ist ein eigener Ordner für Python-Pakete. Danach steht (.venv) vor der Eingabezeile.
python3 -m venv .venv source .venv/bin/activate - Pakete installieren. Installiere das Download-Werkzeug und resampy. resampy ist nur für die Bandbreiten-Erweiterung nötig. Die Mamba-Pakete, die das Modell braucht, sind auf dem Mac nicht beschrieben.
pip install huggingface_hub resampy - Modell herunterladen. Der Befehl lädt das Repo samt Skripten in den Ordner NemotronLabs_REUSE. Das Modell ist nur etwa 0,04 GB groß.
hf download nvidia/NVIDIA-NemotronLabs-RE-USE --local-dir ./NemotronLabs_REUSE cd ./NemotronLabs_REUSE - Eigene Aufnahme bereitlegen. Lege deine verrauschte Sprachaufnahme als .wav-Datei in den Ordner noisy_audio. Am besten Mono.
- Verbesserung starten. Starte das mitgelieferte Skript. Bricht es mit einer Fehlermeldung zu CUDA oder Mamba ab, geht es auf dem Mac nicht. Dann nimm die Online-Demo.
sh inference.sh - Ergebnis anhören. Bei Erfolg liegen die bereinigten Dateien im Ordner enhanced_audio.
- Ergebnis. Im Ordner enhanced_audio liegt deine bereinigte Sprachaufnahme als .wav-Datei, ohne Rauschen und Hall.
Linux
Linux: unterstützt. Linux ist das einzige System, das die Model Card nennt. Es braucht eine NVIDIA-Karte der Ampere-Generation (getestet: A100) und eine Mamba-Umgebung. Auf anderen Karten ist es nicht getestet.
- Voraussetzungen prüfen. Du brauchst Python 3, Git und eine NVIDIA-Grafikkarte (Ampere oder neuer, z. B. RTX 30er-Serie) mit installiertem Treiber und CUDA. Mit nvidia-smi prüfst du, ob der Treiber läuft. Für Mamba (die Netzwerk-Bauart des Modells) bietet NVIDIA fertige Docker-Umgebungen aus dem Projekt SEMamba an.
nvidia-smi python3 --version git --version - Mamba-Umgebung bereitstellen. Hole dir die vorgefertigte Docker-Umgebung aus dem GitHub-Projekt RoyChao19477/SEMamba (Abschnitt „Docker Support“). Sie bringt alles mit, was Mamba braucht. Starte danach darin ein Terminal. Alle weiteren Schritte laufen dort.
- Virtuelle Umgebung anlegen. Eine virtuelle Umgebung ist ein eigener Ordner für Python-Pakete. Danach steht (.venv) vor der Eingabezeile. Brauchst du die Pakete aus der Docker-Umgebung, kannst du diesen Schritt überspringen.
python3 -m venv .venv source .venv/bin/activate - Pakete installieren. Installiere das Download-Werkzeug. resampy brauchst du nur, wenn du die Bandbreiten-Erweiterung (BWE) nutzen willst. Sie ergänzt fehlende hohe Töne bei dumpfen Aufnahmen.
pip install huggingface_hub resampy - Modell herunterladen. Der Befehl lädt das Repo samt Skripten in den Ordner NemotronLabs_REUSE. Das Modell ist nur etwa 0,04 GB groß. Danach wechselst du in den Ordner.
hf download nvidia/NVIDIA-NemotronLabs-RE-USE --local-dir ./NemotronLabs_REUSE cd ./NemotronLabs_REUSE - Eigene Aufnahme bereitlegen. Lege deine verrauschte Sprachaufnahme als .wav-Datei in den Ordner noisy_audio. Nimm zum Beispiel eine Handyaufnahme mit Hintergrundlärm, in WAV umgewandelt. Mono ist am besten, 8 bis 48 kHz sind erlaubt.
mkdir -p noisy_audio cp /pfad/zu/meine_aufnahme.wav noisy_audio/ - Verbesserung starten. Das Skript liest alle Dateien aus noisy_audio und bereinigt sie. Das dauert bei kurzen Clips nur Sekunden.
sh inference.sh - Ergebnis anhören. Die bereinigten Dateien liegen jetzt im Ordner enhanced_audio. Spiele sie ab und vergleiche sie mit dem Original.
ls enhanced_audio - Ergebnis. Im Ordner enhanced_audio liegt deine bereinigte Sprachaufnahme als .wav-Datei, ohne Rauschen und Hall.
So geht es nach dem ersten Ergebnis weiter
- Lange Aufnahmen (über 30 Sekunden) oder Speicherfehler auf der Grafikkarte: Lege die Dateien in long_noisy_audio und starte sh inference_chunk.sh. Das Ergebnis liegt dann in Long_enhanced_audio. Im Skript kannst du chunk_size_in_seconds und hop_length_portion ändern.
- Im Skript inference.sh kannst du über das Argument BWE eine Ziel-Bandbreite einstellen (Bandbreiten-Erweiterung). Dafür brauchst du resampy.
- Ohne Installation kannst du die Gradio-Demo auf Hugging Face ausprobieren (Space nvidia/NVIDIA-NemotronLabs-RE-USE). Dort lädst du Audio oder Video hoch.
- Willst du Lachen besser erhalten, nutze das Modell nvidia/NVIDIA-NemotronLabs-RE-USE-laughter.
Das kannst du ausprobieren
Lade eine verrauschte Interview-Aufnahme (WAV, 16 kHz) in die Hugging-Face-Demo und höre das Ergebnis an.Bereinige eine Handy-Aufnahme mit starkem Raumhall und vergleiche vorher und nachher.Verarbeite einen Podcast-Ausschnitt mit zwei überlappenden Stimmen und prüfe, ob die Hauptstimme erhalten bleibt.Teste eine übersteuerte Aufnahme mit Clipping und miss die Spracherkennung vor und nach der Bearbeitung.Tipps für bessere Ergebnisse
- Probiere zuerst die Hugging-Face-Demo mit kurzen Clips.
- Behalte die Originalabtastrate bei, das Modell verarbeitet 8 bis 48 kHz direkt.
- Vergleiche Ergebnisse mit eigenen Ohren und nicht nur Kennzahlen.
Wenn es hakt
Offiziell ist nur Linux mit Ampere-GPUs vorgesehen; andere Umgebungen sind nicht bestätigt.
Lange Dateien über 30 Sekunden brauchen das mitgelieferte Chunking-Skript.
Mehrere Sprecher werden nicht getrennt, nur die Hauptstimme bleibt erhalten.
Die genaue Lizenz und das Hugging-Face-Repo sollten auf der Modellseite geprüft werden.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: openmdw-1.1.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.