Audio8-TTS-Realistic: 0,6B-Modell klont Stimmen in 23 Sprachen
Das Start-up Edge0 hat Audio8-TTS-Realistic veröffentlicht, ein offenes Sprachmodell mit nur 0,6 Milliarden Parametern. Es klont eine Stimme aus einem einzigen Referenzclip samt Transkript und spricht 23 Sprachen. Gewichte und Code stehen unter Apache 2.0.
Worum es geht
Das Unternehmen Edge0 hat Audio8-TTS-Realistic veröffentlicht, ein Text-to-Speech-Modell (TTS, also Sprachsynthese aus Text) mit frei herunterladbaren Gewichten. Es beherrscht Zero-Shot-Voice-Cloning: Das Modell klont eine Stimme aus einem einzigen Referenzclip und dessen Transkript, ohne dass es dafür extra trainiert werden muss. Es unterstützt 23 Sprachen und ist die zweite 0,6B-Veröffentlichung der Audio8-Familie. Gewichte und Code stehen unter Apache 2.0. Berichtet hat MarkTechPost, die Zahlen stammen überwiegend von Edge0 selbst.
Aufbau und Größe
Das Hauptmodell hat 601 Millionen Parameter (grob die beim Training gelernten Stellschrauben), der Audio-Codec ist dabei nicht mitgezählt. Der Kontext umfasst bis zu 2.048 gepackte Text- und Audio-Positionen. Das Repository enthält Checkpoint, einen neuronalen 44,1-kHz-Audio-Codec, Tokenizer, Prozessor und eigenen Code. Das Modell kann auch ohne Referenzstimme sprechen. Es baut auf Audio8-TTS-Preview-0.6b auf und behält dessen Transformers-Schnittstelle.
Neu hinzugekommen sind Arabisch, Finnisch, Hindi, Indonesisch, Malaiisch, Norwegisch, Portugiesisch, Russisch, Schwedisch, Thai, Türkisch und Vietnamesisch.
Die Architektur heißt DualAR (dual-autoregressiv) und ist von Fish Audio S2 Pro inspiriert. Laut technischem Bericht basiert der „langsame“ Zweig auf Qwen2.5 0.5B mit 24 Schichten und Breite 896 und läuft mit etwa 21,5 Frames pro Sekunde. In jedem Schritt sagt er Text-Tokens und das erste Audio-Codebook voraus. Ein flacher, vierschichtiger „schneller“ Zweig sagt dann die übrigen 9 Codebooks parallel voraus. Sequenzielle Rechenarbeit fällt so nur auf Frame-Ebene an.
Training auf Natürlichkeit
Edge0 argumentiert, dass Wortfehlerrate (WER) und Sprecherähnlichkeit (SIM) Rhythmus, Pausen und Timing nicht erfassen. Ein Modell könne bei beiden gut abschneiden und trotzdem synthetisch klingen. Das Training läuft in drei Stufen:
- Mehrsprachiges überwachtes Feintuning (SFT).
- GRPO (ein Verstärkungslernverfahren) mit kombinierter Belohnung: 0,7 Gewicht auf WER, 0,3 auf SIM.
- GRPO, angeleitet von einem gelernten „Realismus-Kritiker“.
Der Kritiker bewertet jede Ausgabe gegen eine passende menschliche Aufnahme desselben Satzes. Er wurde auf einer Qualitätsleiter trainiert, die aus sechs Open-Source-TTS-Systemen gebaut wurde. Diese wurden in einem privaten Blind-Hörtest eingeordnet, menschliche Aufnahmen stehen oben. Künstlich verkürzte Pausen liefern feinere Stufen. Ein „Identity-Erasure“-Loss verhindert, dass der Kritiker Fingerabdrücke des Generators belohnt. Der Kritiker hat etwa 3 Mio. Parameter auf einem eingefrorenen WavLM-large-Encoder. Eine Dauerstrafe greift ab dem 1,35-Fachen der Referenzlänge, damit das Modell den Kritiker nicht durch langsameres Sprechen austrickst.
Die letzte Stufe nutzte nur chinesische und englische Prompts, verbesserte aber trotzdem die 13 Sprachen mit weniger Ressourcen: Der Fehler sank von 22,53 % auf 20,77 %, die SIM stieg von 0,637 auf 0,679.
Benchmarks
Alle Werte sind selbst gemeldete Fehlerraten, niedriger ist besser.
- Seed-TTS (Englisch/Chinesisch): 1,25 % Durchschnitt, SIM 0,704.
- CV3 (9 Sprachen): 4,86 %, SIM 0,661.
- MiniMax (24 Sprachen): 5,89 %, SIM 0,754.
| Merkmal | Audio8-TTS-Realistic | Qwen3-TTS-1.7B | VoxCPM2 | Higgs TTS 3 |
|---|---|---|---|---|
| Größe | 0,6B | 1,7B | 2B | ~4B |
| Lizenz | Apache 2.0 | Apache 2.0 | Apache 2.0 | Forschung/nicht kommerziell |
| Sprachen | 23 | 10 | 30 | 100+ |
| CV3 Ø-Fehler | 4,86 % | 7,73 % | 5,35 % | 4,41 % |
| MiniMax Ø-Fehler | 5,89 % | 27,41 % | k. A. | 2,74 % |
Qwen3-TTS-1.7B unterstützt offiziell nur 10 der 24 MiniMax-Sprachen, was den hohen Wert erklärt. Bei Seed-TTS liegt Qwen3-TTS-1.7B mit durchschnittlich 1,01 % vor Audio8. Edge0 nennt die Tabelle selbst einen Referenzvergleich, weil Auswertungs-Pipelines und Textnormalisierung abweichen.
Was du zum Ausprobieren brauchst
Empfohlen ist eine CUDA-GPU; getestet wurde auf einer NVIDIA H20 in BF16. Das Modell ist klein, eine Consumer-Grafikkarte mit etwa 4–6 GB VRAM dürfte reichen (Schätzung). Das Paper nennt 1,1 bis 1,2 GiB Spitzenspeicher auf einer Apple-M2-CPU mit INT4-ONNX, doch ein öffentlicher ONNX-Export für Realistic fehlt noch. Du brauchst PyTorch 2.5+, Transformers 4.57+ und trust_remote_code=True. Ein kostenloser Playground läuft auf Hugging Face ZeroGPU.
Einsatz und Betrieb
Für Cloning brauchst du einen sauberen Referenzclip und das exakte Transkript. Das GitHub-Repo bringt eine Kommandozeile, Batching und Feintuning-Skripte. Für GPU-Serving gibt es einen SGLang-Omni-Adapter mit Paged Attention, dynamischem Batching und OpenAI-kompatibler /v1/audio/speech-API. Durchsatz und Streaming wurden laut Edge0 nicht gemessen.
Hintergrund: Open Source gegen ElevenLabs
Geeky Gadgets fasst ein Video von Trelis Research zusammen: Offene Modelle wie CSM1B (Sesame) und Orpheus (3B) lassen sich mit LoRA feintunen und könnten kommerzielle Dienste wie ElevenLabs erreichen, bräuchten aber etwa drei Stunden saubere Daten. Das ist ein anderer Ansatz als Zero-Shot-Cloning mit einem Clip.
Risiken beim Stimmenklonen
Laut Computerworld fand Consumer Reports, dass vier von sechs getesteten Anbietern (ElevenLabs, Speechify, PlayHT, Lovo) keine echte Einwilligungsprüfung hatten; ein Häkchen genügte. Descript und Resemble AI hatten mehr Schutz, doch auch den konnten die Tester umgehen. Das FBI warnte vor Betrug mit Stimm- und Video-Klonen. Bei einem offenen Modell mit Apache-Lizenz liegt die Verantwortung beim Nutzer: Klone nur Stimmen, mit deren Einsatz die Person einverstanden ist.
Einordnung
Audio8-TTS-Realistic zeigt, dass ein kleines, kommerziell nutzbares Modell bei Mehrsprachigkeit mit größeren offenen Modellen mithalten kann und günstig zu betreiben und feinzutunen ist. Die Zahlen sind aber Herstellerangaben mit uneinheitlichen Pipelines. Größere Modelle wie Higgs TTS 3 sind genauer, wobei Higgs nur für Forschung lizenziert ist. Schwächen bleiben bei Thai und Kantonesisch. Ob das Modell auch im Hörtest natürlicher klingt, belegen die Quellen nicht unabhängig; das gilt auch für den Durchsatz im Serving.
Videos zum Thema
Quellen
- Bing News (en-US) marktechpost.com
- geeky-gadgets.com geeky-gadgets.com
- computerworld.com computerworld.com
- techtimes.com techtimes.com
Selbst ausprobieren: Audio8-TTS-Realistic
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Audio8-TTS-Realistic liest Text in 23 Sprachen vor und kann dabei eine Stimme aus einem einzigen kurzen Clip nachbilden. Du gibst die Aufnahme und deren genaues Transkript an, und das Modell spricht neuen Text in dieser Stimme. Es kann auch ohne Referenzstimme sprechen. Mit 0,6 Mrd. Parametern ist es klein und günstig zu betreiben. Laut Hersteller ist es bei CV3 genauer als größere offene Modelle, hinkt aber 4B-Modellen hinterher. Bei Sprachen wie Thai oder Kantonesisch sind die Fehlerraten hoch.
Für wen lohnt es sich?
Interessant für Entwickler und Bastler, die ein kleines, kommerziell nutzbares Sprachmodell für mehrere Sprachen suchen. Weniger geeignet, wenn du perfekte Qualität in Thai oder Kantonesisch brauchst oder keine NVIDIA-GPU hast.
Ideen: Was du damit anstellen kannst
Du nimmst einige Sekunden deiner eigenen Stimme auf und lässt das Modell ein Kapitel lesen. So prüfst du, wie ein Text vertont klingt.
Erzeuge dieselbe Ansage in mehreren Sprachen, etwa für ein Hobbyprojekt oder eine Webseite.
Vertone ein kurzes Intro mit einer eigenen Stimme, ohne jedes Mal neu aufzunehmen.
Binde das Modell über die OpenAI-kompatible API in ein Smart-Home- oder Chatbot-Projekt ein.
Mit den mitgelieferten Skripten kannst du das kleine Modell auf eigenen Aufnahmen weitertrainieren.
Was dein Rechner braucht
Es gibt eine Variante (0,6B, BF16). Eine CUDA-GPU ist empfohlen; ein ONNX-INT4-Export für CPU ist im Paper erwähnt, aber noch nicht öffentlich.
- CUDA-GPU empfohlen; getestet auf NVIDIA H20 in BF16.
- Laut Paper 1,1–1,2 GiB Spitzenspeicher auf Apple M2 CPU mit INT4-ONNX – dieser Export ist noch nicht öffentlich.
- Kontext bis 2.048 gepackte Text-/Audio-Positionen.
- Kostenloser Playground auf Hugging Face ZeroGPU zum Testen ohne eigene Hardware.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (Edge0-AI/Audio8_TTS auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Im Browser (ohne Installation)
Die Entwickler haben eine Online-Demo auf Hugging Face. Dort kannst du das Modell sofort ausprobieren, ohne etwas zu installieren. Manchmal musst du kurz warten, bis die Demo aufgewacht ist.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Die Quelle nennt nur Linux-ähnliche Befehle und einen Test auf einer NVIDIA-Karte (H20). Unter Windows sollte es mit einer NVIDIA-Grafikkarte gehen, ist aber nicht getestet. Ohne NVIDIA-Karte ist es sehr langsam; nutze dann den Online-Playground auf Hugging Face.
- Voraussetzungen prüfen. Du brauchst Python 3.10 oder neuer und Git. Empfohlen ist eine NVIDIA-Grafikkarte mit aktuellem Treiber (CUDA ist NVIDIAs Rechentechnik). Gib die Befehle in PowerShell ein. Es sollten Versionsnummern und eine Tabelle zur Grafikkarte erscheinen.
python --version git --version nvidia-smi - Programm herunterladen. Mit git clone holst du das Programm von GitHub. Mit cd wechselst du in den neuen Ordner.
git clone https://github.com/Edge0-AI/Audio8_TTS.git cd Audio8_TTS - Virtuelle Umgebung anlegen. Eine venv ist ein eigener Ordner für die Python-Pakete dieses Programms. So kommt nichts anderes auf deinem PC durcheinander. Falls PowerShell das Aktivieren blockiert, erlaube Skripte für diese Sitzung mit dem ersten Befehl.
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass python -m venv .venv - Umgebung aktivieren. Jetzt schaltest du die Umgebung ein. Vorne in der Zeile steht danach (.venv).
.venv\Scripts\Activate.ps1 - Pakete installieren. Das installiert alles, was das Programm braucht. Es dauert einige Minuten und lädt mehrere GB. Achte darauf, dass PyTorch mit CUDA-Unterstützung installiert wird, sonst rechnet alles auf dem Prozessor.
pip install -r requirements.txt - Modell herunterladen. Das lädt die Modelldateien (zusammen etwa 2,5 GB) von Hugging Face in deinen Cache-Ordner. Das Programm würde sie sonst beim ersten Start selbst holen.
hf download Edge0/Audio8-TTS-Realistic-0.6b - Erste Sprachausgabe erzeugen. Dieser Befehl spricht den Beispielsatz der Entwickler und speichert ihn als Datei. Beim ersten Start dauert es etwas länger. Danach liegt die Datei outputs/realistic.wav im Ordner Audio8_TTS.
python audio8_tts_infer.py --model Edge0/Audio8-TTS-Realistic-0.6b --text "Welcome to Audio8 TTS. It is wonderful to hear from you." --output outputs/realistic.wav - Ergebnis. Im Ordner outputs liegt die Datei realistic.wav mit dem gesprochenen Beispielsatz.
macOS
macOS: nicht offiziell getestet. Die Quelle empfiehlt eine CUDA-fähige (NVIDIA-)Grafikkarte; Macs haben keine. Der Code fällt dann auf den Prozessor zurück, was laut Quelle nicht getestet und vermutlich langsam ist. Besser: Online-Playground auf Hugging Face oder ein Linux/Windows-PC mit NVIDIA-Karte.
- Voraussetzungen prüfen. Du brauchst Python 3.10 oder neuer und Git. Installiere bei Bedarf die Xcode-Kommandozeilentools mit dem ersten Befehl. Öffne dafür das Terminal. Die Versionsnummern sollten erscheinen.
xcode-select --install python3 --version git --version - Programm herunterladen. Mit git clone holst du das Programm von GitHub. Mit cd wechselst du in den neuen Ordner.
git clone https://github.com/Edge0-AI/Audio8_TTS.git cd Audio8_TTS - Virtuelle Umgebung anlegen. Eine venv ist ein eigener Ordner für die Python-Pakete dieses Programms. So bleibt dein Mac sauber.
python3 -m venv .venv - Umgebung aktivieren. Jetzt schaltest du die Umgebung ein. Vorne in der Zeile steht danach (.venv).
source .venv/bin/activate - Pakete installieren. Das installiert alles, was das Programm braucht. Es dauert einige Minuten und lädt mehrere GB.
pip install -r requirements.txt - Modell herunterladen. Das lädt die Modelldateien (zusammen etwa 2,5 GB) von Hugging Face. Das Programm würde sie sonst beim ersten Start selbst holen.
hf download Edge0/Audio8-TTS-Realistic-0.6b - Erste Sprachausgabe erzeugen. Dieser Befehl spricht den Beispielsatz der Entwickler und speichert ihn als Datei. Ohne Grafikkarte kann das sehr lange dauern. Danach liegt outputs/realistic.wav im Ordner Audio8_TTS.
python audio8_tts_infer.py \ --model Edge0/Audio8-TTS-Realistic-0.6b \ --text "Welcome to Audio8 TTS. It is wonderful to hear from you." \ --output outputs/realistic.wav - Ergebnis. Im Ordner outputs liegt die Datei realistic.wav mit dem gesprochenen Beispielsatz.
Linux
Linux: unterstützt. Die Anleitung stammt direkt aus dem README. Getestet wurde auf einer NVIDIA H20 mit BF16 (PyTorch 2.8.0, Transformers 4.57.3). Andere Karten sind nicht ausdrücklich getestet, sollten aber gehen.
- Voraussetzungen prüfen. Du brauchst Python 3.10 oder neuer und Git. Empfohlen ist eine NVIDIA-Grafikkarte mit installiertem Treiber (CUDA ist NVIDIAs Rechentechnik). Gib die Befehle im Terminal ein. Es sollten Versionsnummern und eine Tabelle zur Grafikkarte erscheinen.
python3 --version git --version nvidia-smi - Programm herunterladen. Mit git clone holst du das Programm von GitHub. Mit cd wechselst du in den neuen Ordner.
git clone https://github.com/Edge0-AI/Audio8_TTS.git cd Audio8_TTS - Virtuelle Umgebung anlegen. Eine venv ist ein eigener Ordner für die Python-Pakete dieses Programms. So kommt nichts anderes durcheinander.
python3 -m venv .venv - Umgebung aktivieren. Jetzt schaltest du die Umgebung ein. Vorne in der Zeile steht danach (.venv). Das musst du in jedem neuen Terminal wiederholen.
source .venv/bin/activate - Pakete installieren. Das installiert alles, was das Programm braucht. Es dauert einige Minuten und lädt mehrere GB. Es sollte am Ende keine rote Fehlermeldung stehen.
pip install -r requirements.txt - Modell herunterladen. Das lädt die Modelldateien (zusammen etwa 2,5 GB) von Hugging Face. Das Programm würde sie sonst beim ersten Start selbst holen.
hf download Edge0/Audio8-TTS-Realistic-0.6b - Erste Sprachausgabe erzeugen. Dieser Befehl spricht den Beispielsatz der Entwickler und speichert ihn als Datei. Beim ersten Start dauert es etwas länger. Danach liegt outputs/realistic.wav im Ordner Audio8_TTS.
python audio8_tts_infer.py \ --model Edge0/Audio8-TTS-Realistic-0.6b \ --text "Welcome to Audio8 TTS. It is wonderful to hear from you." \ --output outputs/realistic.wav - Ergebnis. Im Ordner outputs liegt die Datei realistic.wav mit dem gesprochenen Beispielsatz.
So geht es nach dem ersten Ergebnis weiter
- Eigener Text: Ändere den Satz bei --text. Das Modell spricht 23 Sprachen, darunter Deutsch, Englisch, Französisch und Spanisch.
- Stimme klonen: Hänge --reference-audio reference.wav --reference-text "Der genaue Text der Aufnahme." an den Befehl an. Nimm dafür eine saubere eigene Aufnahme als reference.wav auf; der Text muss genau zum Gesprochenen passen.
- Für Fortgeschrittene bietet das Projekt einen Server mit OpenAI-kompatibler Sprach-Schnittstelle (SGLang Omni) und Anleitungen für Batch-Erzeugung und Feintraining im GitHub-Repo.
Das kannst du ausprobieren
Guten Morgen! Heute scheint die Sonne, und ich wünsche dir einen schönen Tag.Lies diesen kurzen Nachrichtentext in ruhigem Tempo vor: Die Bahn meldet heute Verspätungen auf mehreren Strecken.Erzähle in zwei Sätzen, wie man Pfannkuchen macht, in freundlichem Ton.Sprich denselben Satz auf Deutsch, Englisch und Türkisch mit meiner Referenzstimme.Lies ein kurzes Gedicht mit Pausen und Betonung vor.Tipps für bessere Ergebnisse
- Nimm einen klaren Clip von wenigen Sekunden ohne Störgeräusche.
- Teste zuerst im Hugging-Face-Playground, bevor du installierst.
- Für Serving nutze den SGLang-Omni-Adapter mit OpenAI-kompatibler API.
- Bei Sprachen mit schwächeren Werten Ergebnisse gegenhören.
Wenn es hakt
Das Modell braucht PyTorch 2.5+ und Transformers 4.57+.
Beim Laden ist trust_remote_code=True nötig, weil eigener Code im Repo liegt.
Das Transkript des Referenzclips muss exakt stimmen, sonst leidet die Qualität.
Der Referenzclip sollte sauber und ohne Hintergrundgeräusche sein.
Ohne CUDA-GPU gibt es noch keinen öffentlichen CPU-Export.
Klone nur Stimmen mit Einwilligung der Person.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.