Tontaube V1.1: Offene Sprachsynthese mit Stimmklonen – Deutsch inklusive, läuft auch auf CPU

Worum es geht

Das Entwicklerteam Craitech hat Tontaube V1.1 veröffentlicht, ein Text-to-Speech-Modell (TTS) mit offenen Gewichten. Es verwandelt geschriebenen Text in gesprochene Sprache. Die Schwerpunkte sind das Klonen von Stimmen, lange Texte wie Hörbücher und Streaming mit kurzer Wartezeit. Englisch und Deutsch gelten als Hauptsprachen. Daneben beherrscht das Modell Spanisch, Französisch, Italienisch, Niederländisch und Portugiesisch. Ein deutschsprachiges Projekt mit Deutsch als vollwertiger Sprache ist bei offenen TTS-Modellen eher die Ausnahme.

Im GitHub-Repository github.com/craitech/tontaube liegt der Inferenz-Server, also die Software, die das Modell betreibt und eine Programmierschnittstelle bereitstellt. Die Gewichte gibt es getrennt auf Hugging Face, einmal als 4-Bit-Version (TontaubeAI/TontaubeV1.1-int4) und einmal in voller Genauigkeit (TontaubeAI/TontaubeV1.1). Beim ersten Start lädt der Server sie automatisch herunter. Laut Anleitung kann es sein, dass die Repositories vorerst privat oder zugangsbeschränkt sind. Dann brauchst du einen Hugging-Face-Token mit Leserechten. Welche Lizenz gilt, steht nicht in der Quelle. Außerdem nennt das Projekt einen Technical Report zur Vorgängerversion und eine Online-Testversion.

So funktioniert Tontaube

Das Modell zerlegt Sprache in vier Spuren, sogenannte Codebooks. Dafür nutzt es den Audio-Codec DualCodec, der Audio in eine Folge diskreter Zeichen übersetzt, ungefähr so, wie Text aus Buchstaben besteht. Pro Sekunde entstehen 12,5 solcher Schritte. Die unterste Spur (CB0) erzeugt die „semantischen“ Audio-Tokens. Sie legt fest, was gesagt wird und wie lange jedes Stück dauert. Das geschieht autoregressiv, also Stück für Stück, wobei jedes neue Element auf den bisherigen aufbaut. Die drei weiteren Spuren (CB1 bis CB3) ergänzen danach die akustischen Feinheiten.

Der Kniff dabei: Die akustischen Abschnitte hängen nicht von den vorherigen akustischen Abschnitten ab. Deshalb lassen sie sich parallel berechnen, und laut Entwicklern bleibt die Stimme auch über lange Texte stabil. Bei vielen TTS-Systemen verändert sich eine geklonte Stimme mit der Zeit langsam, das nennt man Voice Drift.

CB0 basiert auf Qwen3-1.7B, CB1 bis CB3 auf dem kleineren Qwen3-0.6B. Einen Teil der Ausgabe kodiert eine abgespeckte Version von VibeVoice neu und dekodiert damit auch den Stream. Text liest das Modell Zeichen für Zeichen, insgesamt kennt es 168 Zeichen. Akzente auf anderen lateinischen Buchstaben fallen weg. Andere Schriften, Emojis und Steuerzeichen werden entfernt.

Wahlweise lässt sich ein „Verbalizer“ zuschalten. Dieses separat trainierte Modell schreibt englischen Text vor der Sprachausgabe in eine sprechbare Form um, aus Ziffern oder Abkürzungen werden also ausgeschriebene Wörter. Er funktioniert nur für Englisch, braucht zusätzlich etwa 1,9 GB Grafikspeicher und ist standardmäßig ausgeschaltet.

Was das Modell kann

• Stimmen klonen ohne Training (Zero-Shot): Eine Referenzaufnahme mit 5 bis 60 Sekunden sauberer Sprache von einem Sprecher genügt. Längere Aufnahmen bringen laut Entwicklern meist bessere Ergebnisse, mehr als eine Minute wird aber nicht verwendet.
• 46 mitgelieferte Stimmen: 39 Standardstimmen in allen sieben Sprachen und sieben ältere Stimmen. Voreingestellt ist „Marcus“.
• Drei Sprechstile: Hörbuch, Gespräch und „agentic“, gedacht für KI-Assistenten.
• Fünf Stil-Regler: Sprechtempo (5 Stufen), Pausen (5 Stufen), Tonhöhenumfang von monoton bis sehr ausdrucksstark (6 Stufen), Tonlage von tief bis hoch (5 Stufen) und Artikulation von knackig-abgehackt bis normal (3 Stufen). Die Regler lassen sich auch für einzelne Textabschnitte unterschiedlich setzen.
• Lange Texte: Text und Audio werden an sinnvollen Grenzen in Abschnitte zerlegt, damit beim Übergang keine hörbaren Schnitte entstehen.
• Streaming als MP3 über Server-Sent Events oder als Opus über WebSocket. Das ist interessant für Sprachassistenten, die schon losreden sollen, bevor der ganze Text fertig ist.
• Fortsetzen und Neuerzeugen ab einer beliebigen Stelle in vorhandenem Audio, etwa um einen verpatzten Satz zu ersetzen.
• Selbstkontrolle: Kommt ein Abschnitt zu schnell oder zu langsam heraus oder fehlt Text, erzeugt der Server ihn automatisch neu, höchstens fünfmal.

Die Ausgabe entsteht mit 24 kHz. Bei normalen Anfragen ohne Streaming bereitet der Enhancer MossFormer2 das Audio standardmäßig auf 48 kHz auf und verkürzt lange Pausen. Der Enhancer ist ein Zusatzmodell mit etwa 420 MB, das beim ersten Gebrauch heruntergeladen wird. Zum Projekt gehören eine Weboberfläche mit Reglern, Upload für Referenzstimmen und Download-Funktion sowie eine OpenAPI-Dokumentation.

Geschwindigkeit und Benchmarks

Nach Herstellerangaben erreicht die 4-Bit-Version auf einer Nvidia GeForce RTX 5090 beim Streaming im Median 192 Millisekunden bis zum ersten Ton. Ein einzelner Auftrag läuft etwa 13-mal schneller als Echtzeit, mehrere gebündelte Aufträge zusammen 21- bis 23-mal schneller. Auf einer 12-Kern-Desktop-CPU mit Dual-Channel-DDR4 schafft das Modell ungefähr Echtzeit. Bei langen Streams kann es deshalb zwischen den Abschnitten kurze Aussetzer geben.

Zur Qualität gibt es bisher nur Messungen mit dem Vorgänger TontaubeV1, nicht mit V1.1. Dafür wurde ein sogenannter LLM-as-a-Judge-Test durchgeführt, bei dem ein Sprachmodell als Schiedsrichter dient. Gemini 3.1 Pro Preview hat bei 400 englischen Hörbuchpassagen jeweils zwei Aufnahmen verglichen, und zwar in beiden Reihenfolgen. Bewertet wurden Prosodie, also Betonung, Rhythmus und Sprachmelodie, und Wortgenauigkeit. 50 Prozent bedeuten Gleichstand.

Die Entwickler weisen selbst auf Schwächen des Tests hin. Bei ElevenLabs, Gradium und Cartesia kamen feste Anbieterstimmen zum Einsatz, Tontaube nutzte dagegen eine geklonte Referenz. Das könnte Tontaube begünstigen. Außerdem misst der Test nur englische Lesebetonung und Textgenauigkeit. Über Stimmähnlichkeit, Klangqualität, andere Sprachen, Stabilität bei langen Texten oder Streaming-Qualität sagt er nichts.

Was du zum Ausprobieren brauchst

• Betriebssystem: Offiziell nur Linux mit Python 3.12. Windows funktioniert über WSL2 mit CUDA. macOS und Grafikkarten anderer Hersteller als Nvidia werden nicht unterstützt.
• Grafikkarte: Eine Nvidia-GPU ab der Ampere-Generation (RTX 30er-Serie oder neuer). Das 4-Bit-Modell lädt mit etwa 4 GB Grafikspeicher und braucht in der Spitze rund 6,5 GB, zum Beispiel bei langen Texten, beim Einlesen einer Referenzstimme oder mit dem Enhancer. Eine Karte mit 8 GB reicht also. Ältere Pascal-Karten wie die GTX-10er-Serie laufen ebenfalls, dafür richtet der Server automatisch eine eigene Umgebung ein, die etwa 9 GB Speicherplatz belegt.
• Ohne Grafikkarte: Auf einer x86-64-CPU mit AVX2, FMA und F16C plus C++-Compiler läuft das 4-Bit-Modell ebenfalls. Bei einer 12-Kern-CPU geht das ungefähr in Echtzeit. Den Verbalizer und den Enhancer gibt es dann nicht.
• Volle Genauigkeit: Das vLLM-Backend braucht mindestens 24 GB Grafikspeicher, für den Hochdurchsatz-Modus 32 GB.
• Software: Der Paketmanager uv, FFmpeg und die Opus-Bibliothek. Installiert wird mit git clone, danach startet uv run --python 3.12 --frozen tontaube serve den Server. Wahlweise gibt es auch ein Docker-Image.

Grenzen und Risiken

Die Entwickler zählen die Schwächen offen auf. Weil das Modell autoregressiv arbeitet, kann es Text auslassen, wiederholen oder verändern und zu früh oder zu spät aufhören. Beim Klonen kann es Eigenheiten der Aufnahme übernehmen, etwa Raumhall, und die Stimme nicht perfekt treffen. Bei deutschen Lauten kann die Aussprache danebenliegen. Die übrigen fünf Sprachen hat kein Muttersprachler geprüft, deshalb machen die Entwickler zu ihnen keine Qualitätsaussagen. Hörbücher funktionieren nach eigener Aussage zuverlässiger als Gespräche.

Außerdem warnt das Projekt ausdrücklich vor Missbrauch:

Stimmklonen kann Identitätsbetrug, Täuschung, Sprachsynthese ohne Einwilligung und irreführende Medien ermöglichen.

Wer fremde Stimmen nutzen will, soll vorher eine Erlaubnis einholen. Im Auslieferungszustand ist der Server nur auf dem eigenen Rechner erreichbar und nicht abgesichert. Bevor man ihn im Netz freigibt, sollte man API-Schlüssel, TLS-Verschlüsselung und Ratenbegrenzung einschalten. Code zum Feintuning wollen die Entwickler später nachliefern.

Einordnung

Tontaube schließt eine spürbare Lücke. Gute offene TTS-Modelle mit Stimmklonen sind meist auf Englisch oder Chinesisch ausgerichtet. Hier ist Deutsch von Anfang an Hauptsprache, und das Modell läuft schon mit einer Mittelklasse-Grafikkarte oder sogar nur auf der CPU. Damit taugt es für Hörbuch-Experimente, Vorleseprojekte und lokale Sprachassistenten, ohne dass Daten in die Cloud gehen.

Einige Punkte bleiben aber offen. Die Qualitätszahlen stammen vom Vorgänger, beziehen sich nur auf Englisch und messen keine Stimmähnlichkeit. Der Vergleich mit kommerziellen Diensten wie ElevenLabs ist methodisch zugunsten von Tontaube verzerrt, und unabhängige Tests gibt es noch nicht. Unklar sind auch die Lizenz und ob die Gewichte schon frei zugänglich sind oder noch eine Freigabe brauchen. Die Hürden bei der Installation sind vergleichsweise hoch: nur Linux, kein Mac und eine gezielt festgelegte Abhängigkeitskette, die man nicht mit einfachem pip install nachbauen kann. Für Bastler mit Linux-Rechner und Nvidia-Karte lohnt der Test trotzdem, gerade wegen der deutschen Sprachausgabe.