ZONOS3-Mini: Offene Sprach-KI klont Stimmen sogar direkt im Browser

Worum es geht

Das US-KI-Unternehmen Zyphra hat am 10. November 2026 ZONOS3-Mini veröffentlicht. Das ist ein Open-Source-Modell für Text-to-Speech (TTS), es wandelt also geschriebenen Text in gesprochene Sprache um. Es ist für Echtzeit-Einsatz direkt auf dem eigenen Gerät gedacht. Das Modell beherrscht Zero-Shot-Voice-Cloning: Es ahmt eine Stimme anhand eines kurzen Hörbeispiels nach, ohne vorher speziell auf diese Stimme trainiert zu werden. Außerdem lassen sich Tempo, Emotion und Betonung bis auf einzelne Wörter steuern.

Die Gewichte stehen unter der freizügigen Apache-2.0-Lizenz, kommerzielle Nutzung ist also erlaubt. Die wichtigste Eigenschaft laut MarkTechPost ist die geringe Größe. ZONOS3-Mini läuft in einem Browser-Tab, auf einem Laptop oder auf einer Server-GPU. Zyphra hat das Modell in 2,5 Tagen auf 112 NVIDIA-H100-GPUs trainiert. Der Vorgänger ZONOS2 hatte noch 8 Milliarden Parameter und war deshalb nur eingeschränkt einsetzbar.

So ist das Modell aufgebaut

ZONOS3-Mini ist ein Mixture-of-Experts-Modell (MoE). Stell dir ein Team aus 64 Spezialisten vor, von denen für jedes Stück Text nur die zwei passendsten arbeiten. Insgesamt hat das Modell so 800 Millionen Parameter, pro Token rechnen aber nur etwa 100 Millionen mit. Das macht es schnell und sparsam. Das Modell kann sich 32.768 Positionen merken (Kontext) und erzeugt pro Durchgang bis zu 10 Minuten Audio.

Zyphra hat drei Teile der Technik neu gebaut:

• Neuer Audio-Codec ZAC-1: Ein Codec zerlegt Audio in kompakte Bausteine, die das Modell verarbeiten kann, und setzt sie wieder zu Klang zusammen. ZAC-1 ersetzt den bisher genutzten Descript Audio Codec. Er arbeitet mit nur 15 Bausteinen pro Sekunde (15 Hz) und 10 Codebüchern mit je 4.096 Einträgen: eins für die Bedeutung, neun für den Klang. Laut Zyphra sinkt die Wortfehlerrate damit um das Zehnfache. Ein spezieller Baustein (kausaler iSTFT-Kopf) wandelt jedes Stück sofort nach der Erzeugung in Audio mit 44,1 kHz um. Das ist die Voraussetzung für Streaming.
• Hybrides Rückgrat: 11 Schichten mit der Modellbreite 1.024. Neun davon sind „Gated DeltaNet“-Schichten, eine sparsame Alternative zur klassischen Attention, zwei sind globale Attention-Schichten. Das entspricht einem Verhältnis von 3:1.
• Neuer Sprecher-Encoder MECT-B2: Er ersetzt den Encoder aus Qwen3-TTS. Man kann ihm einen rohen Referenz-Clip von bis zu 60 Sekunden geben oder ein fertiges Stimmprofil aus 192 Zahlen (Speaker Embedding).

Nach dem Haupttraining folgten zwei Feinschliff-Runden mit DPO und GRPO. Bei diesen Verfahren lernt das Modell aus Vergleichen guter und schlechter Ausgaben und wird dadurch robuster.

Stimme auf Wortebene steuern

Die Steuerung hat zwei Ebenen. Die Identität der Stimme, also Alter, Geschlecht, Akzent und Stimmfarbe, wird über Stimmprofil-Vektoren und Akzent-Vektoren eingestellt. Die Vortragsweise, also Tempo, Emotion, Lautstärke bzw. Projektion und Lebendigkeit, läuft über Activation Steering. Dabei werden die inneren Signale des Modells während der Erzeugung gezielt verschoben, ungefähr so, als würde man an einem Mischpult drehen, während das Lied läuft. Eigene „Alignment Heads“ sorgen dafür, dass diese Steuerung auch beim Streaming genau auf bestimmte Wörter wirkt. Dazu gibt es ein separates Bearbeitungsmodell nach dem VoiceCraft-Rezept, mit dem sich Sätze nachträglich ändern lassen, ohne alles neu zu generieren.

Benchmarks: vorne, aber selbst gemessen

Zyphra hat für die Bewertung einen eigenen Benchmark namens ZTTS2-Eval entwickelt. Er umfasst saubere, vorgelesene Sprache in 35 Sprachen und Aufnahmen aus dem echten Leben in 20 Sprachen. Ein „Capability Index“ fasst 420 Testaufgaben mit einem statistischen Verfahren (Item-Response-Theorie) zu einem Wert zusammen.

*Alle Werte aus Zyphras eigenem ZTTS2-Eval, ZONOS3-Mini im Stimmprofil-Modus.

MarkTechPost nennt deutliche Einschränkungen. Zyphra hat den Benchmark selbst gebaut und selbst durchgeführt, eine unabhängige Prüfung fehlt. Gibt man dem Modell statt eines fertigen Stimmprofils einen rohen Referenz-Clip, fällt es auf 44,7 Punkte zurück. Bei der reinen Klangqualität liegen Fish S2 Pro und vor allem Qwen3-TTS vorn. Eine offizielle Sprachenliste gibt es nicht, getestet wurde in 35 Sprachen.

Tempo und Einsatzwege

Auf einer einzelnen H100 liegt die mittlere Time to First Audio, also die Wartezeit bis zum ersten hörbaren Ton, bei 80 Millisekunden, und zwar bei acht gleichzeitigen Anfragen. Der Spitzendurchsatz liegt bei 457 Sekunden Audio pro Sekunde Rechenzeit. Im Browser dauert es auf einem M3 MacBook Air unter 150 Millisekunden, auf dem Smartphone Pixel 9 unter 570 Millisekunden. Die Latenzwerte der Konkurrenz wurden auf anderen GPUs gemessen und sind nicht direkt vergleichbar.

Laut GitHub-Repository gibt es vier offizielle Wege:

• Browser: ein WebGPU-Playground, der komplett auf deiner eigenen Grafikeinheit läuft, ohne Installation und ohne Server.
• NVIDIA-Server: SGLang-Omni stellt einen OpenAI-kompatiblen Endpunkt /v1/audio/speech mit Streaming bereit.
• Nativ: ein MLX-Server für Apple-Silicon-Macs sowie ein C++/ggml-Server mit Kommandozeilenprogramm für CPU, CUDA, Metal oder Vulkan.
• Gehostet: Zyphra Cloud auf NVIDIA-H200-GPUs.

Was du zum Ausprobieren brauchst

Die Hürde ist sehr niedrig. Am einfachsten geht es über den Browser-Playground. Dafür brauchst du nur einen aktuellen Browser mit WebGPU-Unterstützung und ein halbwegs modernes Gerät, selbst ein Smartphone wie das Pixel 9 reicht, wenn auch mit spürbarer Verzögerung. Lokal genügt bei rund 100 Millionen aktiven und 800 Millionen Gesamtparametern eine Grafikkarte mit etwa 2 GB VRAM. Das ist eine grobe Schätzung, offizielle Mindestwerte nennt die Quelle nicht. Auf Macs mit Apple-Chip läuft das Modell über MLX. Über ggml geht es auch ohne Grafikkarte nur mit der CPU, dann aber langsamer. Der Speicherbedarf auf der Festplatte dürfte im niedrigen Gigabyte-Bereich liegen. Für Server mit vielen gleichzeitigen Nutzern ist SGLang-Omni auf NVIDIA-GPUs gedacht.

Einordnung

ZONOS3-Mini ist ein bemerkenswerter Schritt für freie Sprachsynthese. Ein Modell mit nur 100 Millionen aktiven Parametern soll auf Augenhöhe mit fünf- bis zehnmal größeren Konkurrenten sprechen. Dazu kommen eine echte Open-Source-Lizenz und ein offizieller Browser-Betrieb, den laut MarkTechPost keiner der Vergleichskandidaten bietet. Interessant ist das für Entwickler von Sprachassistenten, Vorlese-Apps, Spielen und Barrierefreiheits-Tools, die ohne Cloud und ohne laufende Kosten auskommen wollen. Fish Audio S2 Pro unterstützt dagegen über 80 Sprachen, braucht für kommerzielle Nutzung aber eine eigene Lizenz.

Kritisch bleibt, dass alle Bestwerte aus Zyphras eigenem Benchmark stammen. Unabhängige Hörtests fehlen noch. Das Klonen aus einem rohen Hörbeispiel, für die meisten Nutzer der naheliegende Weg, schneidet deutlich schlechter ab als der Modus mit Stimmprofil. Und wie bei jedem Stimmklon-Werkzeug gilt: Fremde Stimmen solltest du nur mit Einverständnis der Betroffenen nachbilden.