Maya 2 Native: Offenes Sprachmodell für 11 indische Sprachen und Englisch
Maya Research hat Maya 2 Native veröffentlicht, ein Text-to-Speech-Modell mit 2,5 Mrd. Parametern unter Apache-2.0. Es spricht Hindi, Tamil, Bengali und weitere Sprachen, klont Stimmen aus wenigen Sekunden Audio und streamt Sprache in Echtzeit.
Worum es geht
Maya Research hat auf Hugging Face das Sprachsynthese-Modell Maya 2 Native veröffentlicht (Release 1.0, 25. Oktober 2026). Es wandelt Text in Sprache um (Text-to-Speech, TTS) und unterstützt elf indische Sprachen plus Englisch: Assamesisch, Bengalisch, Englisch, Gujarati, Hindi, Kannada, Malayalam, Marathi, Odia, Punjabi, Tamil und Telugu. Gewichte und Inferenzcode stehen unter der Apache-2.0-Lizenz frei zur Verfügung. Das Modell hat 2,5 Milliarden Parameter (grob gesagt die Stellschrauben, die beim Training gelernt wurden) und etwa 5,0 GB BF16-Gewichte.
Das Modell erzeugt 24-kHz-Mono-Audio und arbeitet im Streaming-Betrieb: Es liefert Sprache in 80-Millisekunden-Häppchen, noch während der Rest generiert wird. Das ist wichtig für Sprachassistenten, die schnell antworten müssen.
Was das Modell kann
- 20 eingebaute Stimmen mit verschiedenen Profilen, etwa jung und energisch (Ahana, Charvi), ruhig (Vaidehi), erzählerisch (Malini, Anirban) oder im natürlichen Gesprächsstil (Ritvik, Kayal, Sreekar u. a.). Die Namen bezeichnen synthetische Personas.
- Zero-Shot-Stimmklonen: Aus 3–10 Sekunden sauberem Referenzaudio samt exaktem Transkript entsteht eine nachgebildete Stimme. Sie kann sprachübergreifend sprechen, etwa eine Hindi-Referenz auf Tamil. Der Standardmodus
icl_spkkombiniert Referenzaudio mit einem ECAPA-Sprecher-Embedding (einem Zahlenvektor, der den Klang einer Stimme beschreibt). Laut Modellkarte ist die Ähnlichkeit nur näherungsweise; ein eigener Klon-Benchmark fehlt. - Schnittstellen: eine Python-API, ein OpenAI-kompatibler Speech-Endpunkt und WebSocket-Streaming. Continuous Batching und CUDA-Graphs ermöglichen viele gleichzeitige Anfragen.
- Textnormalisierung: Zahlen, Währungen, Daten, Uhrzeiten, URLs und E-Mail-Adressen werden in gesprochene Form umgesetzt. Server aktivieren das standardmäßig, in der Python-API muss
normalize=Truegesetzt werden.
Eine Besonderheit für Entwickler: Das Modell heißt Maya 2 Native, Paket, Klasse und Konfigurationsdatei heißen aber weiterhin maya3, Maya3TTS und maya3_config.json.
Architektur
Das Modell erzeugt diskrete Audio-Tokens nacheinander und dekodiert sie mit dem Codec Mimi von Kyutai zu Sprache. Der Text-und-Audio-Backbone ist von Qwen3-1.7B-Base initialisiert (28 Schichten, Hidden Size 2.048). Er sagt das erste von 32 Codebüchern voraus; ein ca. 555 Mio. Parameter großer „Depth Decoder“ ergänzt die Codebücher 1–31. Mimi arbeitet mit 12,5 Frames pro Sekunde. Trainiert wurde mit einer Mischung aus lizenzierter und synthetischer Sprache mit Transkripten sowie reinen Textdaten; zuletzt folgte eine Präferenzoptimierung (DPO) auf Basis von ASR-Übereinstimmung und Sprecherähnlichkeit. Datensätze und Trainingsstunden legt der Hersteller nicht offen.
Zahlen und Benchmarks
Laut VoiceArena (Hindi, Kategorie „All“, nur Echtzeit-Modelle, Stand 27. Oktober 2026) belegt Maya-2-Native Platz 2:
| Platz | Modell | Elo |
|---|---|---|
| 1 | Cartesia Sonic-3.6 | 1094 |
| 2 | Maya-2-Native | 1047 |
| 3 | Cartesia Sonic-3.5 | 1035 |
| 4 | Smallest AI Lightning 3.1 Pro | 1024 |
| 5 | Murf AI Falcon 2 | 1021 |
Die Konfidenzintervalle überlappen; Maya liegt im Rangintervall 2–4. Das gilt nur für Hindi.
Die eigene Auswertung („bench6k“) umfasst 6.000 zurückgehaltene Texte (500 je Sprache, 31 Kategorien) und 20,3 Stunden Sprache. Drei ASR-Systeme (Spracherkenner) prüften die Verständlichkeit über die Zeichenfehlerrate (CER, je niedriger desto besser):
| Gesamt-CER | ASR-1 | Qwen3-ASR | ASR-2 |
|---|---|---|---|
| Scorer v1 | 3,49 % | 3,40 % | 2,86 % |
| Scorer v2 | 2,35 % | 2,22 % | 1,73 % |
Am besten schneidet Hindi ab (ca. 1,5–2,1 %), am schwierigsten ist Assamesisch (5,4–6,6 %). Bei Englisch weicht ASR-1 (9,69 %) stark von den anderen ab; laut Hersteller liegt das teils daran, dass ASR-1 bei gesprochenen URLs in Schleifen gerät. Die Stimmidentität (nächster von 20 Zentroiden) liegt bei 98,6 %, die „Consensus Failure Rate“ bei 0,15 % (v1) bzw. 0,03 % (v2). Schwierig bleiben Web-Adressen (CER bis 29 %) und stark gemischte Sprache (Code-Mix).
Beim Streaming auf einer H100 NVL mit 224 gleichzeitigen WebSocket-Streams meldet der Hersteller 323 Sekunden Audio pro Sekunde, eine Zeit bis zum ersten Audio von 111 ms (p50, Dauerbetrieb) und keine Aussetzer. Ein einzelner Stream erreicht rund 14 ms bis zum ersten Audio. Das sind Herstellermessungen auf Servertechnik, keine Aussagen über Internet- oder Telefonlatenz.
Was du zum Ausprobieren brauchst
- Betriebssystem: Linux, Python 3.10–3.12.
- GPU: NVIDIA mit Treiber für CUDA 12.8. Mit
max_seats=1liegt der stationäre Bedarf bei 7,7 GB, der Spitzenwert beim Laden bei 9,2 GB plus ca. 0,5 GB CUDA-Kontext. 12 GB VRAM oder mehr sind empfehlenswert. - Mehr Gleichzeitigkeit: 8 Seats ca. 9,7 GB, 16 Seats ca. 11,7 GB, 32 Seats ca. 15,8 GB.
- Speicherplatz: ca. 5 GB für die Gewichte, dazu Mimi und der ECAPA-Encoder, die beim ersten Start geladen werden.
- Mac, CPU, Colab: Die Quelle nennt nur Linux mit NVIDIA-GPU. Ein Google-Colab-Lauf mit passender NVIDIA-GPU ist denkbar, aber nicht dokumentiert.
Einschränkungen und Verantwortung
Die Modellkarte nennt selbst mehrere Grenzen: Assamesisch ist am schwächsten, keine eingebaute Stimme hat dafür mindestens eine Stunde Trainingsdaten, manche Ausgaben driften zu einem bengalisch klingenden Timbre. Sehr kurze Äußerungen (ein bis zwei Wörter) sind instabil, URLs, Symbole und lange Zahlenfolgen bleiben schwierig. Emotions-Tags wie [laughs] funktionieren nur nach bestem Bemühen. Loop- und Längenwächter können wiederholenden Text vorzeitig beenden.
Speziell zum Klonen: Stimmen nur mit ausdrücklicher Erlaubnis nutzen, synthetische Sprache offenlegen. Es gibt kein Audio-Wasserzeichen. Der mitgelieferte Server hat keine Authentifizierung und sollte nicht ungeschützt ins Netz gestellt werden.
Einordnung
Indische Sprachen jenseits von Hindi sind bei offenen TTS-Modellen oft dünn abgedeckt. Maya 2 Native bringt zwölf Sprachen, Klonen und echtes Streaming unter einer permissiven Lizenz, was für Sprachagenten, IVR-Systeme, Barrierefreiheit und Vorlesen interessant ist. Das Hindi-Ranking (Platz 2 unter Echtzeit-Modellen, knapp hinter einem kommerziellen Anbieter) ist ein starkes Signal, gilt aber nur für diese Rangliste und überlappende Intervalle.
Kritisch: Die meisten Zahlen sind Herstellermessungen mit automatischen Prüfern. Die Karte selbst nennt keine Hörstudie zur Natürlichkeit, keine Konfidenzintervalle und keinen kontrollierten Vergleich mit anderen TTS-Modellen. Die Trainingsdaten sind nicht offengelegt. Für den produktiven Einsatz sollte man also selbst Hörproben mit eigenen Namen, Zahlen und URLs prüfen.
Quellen
- Hugging Face Trending huggingface.co
Selbst ausprobieren: Maya 2 Native
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Maya 2 Native liest Text in zwölf Sprachen vor: Hindi, Bengalisch, Tamil, Telugu, Marathi, Gujarati, Kannada, Malayalam, Odia, Punjabi, Assamesisch und Englisch. Du kannst eine von 20 eingebauten Stimmen wählen oder mit einem 3–10 Sekunden langen Referenzclip eine eigene Stimme nachbilden, sogar sprachübergreifend. Das Modell streamt Audio, ist also für Sprachassistenten geeignet. Es kann Zahlen, Daten und Währungen in gesprochene Form umwandeln. Grenzen: Assamesisch ist schwächer, sehr kurze Sätze sind instabil, URLs und lange Zahlenfolgen bleiben schwierig. Laut Hersteller liegt es im Hindi-Ranking von VoiceArena auf Platz 2 unter Echtzeit-Modellen; unabhängige Vergleiche fehlen.
Für wen lohnt es sich?
Lohnt sich für Entwickler und Bastler, die Sprachagenten, Vorlesefunktionen oder Hörbücher in indischen Sprachen bauen wollen, und für alle, die ein selbst gehostetes, frei lizenziertes TTS suchen. Weniger passend, wenn du nur Deutsch brauchst (nicht unterstützt) oder keine NVIDIA-GPU unter Linux hast.
Ideen: Was du damit anstellen kannst
Binde den OpenAI-kompatiblen Endpunkt in einen Bot ein, der Kunden auf Hindi oder Tamil antwortet. Das Streaming sorgt für kurze Wartezeiten.
Lass Blogtexte oder Nachrichten in Marathi oder Bengalisch als WAV-Datei erzeugen, etwa für sehbehinderte Leser.
Erzeuge Bahnhofs- oder Shop-Durchsagen in mehreren indischen Sprachen mit derselben Stimme per sprachübergreifendem Klonen.
Schreibe Geschichten und lass sie mit einer warmen Erzählerstimme wie Malini vertonen.
Nimm 10 Sekunden von dir selbst auf und lass dich Texte in Tamil oder Telugu sprechen, z. B. für Videos. Nutze nur Stimmen mit Erlaubnis.
Was dein Rechner braucht
Es gibt nur einen Checkpoint (BF16, ca. 5 GB). Für den Einstieg reicht eine GPU mit 12 GB VRAM und max_seats=1; für mehrere parallele Nutzer steigt der Speicherbedarf (16 Seats ca. 12 GB, 32 Seats ca. 16 GB).
- NVIDIA-GPU mit Treiber für CUDA 12.8 ist nötig; Linux und Python 3.10–3.12.
- Mit max_seats=1: ca. 7,7 GB stationär, 9,2 GB Spitze beim Laden, plus ca. 0,5 GB CUDA-Kontext.
- max_seats bestimmt den reservierten Speicher, auch wenn nicht alle Plätze belegt sind.
- Pro Seat sind 2.048 KV-Cache-Tokens eingeplant; Hersteller-Benchmark lief auf einer H100 NVL.
- Für Mac oder reinen CPU-Betrieb nennt die Quelle keine Unterstützung.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (MayaResearch/maya2-native auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Im Browser (ohne Installation)
Die Entwickler haben eine Online-Demo auf Hugging Face. Dort kannst du das Modell sofort ausprobieren, ohne etwas zu installieren. Manchmal musst du kurz warten, bis die Demo aufgewacht ist.
Windows 10 / 11
Windows 10 / 11: nicht unterstützt. Laut Quelle läuft Maya 2 Native nur unter Linux mit NVIDIA-Grafikkarte. Windows wird nicht unterstützt. Alternative: ein Linux-Rechner oder ein gemieteter Linux-Server mit NVIDIA-Grafikkarte (z. B. Colab); ob WSL2 geht, steht nicht in der Quelle.
macOS
macOS: nicht unterstützt. Das Programm braucht Linux und eine NVIDIA-Grafikkarte mit CUDA. Macs haben keine NVIDIA-Karte, daher geht es nicht. Alternative: ein Linux-Rechner oder ein gemieteter Linux-Server mit NVIDIA-Grafikkarte (z. B. Colab).
Linux
Linux: unterstützt. Offiziell unterstützt: Linux, Python 3.10–3.12, NVIDIA-Grafikkarte mit CUDA-12.8-Treiber. Getestet wurden H100 und RTX 4090. Andere Karten stehen nicht in der Quelle, sollten mit genug Speicher aber gehen.
- Voraussetzungen prüfen. Du brauchst Linux, Python 3.10, 3.11 oder 3.12, Git und eine NVIDIA-Grafikkarte mit mindestens 8 GB Speicher, besser 12 GB. Der NVIDIA-Treiber muss CUDA 12.8 unterstützen. Die ersten beiden Befehle zeigen deine Python-Version und deine Karte samt Treiber.
python3 --version nvidia-smi - Programm herunterladen. Mit git clone holst du den Programmcode in einen neuen Ordner namens maya3. Mit cd wechselst du in diesen Ordner.
git clone https://github.com/MayaResearch/maya2-native maya3 && cd maya3 - Eigene Umgebung anlegen. Eine venv ist ein abgeschotteter Python-Ordner, damit nichts mit anderen Programmen kollidiert. Danach steht (.venv) vorne in deiner Zeile. Das musst du in jedem neuen Terminal wiederholen.
python -m venv .venv && . .venv/bin/activate - Pakete installieren. Dieser Befehl installiert Maya und alle nötigen Teile, darunter PyTorch für CUDA 12.8. Das ist groß und dauert einige Minuten. Es muss am Ende ohne rote Fehlermeldung durchlaufen.
pip install -e ".[server]" --extra-index-url https://download.pytorch.org/whl/cu128 - Beispiel-Skript speichern. Dieser Befehl erzeugt die Datei demo.py. Sie lädt das Modell, spricht einen Hindi-Satz mit der Stimme Ahana und speichert ihn als speech.wav. max_seats=1 hält den Speicherbedarf klein.
cat > demo.py << 'EOF' import soundfile as sf from maya3 import Maya3TTS tts = Maya3TTS.from_pretrained("maya-research/maya2-native", max_seats=1) audio = tts.generate( "नमस्ते, आपका ऑर्डर कल पहुँच जाएगा।", lang="hi", voice="Ahana", normalize=True, ) sf.write("speech.wav", audio, 24000) tts.close() EOF - Erstes Ergebnis erzeugen. Beim ersten Start lädt das Programm automatisch das Modell (etwa 5 GB) sowie zwei Hilfsmodelle (Mimi und ECAPA) herunter. Das dauert, danach geht es schnell. Fertig ist es, wenn das Skript ohne Fehler endet und speech.wav im Ordner liegt.
python demo.py - Anhören. Spiel die Datei mit einem beliebigen Audioplayer ab. Du hörst den Hindi-Satz in 24 kHz Qualität.
ls -l speech.wav - Ergebnis. Im Ordner liegt die Datei speech.wav mit dem gesprochenen Hindi-Satz in der Stimme Ahana.
So geht es nach dem ersten Ergebnis weiter
- Ändere in demo.py den Text, lang (z. B. "ta", "te", "en") und voice (z. B. "Siddhant", "Vaidehi"). Alle 20 Stimmen können alle 12 Sprachen. Die Liste zeigt: python examples/synthesize.py --list-voices
- Schneller per Kommandozeile: python examples/synthesize.py "నమస్కారం, మీరు ఎలా ఉన్నారు?" --lang te --voice Sreekar -o out.wav
- Eigene Stimme klonen: Mit tts.register_voice("my_voice", ref_audio="ref.wav", ref_text="genauer Text der Aufnahme", lang="hi") nutzt du eine 3–10 Sekunden lange, saubere Aufnahme. Nimm nur Stimmen, bei denen die Person zugestimmt hat.
- Als Server: python -m maya3.server --ckpt maya-research/maya2-native --host 127.0.0.1 --port 8080 --max-seats 1 startet eine OpenAI-kompatible Schnittstelle. Sie hat keinen Passwortschutz, also nicht ins offene Netz stellen.
Das kannst du ausprobieren
नमस्ते, आपका ऑर्डर कल पहुँच जाएगा। (Hindi, Stimme Ahana)Your order has shipped and will arrive tomorrow. (Englisch, Stimme Siddhant)வணக்கம், எப்படி இருக்கிறீர்கள்? (Tamil, mit geklonter Hindi-Stimme)মনে রাখবেন, আপনার EMI প্রতি মাসের ৫ তারিখে কাটা হবে। (Bengalisch mit Code-Mix)Eine kurze Gute-Nacht-Geschichte auf Hindi als Streaming-Ausgabe mit Stimme VaidehiTipps für bessere Ergebnisse
- Nimm bei kurzen Agentenantworten lieber einen etwas längeren Satz, da ein- bis zweiwörtige Eingaben instabil sind.
- Prüfe Namen, URLs und wichtige Zahlen immer per Hörprobe.
- Wähle die Stimme passend zur Sprache: Stimmen mit vielen Trainingssprachen (z. B. Ahana, Vaidehi) klingen in allen Sprachen natürlicher.
- Starte mit max_seats=1 und erhöhe erst bei Bedarf, da der Speicherbedarf mit jedem Seat steigt.
Wenn es hakt
Das Paket heißt weiterhin maya3 (Klasse Maya3TTS, maya3_config.json), obwohl das Modell Maya 2 Native heißt.
In der Python-API muss normalize=True gesetzt werden, sonst werden Zahlen und Daten nicht ausgesprochen; die Server tun das standardmäßig.
Beim ersten Start werden zusätzlich Mimi-Codec und ECAPA-Encoder geladen; für Offline-Betrieb erst cachen, dann HF_HUB_OFFLINE=1 setzen.
Für Klonen brauchst du sauberes Audio einer einzelnen Person und das exakte Transkript; Rauschen oder falscher Text verschlechtern das Ergebnis.
Der mitgelieferte Server hat keine Authentifizierung; nicht ungeschützt ins Netz stellen.
Eingebaute Stimme oder eigene Referenz verwenden, nicht beides kombinieren; den Stimmnamen nicht in den Text schreiben.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.