Mistral Voxtral 3: Sprachmodelle und Voice-Agent-SDK für 50+ Sprachen

Worum es geht

Mistral AI hat am 20. Oktober 2026 Voxtral 3 vorgestellt: eine Familie von Speech-to-Text- und Text-to-Speech-Modellen sowie ein SDK (Entwicklerwerkzeugkasten) für Sprach-Agenten. Zielgruppe sind Callcenter, Service-Desks, virtuelle Assistenten und freihändige Copiloten. Verfügbar ist Voxtral 3 über Mistrals API mit europäischen, US- und globalen Endpunkten, in den Studio-Playgrounds zum Testen sowie zur Selbstinstallation. Ob die Gewichte frei herunterladbar sind, geht aus der Quelle nicht hervor; für den Betrieb on-premises oder in der Private Cloud soll man das Mistral-Team kontaktieren.

Mistral argumentiert, ein verlässlicher Sprach-Agent müsse vier Dinge gleichzeitig können: genau zuhören (Sprachen, Akzente, Sprecher, Unterbrechungen), den Kontext verstehen, natürlich und emotional sprechen und über angebundene Systeme mehrstufig handeln.

Spracherkennung: 50+ Sprachen

Die Transkription deckt jetzt 50 Sprachen ab, darunter die 24 EU-Amtssprachen sowie viele Sprachen Asiens und Indiens mit wenig Trainingsdaten. Kernfunktionen:

• Diarisierung: Erkennen, wer wann gesprochen hat.
• Context Biasing: Man übergibt Schlüsselbegriffe oder Freitext, um Fachwörter besser zu erkennen – ohne Feintuning.
• End-of-Turn-Erkennung: Akustische und inhaltliche Signale zeigen, wann der Sprecher fertig ist, damit der Agent ohne Verzögerung antwortet und möglichst nicht ins Wort fällt.

Voxtral Small Transcribe 3 erreicht laut Mistral Spitzenwerte bei Diarisierung und mehrsprachiger Transkription, auch in Englisch, Französisch und Spanisch, und schlägt Whisper, Scribe v2 und Gemini 3.5 Transcribe. Das sind Herstellerangaben; Zahlen nennt der Text nicht. Die Mini-Variante hat 4 Mrd. Parameter. Das Realtime-Modell liefert unter 500 ms Latenz in über 35 Sprachen (an anderer Stelle der Seite: 40+), ebenfalls mit Diarisierung und Context Biasing.

Sprachausgabe mit Emotion

Voxtral Mini TTS 3 gibt es als Batch- und Realtime-Variante. Es passt Emotion, Tempo und Betonung am Kontext des Textes an, ohne zusätzliche Anweisungen. Es unterstützt 35+ Sprachen und 50+ Dialekte und berücksichtigt Unterschiede bei Aussprache, Förmlichkeit, Schreibweise sowie Konventionen für Uhrzeit, Datum, Temperatur, Adressen und Währungen. Voice Presets gibt es in 18 Sprachen bzw. Varianten, etwa Arabisch, Brasilianisches Portugiesisch, Katalanisch, Mandarin, Niederländisch, Deutsch, Griechisch, Hindi, Koreanisch und Vietnamesisch. Weitere Funktionen: Stimmklonen aus 30+ Minuten Audio, Anweisungen zu Emotion, Tempo und Betonung, kontextuelles TTS und eine Vokabelbibliothek. Pro Voice soll Charakter, emotionale Bandbreite und Sprechstil eines Sprechers sprachübergreifend nachbilden, laut Mistral mit nur 30 Minuten Audio. Mistral sagt, der Preis liege unter vergleichbaren Modellen von OpenAI TTS-1, Deepgram, ElevenLabs Flash und Gemini Flash.

Voice-Agent-SDK

Das SDK basiert auf LiveKit und verbindet Zuhören, Denken und Sprechen zu einer Streaming-Pipeline. Das Realtime-Transkriptionsmodell erkennt das Satzende, ein allgemeines Modell wie Mistral Small denkt und ruft Werkzeuge auf, Voxtral TTS antwortet im passenden Ton. Keine Stufe wartet auf die vorherige; jeder Gesprächszug soll in unter einer Sekunde abgeschlossen sein, und der Agent hört auf zu reden, wenn der Anrufer dazwischenredet. Im Gespräch kann er Identität prüfen, Rechnungen abfragen oder Termine buchen – per Function Calling, Websuche und Retrieval über eigene Systeme. Er nimmt und startet Anrufe über SIP, läuft per WebRTC in Browsern und Apps und lässt sich an Telefonie-, IVR- und Contact-Center-Software anbinden. Weil jede Stufe ein eigenes Modell ist, lassen sich LLM, Stimme oder Sprache austauschen.

Preise

Einordnung

Voxtral 3 ist für Unternehmen interessant, die Sprach-Agenten bauen und dabei Datenhoheit wollen: EU-Hosting oder eigene Infrastruktur, und Kontrolle darüber, ob Audio gespeichert wird. Dass das SDK auf LiveKit setzt und die Stufen austauschbar sind, senkt die Bindung an einen Anbieter. Die Vergleichsaussagen zu Whisper, Scribe v2, Gemini und den TTS-Konkurrenten sind Herstellerangaben ohne veröffentlichte Zahlen im Text. Widersprüche in der Quelle (Realtime in 35+ vs. 40+ Sprachen, Voice Cloning ab 30 Minuten) sollte man in der Doku prüfen. Offen bleibt auch, welche Teile als Open Weights verfügbar sind.