Elevenlabs Scribe v3: Spracherkennung, die Anrufer nicht mehr mitten im Satz unterbricht

Worum es geht

Das Sprach-KI-Unternehmen Elevenlabs, bekannt vor allem für künstliche Stimmen, hat zwei neue Modelle für Speech-to-Text vorgestellt, also für das Umwandeln gesprochener Sprache in Text: Scribe v3 und Scribe v3 Live. Scribe v3 verarbeitet bereits aufgenommene Audiodateien, Scribe v3 Live ist für Echtzeit-Anwendungen mit geringer Latenz gebaut, also mit möglichst wenig Verzögerung zwischen Sprechen und fertigem Text. Beide sind laut The Decoder ab sofort über die Programmierschnittstelle ElevenAPI und in der Agentenplattform ElevenAgents verfügbar. Gedacht sind sie für unübersichtliche Situationen: Meetings, in denen alle durcheinanderreden, oder Telefonate mit Hintergrundlärm.

Vorgestellt wurden die Modelle im Umfeld des Elevenlabs-Summits am 11. November 2026 in New York. Dort kündigte das Unternehmen laut eigener Pressemitteilung insgesamt 13 neue Produkte und Upgrades an. Dazu gehören ein Gedächtnis für Sprachagenten, eine Automatisierungsebene, eine Meeting-App und mehrere Partnerschaften.

Was Scribe v3 besser machen soll

Nach Angaben von Elevenlabs macht Scribe v3 über 102 Sprachen hinweg 27 Prozent weniger Wortfehler als der Vorgänger Scribe v2. Bei Deutsch soll der Fortschritt besonders groß sein. Auch die Diarisierung soll besser geworden sein, also die Zuordnung, welcher Satz von welcher Person stammt. Das gilt laut Hersteller vor allem für größere Gesprächsrunden. Mit Scribe v3 Live gibt es die Sprecherzuordnung jetzt zum ersten Mal auch in Echtzeit.

Entwickler bekommen außerdem mehr Kontrolle über das Ergebnis:

• Fachvokabular: Man kann den Modellen vorab Tausende spezielle Begriffe mitgeben, etwa Markennamen oder Medikamente, damit sie diese nicht falsch verstehen.
• Formatierung in Alltagssprache: Wie Zahlen oder Datumsangaben im Transkript aussehen sollen, lässt sich in normalen Sätzen festlegen, ohne Regeln programmieren zu müssen.
• Mehrsprachiger Modus: Wechselt jemand mitten im Satz die Sprache, soll das Modell mitkommen. Das Fachportal CIOL nennt Indien als Beispiel, wo Kunden im Gespräch oft zwischen Englisch und Regionalsprachen hin- und herspringen.
• Datenschutz für Unternehmen: Es gibt isolierte Server in der EU und einen Zero-Retention-Modus, bei dem die Daten direkt nach der Anfrage gelöscht werden sollen.

Für das Gesundheitswesen gibt es zusätzlich Scribe v3 Medical, eine Variante, die auf medizinische Fachbegriffe trainiert ist. Laut Elevenlabs-Chef Mati Staniszewski ist ein ähnliches Modell für Finanzdienstleister in Arbeit.

Das Problem mit den abgewürgten Anrufern

Scribe v3 Live soll ein typisches Ärgernis bei Telefon-Sprachagenten lösen. Bisherige Systeme nutzen oft einen festen Pausen-Timer: Ist es eine bestimmte Zeit still, gilt die Äußerung als beendet und der Bot antwortet. Wer kurz überlegt oder langsam eine Kundennummer vorliest, wird dann mitten im Satz unterbrochen. Scribe v3 Live hört deshalb nicht nur auf das Audiosignal, sondern wertet auch aus, was gerade gesagt wird. So soll es erkennen, ob jemand wirklich fertig ist. Ein angefangenes „Meine Nummer ist 4, 7, 1 …“ wird dann nicht als abgeschlossene Antwort behandelt.

Unabhängig belegt ist diese Fähigkeit bisher nicht. Dazu fehlen Messungen, wie der nächste Abschnitt zeigt.

Unabhängige Tests: Sehr genau, aber langsam und teuer

Die Benchmark-Plattform Artificial Analysis hat Scribe v3 laut The Decoder bereits getestet. Bei der reinen Transkriptionsgenauigkeit gehört das Modell demnach zur absoluten Spitze. Es liegt knapp vor den Modellen von Microsoft, Mistral, xAI, Google und OpenAI. Besser ist nur ein Vorschau-Modell von Alibaba.

Die Kehrseite: Bei Tempo und Preis liegt Elevenlabs nur im Mittelfeld. Die Modelle von Microsoft und xAI machen minimal mehr Fehler, arbeiten aber ein Vielfaches schneller und kosten nur etwa die Hälfte. Wer große Mengen Audio schnell und günstig abschreiben lassen will, ist dort also besser aufgehoben.

Der Benchmark misst allerdings nur Wortfehler bei aufgezeichneten Dateien. Die Sprecherzuordnung, seltene Sprachen und das Verhalten von Scribe v3 Live in Echtzeit fließen nicht ein. CIOL weist ebenfalls darauf hin, dass die 27-Prozent-Angabe aus internen Tests von Elevenlabs stammt. Wie gut die Modelle im Alltag sind, hängt von Tonqualität, Sprachkombinationen, Fachvokabular und Einsatzbedingungen ab.

Was Elevenlabs sonst noch angekündigt hat

Die neuen Modelle sind Teil einer größeren Offensive im Firmenkundengeschäft. Laut Pressemitteilung hat Elevenlabs im vergangenen Monat drei neue Sprachmodelle veröffentlicht: Scribe v3, das Text-to-Speech-Modell Eleven v4, das Tonfall, Tempo und Kontext eines Skripts berücksichtigen soll, und Eleven Realtime, eine neue Klasse von Speech-to-Speech-Modellen für schnelle Sprachagenten.

Auf dem Summit kamen weitere Neuerungen dazu:

• Interaction Engine (Vorschau): Das System steuert, welches Modell an welcher Stelle eines Gesprächs zum Einsatz kommt. Laut Unite.ai regelt es auch, wer wann spricht und wie mit Unterbrechungen umgegangen wird. Einfache Aufgaben wie die Vorsortierung von Anliegen soll ein günstiges Modell erledigen, für schwierige Fälle wird ein Frontier-Modell geholt, also eines der leistungsstärksten und teuersten Sprachmodelle. Das soll Tokens sparen, die Recheneinheiten, nach denen KI-Anbieter abrechnen. CIOL merkt an, dass Elevenlabs keine unabhängigen Zahlen zu den möglichen Einsparungen vorgelegt hat.
• Memory: Sprachagenten erkennen angemeldete Stammkunden und merken sich Vorlieben und Einschränkungen. Laut Unite.ai muss zum Beispiel jemand, der lieber Spanisch spricht und nur nach 17 Uhr Zeit hat, das beim nächsten Anruf nicht noch einmal sagen. Das CRM-System des Unternehmens bleibt dabei die führende Kundendatenbank.
• Routines: Eine Automatisierungsebene für mehrstufige Aufgaben vor, während und nach einem Gespräch. Beispiele sind die Vorprüfung von Kreditanfragen mit Rückruf innerhalb weniger Minuten, Terminerinnerungen für Patienten oder das Weitergeben abgesagter Termine an Wartende.
• Architect: Ein eingebauter Assistent, mit dem Teams Agenten per Sprache oder Text bauen und verbessern. Jede Änderung wird vorher in einer Simulation getestet und erst nach Freigabe übernommen.
• ElevenAI: Eine Arbeits-App, die Gespräche und Präsenz-Meetings in Notizen und To-dos umwandelt, mit eingebauten Hinweis- und Einwilligungsfunktionen. Der kostenlose Early Access ist gestartet. Diktate und Meetingnotizen laufen über Scribe v3.
• Modellanpassung: Ausgewählte Firmenkunden sollen in den kommenden Monaten zusammen mit dem Forschungsteam Sprachmodelle und ausgewählte Open-Source-Sprachmodelle anpassen können. Dafür nutzen sie Fine-Tuning, also das Nachtrainieren mit eigenen Daten, und Reinforcement Learning, Lernen durch Belohnung für gute Ergebnisse. Als Ziel lassen sich Kennzahlen wie die Kundenzufriedenheit (CSAT) festlegen. Preise und allgemeine Verfügbarkeit gibt es laut CIOL noch nicht.

„Wir glauben an eine Zukunft, in der jeder von Ihnen seinen eigenen RL-Stack hat“, sagte Staniszewski auf der Bühne.

Partner, Nvidia und Polen

Elevenlabs hat ein Partnerprogramm mit mehr als 550 Partnern in 44 Ländern gestartet, darunter laut Unite.ai Google Cloud, IBM, Deloitte, DXC und Genesys. Dazu kommt eine Allianz mit McKinsey und dessen KI-Sparte QuantumBlack. Auf einem neuen Marktplatz bieten über 20 Partner fertige Branchenagenten an, etwa für Gesundheit, Finanzen, Versicherungen, Bildung und Handel. Kaufen kann man dort über bestehende Elevenlabs-Verträge erst ab 2027.

Mit Nvidia hat Elevenlabs die Zusammenarbeit ausgebaut. Nvidias offenes Modell Nemotron 3.5 Super VL ist jetzt in ElevenAgents verfügbar. Zusätzlich will Elevenlabs 15 Megawatt Rechenleistung auf Basis von Nvidias Vera-Rubin-Systemen aufbauen, zu den bestehenden Blackwell-Ultra-Systemen. Gemeinsam entsteht außerdem ein Sprachagent für das zentrale Terminsystem Centralna e-Rejestracja der polnischen E-Health-Plattform. Er läuft lokal auf staatlicher Infrastruktur und ruft Patienten an, die nur einen Festnetzanschluss haben, um sie an Termine zu erinnern und bei Verschiebungen zu helfen. Das System verwaltet laut Elevenlabs 40 Millionen Termine im Jahr, 10 bis 20 Prozent davon werden nicht wahrgenommen. Mit Nvidia Confidential Computing sollen Bürgerdaten und Audio während der Verarbeitung geschützt bleiben. Laut The Decoder arbeitet Elevenlabs zudem an einer lokalen Sprachsteuerung für Roboter.

Einordnung

Bei der Genauigkeit gehört Scribe v3 nachweislich zur Spitze. Das ist dort wichtig, wo Fehler teuer werden: Arztgespräche, Kontonummern, Verträge. Der unabhängige Test zeigt aber auch, dass man dafür bezahlt, und zwar mit Geld und Geschwindigkeit. Für Massenverarbeitung sind Microsoft und xAI die nüchternere Wahl. Das eigentlich Neue, die kontextbasierte Erkennung des Redeendes bei Scribe v3 Live, ist bisher nur eine Herstellerangabe. Auch die bessere Sprecherzuordnung wurde noch nicht unabhängig geprüft.

Strategisch will Elevenlabs mehr sein als ein Anbieter von Stimmen. Das Unternehmen sieht sich als „Interaktionsschicht“ zwischen Menschen und KI und tritt damit gegen Callcenter-Software, Meeting-Assistenten und die großen KI-Labore an. Viele der Ankündigungen sind allerdings Vorschauen oder im Early Access. Memory und das Mitschneiden von Meetings werfen zudem Fragen auf: Was speichern die Agenten, wie lange, und wer darf darauf zugreifen? Ob die Pläne aufgehen, zeigt sich erst, wenn die Produkte breit im Einsatz sind.