ElevenLabs Eleven Realtime: Sprach-KI hört und antwortet in einem Modell

Worum es geht

Das Sprach-KI-Unternehmen ElevenLabs, bekannt für sehr natürlich klingende künstliche Stimmen, hat eine neue Modellfamilie für Sprachagenten vorgestellt: Eleven Realtime. Sprachagenten sind KI-Systeme, mit denen man wie mit einem Menschen am Telefon oder im Browser spricht, etwa im Kundenservice. Die Familie besteht aus zwei Modellen: Eleven Realtime v1 Mini für schnelle, flüssige Gespräche und Eleven Realtime v1 Max für komplexere Aufgaben.

Beide Modelle sind sogenannte Speech-to-Speech-Modelle (STS). Sie nehmen Sprache auf und antworten direkt mit Sprache, ohne dass mehrere getrennte Systeme dazwischengeschaltet werden müssen. Laut dem französischen Fachportal Journal du Net wurde die Familie am 20. Oktober 2026 angekündigt und war ab sofort verfügbar. Koreanische Medien berichteten Anfang November über den dortigen Marktstart. Nutzen kann man die Modelle über die Agentenplattform ElevenAgents und über eine eigene Programmierschnittstelle, die Realtime API. Die Gewichte sind nicht frei verfügbar, es handelt sich um einen reinen Cloud-Dienst.

Was sich technisch ändert: alles in einem Modell

Bislang war der Bau eines natürlich klingenden Sprachagenten Bastelarbeit. Man brauchte mehrere Bausteine und musste sie aufeinander abstimmen:

• Spracherkennung, die Gesprochenes in Text umwandelt,
• Sprachaktivitätserkennung, die merkt, wann jemand spricht und wann nicht,
• Turn-Taking, also die Steuerung, wer im Gespräch gerade dran ist,
• ein großes Sprachmodell (LLM), das die eigentliche Antwort formuliert,
• Sprachsynthese, die die Textantwort wieder vorliest.

Jede Station kostet Zeit, und an jeder Übergabe kann etwas schiefgehen. Das kennt man von holprigen Telefonbots, die zu spät antworten oder einem ins Wort fallen. Auch ElevenLabs selbst setzte für Sprach-KI bisher mehrere Modelle hintereinander ein, wie Journal du Net schreibt. Eleven Realtime vereint diese Schritte nach Herstellerangaben in einem System. Wer einen Agenten baut, wählt nur noch das Modell aus und muss nichts mehr einzeln konfigurieren.

Beide Varianten beherrschen laut ElevenLabs natürliches Turn-Taking. Sie reagieren, wenn der Mensch dazwischenredet, und können Werkzeuge aufrufen (Tool Calling), also etwa in einer Datenbank nachsehen oder eine Buchung auslösen. Man kann jederzeit zwischen Mini und Max wechseln, indem man in der Modellauswahl umschaltet.

Mini oder Max: wofür welches Modell

v1 Mini ist auf möglichst geringe Verzögerung ausgelegt. ElevenLabs empfiehlt es für KI-Assistenten, Lern-Tutoren und interaktive Figuren in Spielen und Unterhaltung. Laut Journal du Net genügt Mini nach Aussage des Herstellers für die meisten Anwendungsfälle.

v1 Max ist für Aufgaben gedacht, bei denen Logik und Genauigkeit wichtiger sind. Dazu gehören Kundenservice nach festen Abläufen, Lead-Qualifizierung (das Vorsortieren potenzieller Kunden danach, ob sich ein Verkaufsgespräch lohnt) und mehrstufige Aufgaben, bei denen der Agent nacheinander mehrere Werkzeuge aufruft.

Die Zahlen: schnell und genau zugleich

Die Messwerte stammen vom unabhängigen Testlabor Artificial Analysis (Stand Oktober 2026). Die koreanischen Pressemitteilungen nennen nur einige Werte. Journal du Net liefert deutlich mehr:

Big Bench Audio prüft, ob ein Modell gesprochene Fragen richtig beantwortet, die logisches Denken erfordern. Der Full-Duplex-Bench misst, wie gut ein Modell mit Pausen, Sprecherwechseln, Unterbrechungen und kurzen Rückmeldungen wie „mhm“ umgeht. „Full Duplex“ heißt, dass beide Seiten gleichzeitig sprechen und zuhören können, wie bei einem echten Telefonat. In der Speech Agent Arena vergleichen Menschen zwei Modelle, ohne zu wissen, welches welches ist.

Bei der Antwortzeit von Max weichen die Angaben voneinander ab. Die koreanischen Mitteilungen nennen 0,57 Sekunden vom Ende der Frage bis zum Beginn der Antwort, Journal du Net nennt 470 Millisekunden. Woher der Unterschied kommt, ist unklar. Möglich sind unterschiedliche Messungen oder Stände der Rangliste. Beide Quellen stimmen aber überein: Auf der Rangliste von Artificial Analysis gibt es derzeit kein Modell, das zugleich schneller und genauer ist als v1 Max. Mini klingt im Gespräch etwas natürlicher, Max ist bei Logik und Werkzeugnutzung klar überlegen.

Verfügbarkeit, Integration und Preise

In ElevenAgents: Man legt einen neuen Agenten an oder öffnet einen bestehenden und wählt in der Modellauswahl „Eleven Realtime“. Der Agent lässt sich dann wie gewohnt über Telefon, Website, Kontaktcenter-Software und laut Journal du Net auch über WhatsApp einsetzen. Workflows, Wissensdatenbanken, Guardrails (Schutzregeln, die festlegen, was der Agent sagen darf und was nicht), Tests und Monitoring funktionieren weiter. Bestehende Agenten bleiben unverändert, solange man nicht umstellt.

Über die Realtime API: Die Schnittstelle ist kompatibel zu OpenAIs Realtime API. Sie läuft über WebSocket, eine dauerhaft offene Verbindung, über die Audio in beide Richtungen fließt. Wer schon mit OpenAI arbeitet, ändert nur Endpunkt und Modellnamen, das OpenAI-SDK funktioniert laut Journal du Net unverändert. Eine Einschränkung gibt es: WebRTC, ein Standard für Echtzeit-Audio direkt im Browser, wird zum Start nicht unterstützt.

Preise: In ElevenAgents gilt die übliche Abrechnung pro Minute. Die Modellauswahl zeigt die geschätzten Kosten pro Minute an. Über die API zahlt man pro Minute verbundenem Audio plus Tokens. Der Token-Preis soll unabhängig vom Tarif gleich sein, war laut Journal du Net zum Zeitpunkt des Berichts aber noch nicht veröffentlicht.

Hintergrund: Wohin ElevenLabs will

ElevenLabs hat polnische Gründer und arbeitet laut Journal du Net bereits mit europäischen Konzernen wie Deutsche Telekom, Revolut und Klarna. Große Organisationen machen inzwischen 55 Prozent des Umsatzes aus, zwölf Monate zuvor waren es 40 Prozent. Für Korea betont der Hersteller die Unterstützung für Koreanisch und Japanisch. Er verweist auf die alternde Gesellschaft, seit Dezember 2024 sind über 20 Prozent der Bevölkerung 65 oder älter, und auf das koreanische KI-Grundgesetz, das seit dem 22. Januar 2026 gilt. Das Portal BigGo Finance sieht in der OpenAI-kompatiblen Schnittstelle eine gezielte Strategie: ElevenLabs will Entwickler gewinnen, die bisher bei OpenAI sind oder eigene Systeme betreiben.

Einordnung

Sprach-Ende-zu-Ende-Modelle sind kein neues Prinzip. OpenAI, Google und xAI bieten vergleichbare Echtzeit-Sprachmodelle an. Neu ist, dass ElevenLabs, der Spezialist für Stimmen, jetzt auch die „Denk“-Ebene selbst liefert und laut unabhängigem Benchmark vorne mitspielt. Die Mischung aus großer Stimmenauswahl, über 90 Sprachen und einem einfachen Umstieg von OpenAI macht das Angebot vor allem für Firmen mit Kundenservice interessant, auch im deutschsprachigen Raum.

Einige Punkte sind kritisch oder offen. Die Benchmarkwerte zur Antwortzeit weichen zwischen den Quellen voneinander ab. Mini ist bei Logik (75,9 %) und Werkzeugnutzung (60,3 %) deutlich schwächer und eignet sich damit nur eingeschränkt für Aufgaben, bei denen Fehler teuer sind. Der Token-Preis fehlt noch, die tatsächlichen Kosten lassen sich also nicht vergleichen. Und wie gut die Modelle im Alltag mit Dialekten, Störgeräuschen oder schwierigen Kunden zurechtkommen, zeigen Labortests nur begrenzt. Für Privatleute ist das Angebot vor allem über die ElevenAgents-Plattform zum Ausprobieren interessant. Lokal ausführen lassen sich die Modelle nicht.