„Mhm“, „Moment mal“: Warum Sprach-KI im Gespräch schlechter ist als ihr Benchmark

Darum geht es

Innerhalb weniger Tage haben gleich mehrere Anbieter „Live-Gespräche“ mit KI vorgestellt: ElevenLabs bringt Eleven Realtime, ServiceNow das offene Apriel Voice 27B, das japanische Start-up Shizuku AI das Modell Shizuku-Duplex. Meta schaltet Video-Anrufe mit seinem Agenten Muse frei, und der Code-Editor Cursor bekommt einen Sprachchat auf Basis von Grok Voice. Alle versprechen dasselbe: Man kann der KI ins Wort fallen, und sie sagt „mhm“, während man spricht.

Dahinter stecken aber sehr unterschiedliche Techniken. Die Zahl, mit der geworben wird, nämlich bis zu 98,9 Prozent bei der „Gesprächsdynamik“, misst weniger, als sie verspricht. Wir erklären, wie die Systeme gebaut sind, was der Benchmark prüft und was unabhängige Studien dagegenhalten.

Drei Bauweisen hinter einem Etikett

1. Die Kette (Kaskade). Eine Spracherkennung schreibt mit, ein Sprachmodell formuliert die Antwort, eine Sprachsynthese liest sie vor. Wann der Mensch fertig ist, entscheidet eine Sprachaktivitätserkennung (VAD). Das ist im Kern eine Stoppuhr, die nach einer bestimmten Stille auslöst. Laut dem Kyutai-Ableger Gradium sind 500 Millisekunden ein typischer Wert. Menschen lassen zwischen zwei Redebeiträgen aber im Schnitt nur rund 208 Millisekunden Pause. Neuere Systeme ergänzen deshalb eine semantische Pausenerkennung, die am Inhalt erkennt, ob ein Satz noch weitergeht. Kyutais Sprachdienst Unmute arbeitet so. Überraschend: Auch Eleven Realtime gehört in diese Gruppe. Im Blog von ElevenLabs heißt es, das Modell beruhe auf einer kaskadierten Architektur aus Spracherkennung, Turn-Taking, Sprachmodell und Sprachausgabe, die „Ende-zu-Ende abgestimmt“ sei. Nach außen ist es ein einziges Modell, innen bleibt es eine Kette.

2. Halbduplex mit direkter Audioverarbeitung. Das Modell hört Audio direkt, ohne Umweg über Text. Wer wann spricht, regelt aber weiterhin ein Schalter von außen. Ein Beispiel ist Qwen Audio 3.0 Realtime von Alibaba. Hersteller-Seiten nennen es „Full-Duplex“, die Dokumentation zeigt aber, dass Sprecherwechsel per server_vad oder smart_turn erkannt werden. Füllgeräusche wie „hmm“ lösen dabei bewusst keinen Wechsel aus. Voll-Duplex ist hier also nur die Leitung, nicht das Modell. Apriel Voice 27B geht noch einen Schritt weniger weit: Es versteht Sprache direkt, gibt aber nur Text und Werkzeugaufrufe aus. Laut Modellkarte sind Sprachausgabe und Sprecherwechsel „Komponenten der Anwendung“.

3. Echtes Full-Duplex. Vorbild ist Moshi von Kyutai aus dem Jahr 2024. Das Modell verarbeitet zwei Tonspuren gleichzeitig, die des Nutzers und die eigene. Dazu kommt eine Textspur, der sogenannte innere Monolog: Bevor es spricht, schreibt das Modell mit, was es gleich sagen will. Den Takt gibt der Audio-Codec Mimi vor. Er zerlegt Ton in 12,5 Häppchen pro Sekunde, also eines alle 80 Millisekunden. In jedem Takt entscheidet das Modell neu, ob es spricht, schweigt oder „mhm“ einwirft. Sprecherwechsel gibt es dabei nicht als eigenes Konzept. Die theoretische Latenz liegt bei 160, in der Praxis bei etwa 200 Millisekunden. Laut dem Moshi-Paper machen Überlappungen 10 bis 20 Prozent der Sprechzeit echter Gespräche aus. Genau diese gehen in Ketten verloren.

Shizuku-Duplex arbeitet nach demselben Prinzip mit 80-Millisekunden-Takten und innerem Monolog. Schwierige Fragen wie Websuchen gibt es per DELEGATE-Befehl an ein Hintergrundmodell ab und redet derweil weiter. OpenAIs GPT-Live macht es ähnlich: Laut VentureBeat entscheidet es „mehrmals pro Sekunde“ und reicht schwere Aufgaben an GPT-5.5 weiter. Wie Metas Muse intern gebaut ist, hat Meta nicht offengelegt. Bekannt sind nur gut 870 Millisekunden Verzögerung bis zur Antwort. Auch zur Architektur von Grok Voice, das Cursor nutzt, nennen die Quellen keine Details.

Was der Industriestandard misst

Die wichtigste Rangliste führt Artificial Analysis. Die Wertung „Conversational Dynamics“ besteht aus vier Teilen des Full-Duplex-Bench: Pausen aushalten und Sprecherwechsel (Version 1) sowie Unterbrechungen und Rückmeldesignale (Version 1.5). Jeder Wert ist der Anteil korrekt behandelter Testfälle. Das Original-Paper von der National Taiwan University ist ausdrücklich nur auf Englisch, die Daten stammen aus Telefonkorpora und aus synthetischen, mit GPT-4o erzeugten Dialogen. Version 1.5 umfasst 200 Unterbrechungen und 99 Rückmeldesignale. Die Autoren schreiben selbst, ihre Kennzahlen seien „nicht an menschliche Vorlieben gekoppelt“.

Auszug, Stand 9. November 2026, 37 Einträge.

Drei Dinge fallen auf. Erstens schneiden ausgerechnet die offenen „echten“ Full-Duplex-Modelle am schlechtesten ab, während ein System mit externer Turn-Erkennung auf Platz 2 steht. Zweitens erreicht der Spitzenreiter StepAudio 3 Realtime 98,9 Prozent, braucht laut derselben Seite aber 8,83 Sekunden bis zum ersten Ton. Die Prozentzahl sagt also nichts über die Geschwindigkeit. Drittens schlägt das günstige Eleven Mini das große Max um 1,7 Punkte.

Unsere Einschätzung: Ein Teiltest mit 99 Fällen hat bei 95 Prozent Trefferquote eine statistische Unsicherheit von gut ±4 Punkten. Selbst gemittelt über vier Teiltests bleiben grob ±2 Punkte. Das gilt unter der Annahme, dass Artificial Analysis die öffentlichen Testsätze nutzt, denn die Stichprobengrößen nennt die Seite nicht. Abstände zwischen 95 und 99 Prozent sind damit kaum aussagekräftig. Artificial Analysis selbst hat die Gesprächsdynamik im August 2026 aus seinem Gesamtindex genommen und durch eine Erfolgsquote bei Aufgaben ersetzt.

Was unabhängige Studien finden

Andere Benchmarks prüfen schwierigere Situationen und kommen zu deutlich ernüchternderen Ergebnissen:

Besonders aufschlussreich ist EchoChain. Der häufigste Fehler dort ist die „Unterbrechungs-Amnesie“: Das System hört den Einwurf und vergisst ihn trotzdem. An zweiter Stelle steht „kontextuelle Trägheit“, bei der das Modell mit dem alten Stand weitermacht. Wurde derselbe Inhalt erst nach einer vollständigen Antwort nachgereicht, sank die Fehlerzahl von 92 auf 55, also um 40,2 Prozent. Das Problem ist also die Unterbrechung selbst, nicht die Aufgabe.

FLEXI zeigt zudem, dass bei allen Modellen der Zeitpunkt der „mhm“ fast nichts mit dem menschlicher Hörer zu tun hat. Die Abweichung, gemessen als Jensen-Shannon-Divergenz, liegt bei 0,947 bis 0,986, wobei 1 die größte mögliche Abweichung ist. Instruct-FD beschreibt den typischen Fehler als „richtiger Inhalt zur falschen Zeit“: Das „mhm“ kommt erst, wenn der Mensch fertig ist. Allerdings tun sich auch Menschen schwer. In derselben Studie trafen sie bei Rückmeldesignalen nur 63,7 Prozent der Referenzentscheidungen. Laut TurnBench beginnen Menschen bei einem reibungslosen Wechsel im Median 151 Millisekunden bevor der andere fertig ist. Das schafft bislang kein System ohne viele Fehlauslöser.

Eine Einschränkung gilt für alle diese Studien: Sie testeten meist ältere Modelle wie Gemini 2.5 oder GPT-realtime von 2025. Eleven Realtime, GPT-Live oder Shizuku-Duplex sind darin noch nicht enthalten.

Wie wenig ein gutes „mhm“ über den Inhalt verrät, zeigt Shizuku-Duplex selbst. In seinem eigenen japanischen Test, den ein Sprachmodell als Schiedsrichter bewertete, schlägt es GPT-Live beim Weiterreden nach einem „mhm“ (95 zu 88 %) und beim Verstummen nach Unterbrechungen (89 zu 82 %). Bei der Antwortqualität verliert es aber klar: 2,6 zu 4,0 von 5 Punkten, und bei mehrstufigen Fragen 79 zu 95 Prozent richtige Antworten. Die Testdaten sind nicht öffentlich.

Kann irgendein Full-Duplex-Modell Deutsch?

Nachweislich, also mit unabhängigem Test: Wir haben keins gefunden.

• Moshi wurde mit 2,1 Billionen Token überwiegend englischer Texte trainiert. PersonaPlex von Nvidia baut auf Moshi auf und ist ebenfalls nur auf Englisch verfügbar.
• J-Moshi zeigt, wie aufwendig eine neue Sprache ist: rund 60.000 Stunden japanische Gespräche für das Vortraining, dazu ein neuer Tokenizer (der Baustein, der Text in Rechenstücke zerlegt). Echte Stereo-Gespräche gab es nur 344 Stunden. Shizuku-Duplex kann nur Japanisch, weitere Sprachen sind geplant.
• GPT-Live läuft in deutschen ChatGPT-Konten. OpenAI räumt laut VentureBeat aber ein, dass das Modell in manchen Sprachen mit Akzent oder holprig spricht. Einen deutschen Praxistest der Unterbrechungen haben wir nicht gefunden.
• Qwen Audio 3.0 Realtime listet Deutsch offiziell, entscheidet über Sprecherwechsel aber per Turn-Erkennung (siehe oben). Eleven Realtime nennt über 90 Sprachen, ist aber eine Kette. Das Berliner Start-up Deepslate zielt mit Opal auf europäische Sprachen und deutsche Dialekte. Opal erreicht 85,7 Prozent in der Wertung, ein Full-Duplex-Modell nennt die Firma es nicht.

Alle genannten Benchmarks testen nach unserem Wissensstand nur Englisch. Für das Original-Paper des Full-Duplex-Bench, für IHBench und für Instruct-FD ist das ausdrücklich belegt. Ein eigener Test war uns nicht möglich.

Einordnung

„Man kann ihr ins Wort fallen“ ist inzwischen eine Grundausstattung und kein Qualitätsmerkmal mehr. Ob dahinter eine schnelle Pausen-Stoppuhr oder ein Modell steckt, das wirklich gleichzeitig hört und spricht, erfährt man selten aus dem Marketing. Die Praxis zeigt zudem: Die Kette mit gut abgestimmter Turn-Erkennung schneidet im Standardtest mindestens so gut ab wie echtes Full-Duplex.

Unsere Einschätzung: Die 95 bis 99 Prozent bei Artificial Analysis belegen vor allem, dass die Spitzenmodelle die einfachen Fälle beherrschen. Sie warten bei Pausen, reden nach einem „mhm“ weiter und verstummen, wenn man sie unterbricht. Die schwierigen Fälle, nämlich ob ein Modell nach der Unterbrechung noch weiß, was gerade gilt, und ob sein „mhm“ zur richtigen Zeit kommt, lösen auch die besten Systeme in unabhängigen Studien höchstens in jedem zweiten bis dritten Fall. Wer einen Sprachagenten auf Deutsch einsetzen will, muss ihn derzeit selbst testen, denn belastbare deutsche Messwerte gibt es nicht.