Xiaomi CocktailASR-1: Open-Source-KI schreibt im Stimmengewirr nur eine Person mit

Worum es geht

Xiaomi, vor allem als Smartphone-Hersteller bekannt, hat ein neues offenes KI-Modell für Spracherkennung veröffentlicht: Xiaomi-CocktailASR-1. Es soll eines der hartnäckigsten Probleme beim automatischen Abschreiben von Audio lösen: Mehrere Menschen reden gleichzeitig, und die Software soll nur die Worte einer bestimmten Person aufschreiben. Das Modell ist auf GitHub und Hugging Face verfügbar. Den Code hat Xiaomi laut AIBase unter der freizügigen Apache-2.0-Lizenz veröffentlicht, die auch kommerzielle Nutzung erlaubt. Laut Gizmochina erschien das Modell bereits im September, das russische Portal 3DNews berichtet jetzt erneut darüber.

ASR steht für „Automatic Speech Recognition“, also automatische Spracherkennung: Die Software wandelt gesprochene Sprache in Text um. Der Namensteil „Cocktail“ verweist auf den sogenannten Cocktailparty-Effekt. So nennt man die Fähigkeit des Menschen, auf einer lauten Party gezielt einem einzigen Gesprächspartner zuzuhören und alle anderen Stimmen auszublenden.

Das Problem: Wenn Stimmen sich überlagern

Klassische Spracherkennungsmodelle funktionieren gut, solange nur eine Person spricht. Überlagern sich mehrere Stimmen, wird es laut Gizmochina und 3DNews schnell chaotisch. Der Text wird verstümmelt, Sätze verschiedener Sprecher verschmelzen miteinander, und Aussagen landen bei der falschen Person. AIBase nennt das eine seit Langem ungelöste Herausforderung der Branche.

CocktailASR-1 dreht die Aufgabe um. Statt „alles erfassen, was zu hören ist“ lautet das Prinzip „eine Stimme herauspicken“. Gizmochina sieht darin das Gegenstück zu Xiaomis Sprachsynthese-Modell OmniVoice: Das erzeugt Sprache, CocktailASR-1 isoliert und transkribiert sie.

So funktioniert das Modell

Du gibst dem Modell zunächst eine kurze Hörprobe der Person, die dich interessiert. Daraus bildet es einen Stimmabdruck (Voiceprint-Embedding), also eine Art digitalen Fingerabdruck der Stimme. Mit diesem Abdruck durchsucht es dann eine Aufnahme mit mehreren Sprechern und schreibt nur die Worte dieser einen Person auf. Andere Stimmen, Nachhall und Hintergrundgeräusche filtert es laut AIBase heraus.

Technisch ist CocktailASR-1 ein End-to-End-Modell auf Basis eines großen Sprachmodells. Es erledigt also alles in einem Durchgang, ohne getrennte Einzelschritte wie zuerst Stimmen trennen und dann transkribieren. Drei Bausteine sind hintereinandergeschaltet:

• ein D2V2-Audio-Encoder, der das Tonsignal in eine für die KI verständliche Form übersetzt,
• ein Adapter, der wie ein Dolmetscher zwischen Audio-Teil und Sprachmodell vermittelt,
• ein Sprachmodell-Decoder, der den eigentlichen Text erzeugt.

Alle Gewichte stecken in einem einzigen Checkpoint, also in einer Modelldatei. Die Eingabe ist ungewöhnlich einfach gelöst: Referenzaufnahme und Zielaufnahme (Mono) werden hintereinandergehängt, dazwischen liegt eine Sekunde Stille als Trennzeichen. Wie viele Parameter das Modell hat, nennen die Quellen nicht.

Benchmarks laut Xiaomi

Xiaomi spricht von Spitzenergebnissen auf mehreren Mehrsprecher-Tests. Gemessen wird die Wortfehlerrate (WER, Word Error Rate), also der Anteil falsch erkannter, fehlender oder zusätzlicher Wörter. Je niedriger der Wert, desto besser. Werte über 100 Prozent sind möglich, wenn ein Modell sehr viele falsche Wörter hinzufügt.

Auch bei echten Besprechungsaufnahmen, etwa AMI SDM (Meeting mit einem einzelnen Fernfeld-Mikrofon) und AliMeeting Far, soll das Modell laut AIBase bestehende Lösungen deutlich übertreffen. Genaue Zahlen dafür nennen die Quellen nicht. Bei nur einem Sprecher erreicht CocktailASR-1 laut Gizmochina etwa das Niveau gewöhnlicher Spracherkennung. AIBase spricht sogar von Bestwerten auf LibriSpeech, WenetSpeech und CommonVoice-zh. Die beiden letztgenannten sind chinesische Datensätze. Alle Zahlen stammen von Xiaomi selbst, unabhängige Tests liegen noch nicht vor.

Zwei praktische Extras

Ablehnen statt raten: Ist die Stimme aus der Referenzprobe in der Aufnahme gar nicht zu hören, gibt das Modell einfach einen leeren Text aus. Es schreibt dann nicht ersatzweise die Worte einer anderen Person auf. AIBase nennt als Anwendung smarte Lautsprecher und Sprachassistenten im Auto, die so nicht von fremden Stimmen versehentlich ausgelöst werden.

Gedankenkette: Auf Wunsch zeigt das Modell in einem Chain-of-Thought-Modus über spezielle Markierungen an, wie es den Sprecher identifiziert hat, bevor es das Endergebnis ausgibt. Auf die Genauigkeit hat das laut AIBase kaum Einfluss. Es hilft aber dabei, Fehler nachzuvollziehen.

Was du zum Ausprobieren brauchst

Die Software-Voraussetzungen sind laut AIBase schlank: Python mit den Bibliotheken torch, torchaudio, transformers und soundfile genügt. Das Modell wird direkt von Hugging Face geladen. Konkrete Angaben zu Modellgröße und Grafikspeicher machen die Quellen nicht. Für Spracherkennungsmodelle mit eingebautem Sprachmodell ist eine Nvidia-Grafikkarte mit mehreren Gigabyte Grafikspeicher (VRAM) sinnvoll. Ein Betrieb auf der CPU oder in Google Colab ist bei solchen PyTorch-Modellen grundsätzlich denkbar, aber langsamer. Ob es eine Version für Ollama oder ein GGUF-Format gibt, ist nicht bekannt. Du brauchst außerdem eine saubere Referenzaufnahme der Zielperson und die zu transkribierende Aufnahme als Mono-Audio.

Einordnung

CocktailASR-1 setzt an einer echten Schwäche heutiger Transkriptions-Tools an. Wer schon einmal ein Meeting oder eine Podiumsdiskussion automatisch abschreiben ließ, kennt das Durcheinander bei Zwischenrufen. Der Ansatz, gezielt eine Person zu verfolgen, ist besonders interessant für Sprachassistenten, Hörhilfen und Meeting-Protokolle. Bei fast allen Modellen werden die Gewichte offen veröffentlicht, und mit der Apache-2.0-Lizenz für den Code und den schlanken Abhängigkeiten ist die Einstiegshürde für Entwickler niedrig. Das Modell reiht sich in Xiaomis wachsende Open-Source-Reihe ein, nach dem Sprachmodell MiMo-V2-Flash und Xiaomi Robotics-0.

Einschränkungen gibt es aber. Die beeindruckenden Benchmark-Abstände beruhen auf Herstellerangaben und vor allem auf simulierten Mischungen. Wie robust das Modell in echten, chaotischen Alltagsaufnahmen ist, muss sich erst zeigen. Offen ist auch, welche Sprachen außer Englisch und Chinesisch gut funktionieren. Deutsch taucht in den genannten Tests nicht auf. Und die Fähigkeit, eine einzelne Stimme gezielt aus einer Menge herauszufiltern, wirft Datenschutzfragen auf, etwa beim heimlichen Mitschreiben einzelner Personen in Gruppengesprächen.