IBM Granite Speech 5.0 2B: Offenes Modell für Transkription und Übersetzung

Worum es geht

IBM hat Granite Speech 5.0 2B veröffentlicht, ein offenes Modell, das gesprochene Sprache in Text umwandelt (Transkription) und Sprache übersetzt. Es hat 2 Milliarden Parameter (grob gesagt die beim Training gelernten Stellschrauben), ist dicht aufgebaut, steht unter der Apache-2.0-Lizenz und unterstützt 6 Sprachen. Gleichzeitig aktualisierte IBM zwei bestehende Modelle: das für Geräte am Rand des Netzes gedachte Turbo CTC und das auf Sprechererkennung ausgelegte Granite Speech 4.1 2B Plus. Die Angaben stammen größtenteils aus IBMs Modellkarte.

Aufbau und Training

Das Modell besteht laut Modellkarte aus drei Teilen:

• Ein Sprach-Encoder aus 16 Conformer-Blöcken, trainiert mit CTC (einer Trainingsmethode für Spracherkennung). Er nutzt Block-Attention über 4-Sekunden-Audioblöcke.
• Ein Window-Q-Former mit 2 Schichten, der die akustischen Einbettungen projiziert und verkleinert. Insgesamt wird 10-fach heruntergerechnet, das Sprachmodell sieht also 10 Einbettungen pro Sekunde.
• Ein Sprachmodell (LLM): ein Zwischenstand von granite-4.0-1b-base, per YaRN auf 16.000 Positionen erweitert und mit LoRA-Adaptern (kleinen nachtrainierten Zusatzgewichten) feinjustiert.

Trainiert wurde mit 390.000 Stunden öffentlichem Audio plus synthetischen Daten für japanische Spracherkennung, Keyword-Biasing und Übersetzung. Das dauerte 40 Tage auf 8 H100-GPUs. IBM empfiehlt Audiosegmente von bis zu etwa 2 Minuten.

Neu gegenüber Granite Speech 4.1 2B

• Sprach-ID per Prompt: Man nennt die Eingabesprache im Prompt, um die Transkription zu steuern.
• Keyword-Listen mit bis zu 2.000 Begriffen, um Produktnamen, Personen und Abkürzungen zu bevorzugen.
• Satzzeichen und Großschreibung auf Wunsch; der Capitalization-F1 liegt je nach Testsatz zwischen 90,16 und 99,51.
• Mehr Robustheit bei Lärm, Hall und weit entfernten Mikrofonen.

Benchmarks

Auf dem Open ASR Leaderboard zeigt IBMs Grafik eine durchschnittliche Wortfehlerrate (WER, Anteil falsch erkannter Wörter; niedriger ist besser) von 5,68 % für Englisch, gemittelt über 9 öffentliche und 2 private Testsätze, Stand 21. Oktober 2026. Nur Qwen3-ASR-1.7B ist mit 5,40 % besser. IBMs Blog nennt dagegen 5,06 %; das ist laut Quelle eine inoffizielle Zahl vom 15. Oktober, die nur öffentliche Kurzform-Sätze mittelt.

Die Einzelwerte schwanken stark: 0,99 % auf LibriSpeech Clean, 2,21 % auf LibriSpeech Other, 13,79 % auf dem privaten Gesprächs-Testsatz. Auf dem Rausch-Leaderboard FFASR liegt das Modell mit 14,80 % auf Platz 4 von 42 (Qwen3-ASR-1.7B: 13,41 %). Bei CommonVoice liegt die WER für Portugiesisch bei 2,60 %, für Spanisch bei 3,50 %; Japanisch ist mit 10,74 % am schwächsten. Bei der Übersetzung in Englisch (CoVoST, BLEU) erreicht es 53,6 für Portugiesisch und 40,1 für Deutsch; Englisch→Mandarin wurde nicht evaluiert. Der deutlichste Gewinn zeigt sich beim Keyword-Biasing: Auf Earnings-22 steigt der Keyword-F1 von 67,2 auf 90,1 mit korrekten Listen, und mit 2.000 gemischten richtigen und falschen Begriffen immer noch auf 82,8.

Updates für Turbo CTC und 4.1 2B Plus

Granite Speech 5.0 Turbo CTC bleibt bei 470 Millionen Parametern, transkribiert nun aber 7 Sprachen mit Satzzeichen und Großschreibung. IBM kompilierte einen Conformer-Block und nutzte dessen Graph im ganzen Stack wieder; der Durchsatz stieg auf 19.870 RTFx (Vielfaches der Echtzeit), vorher etwa 12.600. Das 4.1 2B Plus ist ein Drop-in-Gewichts-Update: Die mittlere Zeitstempel-Abweichung sinkt von 210,86 auf 98,54, die WER bei Langaufnahmen von 13,53 auf 10,22, die WER bei Keyword-Biasing von 11,79 auf 6,48.

Was du zum Ausprobieren brauchst

Das Modell läuft auf einer GPU mit Transformers oder vLLM. Bei 2 Milliarden Parametern reichen für 4-bit grob 3–4 GB VRAM, mit der empfohlenen Q8_0-Quantisierung eher 4–6 GB. Auf Apple Silicon geht es über mlx-audio, auf CPU und Mac über llama.cpp mit GGUF. Speicherplatz: wenige GB. Eine konkrete Colab-Angabe macht die Quelle nicht; eine kostenlose GPU dürfte aber genügen.

Einordnung

Granite Speech 5.0 2B ist ein sauber lizenziertes, kompaktes Modell, das Transkription, Übersetzung und Keyword-Steuerung vereint und lokal läuft. Bei der reinen Genauigkeit liegt Qwen3-ASR-1.7B vorn, vor allem bei verrauschtem Audio, und deckt mit 30 Sprachen viel mehr ab. Mit 6 Sprachen und Segmenten von etwa 2 Minuten ist IBMs Modell enger gefasst. Zu beachten: Niedrigere Quantisierungen als Q8_0 verlieren laut IBM bei Audio über etwa 1 Minute an Genauigkeit, und die Leaderboard-Zahlen sind teils Herstellerdarstellungen mit widersprüchlichen Angaben (5,68 % vs. 5,06 %). Ob Deutsch als Eingabesprache unterstützt wird, nennt die Quelle nicht ausdrücklich; Deutsch erscheint nur bei der Übersetzung.