Scylla's Band v4: Winziges Open-Source-Sprachmodell spricht Deutsch – und singt

Worum es geht

Im Reddit-Forum r/LocalLLaMA hat ein Entwickler Scylla's Band v4 vorgestellt, ein quelloffenes Text-to-Speech-Modell (TTS, also ein Modell, das geschriebenen Text in gesprochene Sprache umwandelt). Nach eigener Aussage war es ein Ein-Personen-Projekt, an dem er fast ein Jahr gearbeitet hat. Dabei habe er erst gelernt, wie man ein TTS-Modell von Grund auf baut. Seine Ziele: Das Modell sollte schnell sein, klein genug fürs Handy, mehrsprachig, und es sollte etwas können, das andere kleine TTS-Modelle nicht können. Deshalb singt es.

Gewichte und Code liegen laut Beitrag auf GitHub und Hugging Face, Lizenz ist Apache 2.0. Diese Lizenz erlaubt auch die kommerzielle Nutzung, man kann das Modell also zum Beispiel in eigene Apps einbauen. Für das Demo-Video stammen Sprache und Gesang vollständig aus dem Modell. Instrumente und Effekte wurden nachträglich hinzugefügt.

Was das Modell kann

Das Modell hat rund 131 Millionen Parameter. Dazu kommt ein separater Phonemizer mit 30 Millionen Parametern, der geschriebenen Text in Lautschrift übersetzt, damit das Modell weiß, wie ein Wort ausgesprochen wird. Zum Vergleich: Große Sprachmodelle haben oft Dutzende oder Hunderte Milliarden Parameter. Scylla's Band ist damit ein Leichtgewicht.

Die wichtigsten Funktionen laut Entwickler:

• 14 Stimmen und sieben Sprachvarianten: Englisch (US und UK), Spanisch, Französisch, Deutsch, Italienisch und Vietnamesisch. Jede Stimme kann jede dieser Sprachen sprechen.
• Steuerung pro Zeile: Intensität, Sprechtempo und Tonhöhe lassen sich für jede Textzeile einzeln einstellen.
• Dialoge mit mehreren Stimmen: Über Inline-Tags, also Markierungen direkt im Text, wechselt man zwischen Sprechern.
• Streaming: Der Ton wird ausgegeben, während der Rest noch berechnet wird. Man muss also nicht warten, bis der ganze Text fertig ist.
• Gesang: Das Modell singt nach einer JSON-Partitur, einer maschinenlesbaren Textdatei, in der für jedes Wort die Note und die Dauer in Schlägen stehen. Zur Wahl stehen die Stile Pop und Ballade. Diese Gesangsfunktion gibt es vorerst nur auf Englisch.

Zahlen und Geschwindigkeit

Die Geschwindigkeit ist das auffälligste Merkmal. Der Entwickler nennt Messwerte für die Zeit bis zum ersten hörbaren Ton bei bereits geladenem Modell:

Auf einem Desktop-Prozessor soll das Modell mehr als 30-mal schneller als Echtzeit arbeiten: Eine Minute Sprache ist dann in unter zwei Sekunden fertig, ganz ohne Grafikkarte.

Auch zur Qualität gibt es Werte. Die Wortfehlerrate (WER) liegt für Englisch bei 0,85 Prozent. Dafür schreibt eine Spracherkennung die erzeugte Sprache wieder ab und zählt, wie viele Wörter falsch verstanden werden. Weniger ist besser. Der UTMOS-Wert beträgt 4,35. Das ist eine automatische Schätzung, wie natürlich Menschen die Stimme auf einer Skala bis 5 empfinden würden. Beide Zahlen stammen aus der Auswertung für das Open TTS Leaderboard, die Einreichung dort steht laut Entwickler aber noch aus. Unabhängig geprüft sind die Werte also noch nicht, und für Deutsch nennt er keine eigenen Messwerte.

Läuft auf fast allem

Ungewöhnlich ist, wie viele Plattformen gleich zum Start unterstützt werden. Neben den ursprünglichen PyTorch-Gewichten gibt es Umsetzungen für:

• LiteRT (Googles Laufzeit für Android und Mobilgeräte)
• Core ML und Core AI (Apples Schnittstellen für iPhone, iPad und Mac)
• ONNX Runtime (ein plattformübergreifendes Format, unter anderem für Windows und Linux)
• WebGPU (damit läuft das Modell direkt im Browser)

Dazu kommt eine C++-Laufzeit mit C-Schnittstelle, die sich um Textnormalisierung und Phoneme kümmert. Textnormalisierung bedeutet, dass Zahlen, Datumsangaben und ungewöhnliche Wörter vor dem Vorlesen in aussprechbare Wörter umgewandelt werden, damit aus „12.03.“ nicht Kauderwelsch wird. Es gibt Beispielcode für Python, iOS und Android. Die beiden Handy-Apps haben laut Entwickler einen eigenen Sing-Tab. Benchmarks von echten Geräten liegen ebenfalls bei. Der Reddit-Beitrag bricht an dieser Stelle ab, weitere Details zu den Beispiel-Apps fehlen deshalb.

Was du zum Ausprobieren brauchst

Die Anforderungen sind sehr gering. Eine Grafikkarte ist nicht nötig: Das Modell läuft laut Entwickler auf einem normalen Desktop-Prozessor deutlich schneller als Echtzeit, ebenso auf aktuellen Smartphones und auf Macs mit Apple-Chip. Mit rund 160 Millionen Parametern insgesamt reicht wenig Arbeitsspeicher, wenige Gigabyte sollten genügen. Der Download dürfte im Bereich weniger hundert Megabyte liegen, genaue Dateigrößen nennt die Quelle nicht. Über die WebGPU-Version lässt es sich auch im Browser nutzen. Für den Python-Weg brauchst du eine Python-Umgebung mit PyTorch. Google Colab funktioniert dafür ebenfalls, ist bei dieser Größe aber eigentlich nicht nötig.

Einordnung

Kleine, lokal laufende TTS-Modelle gibt es inzwischen einige. Kokoro etwa ist ähnlich kompakt und wird in der Community viel genutzt. Scylla's Band v4 hebt sich durch drei Dinge ab: die Gesangsfunktion, die Unterstützung für Deutsch mit allen 14 Stimmen und die breite Auswahl an fertigen Ports vom Browser bis zum Smartphone. Für App-Entwickler ist dank Apache-2.0-Lizenz und C-Schnittstelle der Einbau in eigene Produkte unkompliziert.

Einige Punkte sind allerdings noch offen. Alle Messwerte stammen vom Entwickler selbst, die Leaderboard-Einreichung läuft noch. Die Qualitätszahlen beziehen sich nur auf Englisch, wie gut die deutsche Aussprache klingt, muss man selbst ausprobieren. Der Gesang funktioniert nur mit einer vorbereiteten Partitur und nur auf Englisch, einfach einen Liedtext eintippen reicht also nicht. Und als Ein-Personen-Projekt hängen Pflege und Weiterentwicklung an einer einzelnen Person. Für ein kostenloses Modell, das auf dem Handy spricht und singt, ist das Ergebnis trotzdem bemerkenswert.