Sophon-Realtime v1.1: Offenes Sprachmodell klont Stimmen aus 3 Sekunden Audio

Worum es geht

Der Hugging-Face-Nutzer BitKnight hat am 11. November 2026 Version 1.1 von Sophon-Realtime vorgestellt. Das Projekt stammt von der Organisation adventists-ai und umfasst zwei offene Sprachmodelle mit je 32 Milliarden Parametern: Sophon-Realtime-32B-Tag und Sophon-Realtime-32B-Flash. Die Gewichte liegen auf Hugging Face, der Code samt Anleitung auf GitHub unter github.com/adventists-ai/sophon-realtime.

Die wichtigste Neuerung ist das Zero-Shot-Stimmenklonen. Das Modell übernimmt eine Stimme, ohne dass man es vorher auf diese Stimme trainieren muss. Ein kurzer Audioschnipsel genügt, danach spricht das Modell im Gespräch mit dieser Stimme, und zwar in Echtzeit.

Was „Vollduplex“ bedeutet

Sophon-Realtime ist ein Vollduplex-Sprachmodell. Es kann gleichzeitig zuhören und sprechen, so wie Menschen am Telefon. Klassische Sprachassistenten arbeiten dagegen eher wie ein Funkgerät: Erst sprichst du, dann wird dein Satz in Text umgewandelt, ein Sprachmodell erzeugt eine Antwort, und eine Sprachsynthese liest sie vor. Das dauert, und solange der Assistent redet, hört er dir meist nicht zu.

Bei Vollduplex-Modellen fällt diese starre Reihenfolge weg. Laut Entwickler beherrschen die Sophon-Modelle deshalb auch Barge-in: Du kannst dem Modell ins Wort fallen, und es reagiert darauf, statt stur weiterzureden. Außerdem können die Modelle lachen. Beides funktioniert laut dem Beitrag auch mit einer geklonten Stimme.

So funktioniert das Stimmenklonen

Der Ablauf ist laut Beitrag sehr einfach:

1. Einen Audioclip von 3 bis 10 Sekunden in den Ordner model/voices/ legen.
2. In der Konfiguration "voice": "<name>" auf den Namen dieser Stimme setzen.
3. Weiterreden. Das Modell antwortet ab sofort mit der neuen Stimme.

Dafür braucht es weder Fine-Tuning, also kein Nachtrainieren des Modells, noch einen Neustart. Laut Entwickler reicht eine einzige GPU. In einem Demovideo zeigt BitKnight zuerst 11 Sekunden der eigenen Stimme und dann 9 Sekunden der Stimme eines Kollegen, die im laufenden Betrieb ausgetauscht werden.

Installiert wird das Paket mit:

pip install -U "sophon-realtime[trt]"

Der Zusatz [trt] deutet auf TensorRT hin, Nvidias Software zur Beschleunigung von KI-Modellen auf eigenen Grafikkarten. Ob das Modell auch ohne Nvidia-GPU läuft, steht nicht im Beitrag.

Live-Modus: Das Modell holt sich Informationen

Das Video zeigt außerdem einen Live-Modus. Fragt man Sophon etwa nach dem Wetter oder den Nachrichten, gibt das Modell diese Abfrage an ein eigenes Backend weiter, also an einen Server oder ein Programm, das du selbst betreibst und das die Daten liefert. Währenddessen spricht das Modell weiter, statt still auf das Ergebnis zu warten. Das ist bei Sprachassistenten wichtig, weil schon kurze Pausen im Gespräch unnatürlich wirken.

Was du zum Ausprobieren brauchst

Der Beitrag nennt nur „eine GPU“, aber kein Modell und keine Speichergröße. Eine grobe Schätzung: Bei 32 Milliarden Parametern und einer 4-Bit-Quantisierung (das Modell wird verkleinert, indem seine Zahlen gröber gespeichert werden) braucht man etwa 20 GB Grafikspeicher. Ob es für Sophon solche quantisierten Versionen gibt, ist allerdings unklar. In voller Genauigkeit wäre der Bedarf deutlich höher, und Echtzeitbetrieb kostet zusätzlich Speicher. Realistisch ist deshalb eine Nvidia-Karte mit 24 GB oder mehr (etwa RTX 3090/4090) oder eine Rechenzentrums-GPU. Mac, reiner CPU-Betrieb und die kostenlose Google-Colab-Stufe dürften für Echtzeitsprache nicht reichen. Vor dem Download lohnt sich ein Blick in die Modellkarten auf Hugging Face, denn dort sollten Speicherbedarf, Lizenz und der Unterschied zwischen Tag und Flash beschrieben sein. Die Quelle selbst erklärt diesen Unterschied nicht.

Verantwortung beim Stimmenklonen

Der Entwickler schreibt ausdrücklich dazu:

Bitte klont nur eure eigene Stimme oder Stimmen, für deren Nutzung ihr eine Erlaubnis habt.

Das ist mehr als eine Höflichkeitsfloskel. Wenn ein paar Sekunden Audio reichen, um eine Stimme in Echtzeit zu imitieren, können Betrüger das ausnutzen, etwa für gefälschte Anrufe von „Verwandten“ oder „Vorgesetzten“. In vielen Ländern, auch in Deutschland, kann die Nachahmung fremder Stimmen ohne Einwilligung das Persönlichkeitsrecht verletzen. Technisch verhindert die Software Missbrauch nach dem, was bekannt ist, nicht.

Einordnung

Vollduplex-Sprach-KI galt lange als Spezialität großer Anbieter wie OpenAI mit dem Advanced Voice Mode oder Google mit Gemini Live. Offene Modelle wie Kyutais Moshi haben gezeigt, dass das auch frei verfügbar geht. Sophon-Realtime geht mit 32 Milliarden Parametern und Echtzeit-Stimmenklonen einen Schritt weiter. Für Entwickler von Sprachassistenten, Hörspiel- und Spieleprojekten oder Barrierefreiheitslösungen ist das interessant, weil sie alles lokal betreiben können und keine Audiodaten an einen Cloud-Dienst schicken müssen.

Vieles ist aber noch offen. Der Beitrag nennt keine Benchmarks, keine Latenzwerte, keine Angaben zur Klonqualität im Vergleich zu anderen Systemen, keine Lizenz und keine unterstützten Sprachen. Ob Deutsch gut funktioniert, muss man selbst testen. Alle Angaben stammen bisher vom Entwickler selbst, unabhängige Tests gibt es noch nicht. Gleichzeitig senkt das Projekt die Hürde für täuschend echte Stimmimitationen weiter. Das ist technisch beeindruckend, macht aber eine Debatte über Schutzmechanismen wie Wasserzeichen dringlicher.