Mimvox: Eigene Stimme lokal klonen, in 60 Sprachen sprechen und Videos neu vertonen

Worum es geht

Mit Mimvox hat ein Entwickler unter dem Namen tarpetos eine Desktop-App auf GitHub veröffentlicht, mit der man die eigene Stimme auf dem eigenen Rechner klonen kann. Das Prinzip: Du liest einen vorgegebenen Text ins Mikrofon, die App trainiert daraus ein Stimmmodell, und danach tippst du beliebigen Text ein – auf Englisch, Ukrainisch oder in rund 60 weiteren Sprachen, darunter Deutsch – und hörst ihn in deiner Stimme. Alles läuft lokal: Aufnahmen, Stimmmodelle und erzeugte Sprache verlassen den Computer laut Projektbeschreibung nie. Es gibt kein Konto, keine Cloud und keine Telemetrie, also keine heimliche Übermittlung von Nutzungsdaten. Nur bei der Einrichtung werden die Modelle einmalig heruntergeladen.

Der Code steht unter github.com/tarpetos/mimvox. Der Entwickler warnt deutlich: Es handele sich um eine frühe Version eines Hobbyprojekts, man müsse mit Fehlern rechnen, Funktionen könnten sich ändern, und die Einrichtung könne auf ungetesteten Systemen scheitern.

Wie die Stimme entsteht

Mimvox kombiniert zwei bekannte Open-Source-Bausteine in einer Kette:

1. OmniVoice von k2-fsa ist ein sogenanntes Zero-Shot-Text-to-Speech-Modell – es kann eine Stimme nachahmen, ohne eigens auf sie trainiert zu werden. Ihm genügt ein kurzer Referenz-Ausschnitt von 15 bis 30 Sekunden, um beliebigen Text in rund 60 Sprachen in einer ähnlichen Stimme zu sprechen. Allein das ist schon die schnellste Stufe der App. OmniVoice ersetzt das zuvor genutzte IndexTTS-2.5, das nur Englisch und vier weitere Sprachen konnte. Laut Entwickler war OmniVoice bei gleichem Text und gleicher Stimme genauso verständlich, näher am Sprecher, etwa viermal schneller und brauchte weniger als halb so viel Speicher.
2. RVC (Retrieval-based Voice Conversion, also eine Stimmumwandlung, die Klangmerkmale aus einer Datenbank der eigenen Aufnahmen heranzieht) wird anschließend mit dem Werkzeug Applio auf deine längere Aufnahme trainiert. Es verändert die von OmniVoice erzeugte Sprache so, dass ihr Timbre – die Klangfarbe der Stimme – deinem eigenen näherkommt.

Die Wirkung hat der Entwickler gemessen: Mit einem Ähnlichkeitswert namens ECAPA (ein Verfahren, das Stimmen vergleicht wie ein Fingerabdruck-Scanner) steigt ein englischer Absatz durch RVC von etwa 0,81 auf etwa 0,94. Zum Vergleich: Echte Aufnahmen derselben Person erreichen untereinander 0,93. Das sind Angaben des Entwicklers, unabhängige Tests gibt es bisher nicht. In Sprachen, in denen man nicht aufgenommen hat, wird RVC schwächer dosiert, damit die Wörter verständlich bleiben.

Technisch besteht die App aus einer in Rust geschriebenen Oberfläche und einem Python-Hintergrundprozess, der die Modelle dauerhaft im Grafikspeicher hält. Dadurch kommt der erste Ton eines Satzes nach etwa einer bis drei Sekunden. Nur der allererste Satz dauert länger, weil die Modelle erst geladen werden – RVC braucht kalt rund 16 Sekunden, warm 1,7 Sekunden. Die Hörproben im Repository (unter anderem auf Deutsch) wurden laut README auf einer RTX 4070 in je etwa 1,6 bis 1,8 Sekunden erzeugt.

Was die App alles kann

Zum Aufnehmen gibt es drei geführte Varianten:

Die App zeigt den Text groß an, speichert automatisch und prüft jede Aufnahme sofort auf Länge, Pegel, Übersteuerung, Lautheit, Rauschen und Stille – mit Hinweisen wie „Zu leise: näher ans Mikro“. Wer lieber eigenen Text vorliest, bekommt eine Analyse, ob der Text genug verschiedene Laute (Phoneme) abdeckt. Das Training startet mit einem Klick, zeigt Fortschritt und Restzeit und lässt sich abbrechen.

Darüber hinaus bietet Mimvox:

• Hörbücher: Die App öffnet EPUB, DOCX, ODT, FB2, PDF mit Text, TXT, Markdown, HTML, RTF und Untertitel und liest sie kapitelweise in deiner Stimme vor – als einzelne Dateien oder als M4B-Hörbuch mit Kapitelmarken. Pausen folgen der Zeichensetzung, alle Kapitel werden auf gleiche Lautstärke gebracht, und man kann auch nach dem Schließen der App weitermachen.
• Redub für Videos: Ein Video wird übersetzt und in deiner Stimme neu vertont. Musik und Geräusche werden von der Originalstimme getrennt und bleiben im richtigen Mischverhältnis erhalten, das Bild wird ohne Neukodierung übernommen. Dafür kommen Whisper (Spracherkennung) und die NLLB-200-Übersetzungsmodelle zum Einsatz.
• Muttersprachlicher Akzent: Wer zum Beispiel auf Ukrainisch aufgenommen hat, würde Englisch mit Akzent sprechen. Die Option „Native (American)“ lässt einen US-Sprecher aus dem öffentlichen CMU-ARCTIC-Korpus den Text sprechen und überträgt danach deine Klangfarbe darauf – ohne Training per Seed-VC, mit trainierter Stimme über dein RVC-Modell.
• Mehrere Stimmen pro Nutzer, einen Verlauf aller Ergebnisse, Export in WAV, MP3, FLAC, OGG, Opus, M4A oder AIFF sowie zwei Regler für „Ausdrucksstärke“ und „Stimmähnlichkeit“.

Was du zum Ausprobieren brauchst

Die Hürde ist nicht ganz klein. Empfohlen wird eine NVIDIA-Grafikkarte mit mindestens 8 GB Grafikspeicher (VRAM) unter Windows oder Linux; entwickelt wurde auf einer RTX 4070 mit 12 GB. OmniVoice allein braucht 4–5 GB, das RVC-Modell läuft daneben. 8 GB gelten als praktisches Minimum, 12 GB als komfortabel. AMD-Karten (RDNA2 oder neuer, mindestens 8 GB) funktionieren nur unter Linux und sind weniger getestet; unter Windows mit AMD läuft alles auf dem Prozessor. Macs mit Apple Silicon werden nur „nach bestem Bemühen“ unterstützt, nicht geprüft und vermutlich langsamer.

Viel Platz ist nötig: rund 30 GB für die Laufzeitumgebung, mit dem besseren Übersetzungsmodell etwa 33 GB. Das Setup verweigert die Installation unter 34 GB freiem Speicher (40 GB mit dem großen Übersetzungsmodell). Dazu ein ordentliches Mikrofon, idealerweise ein Headset oder Tischmikrofon in 15–20 cm Abstand. Installiert wird per Git-Klon und dem Skript setup.sh (Linux/macOS) bzw. setup.cmd (Windows), gestartet anschließend mit cargo run --release im Ordner app. Wer bei der Einrichtung Probleme hat, findet im README eine Fehlerliste – etwa für abgebrochene Downloads von Hugging Face oder Zertifikatsfehler unter Windows.

Einwilligung und Lizenz

Der Entwickler stellt rechtliche Hinweise ausdrücklich an den Anfang:

Klone nur deine eigene Stimme oder eine Stimme, deren Besitzer dir ausdrücklich die Erlaubnis gegeben hat.

Aufnahmen aus Telefonaten, Videos oder Podcasts anderer Leute sind tabu, ebenso Betrug, Täuschung, gefälschte Sprachnachrichten oder das Umgehen von Stimmerkennung. Wer erzeugte Sprache veröffentlicht, soll sie als synthetisch kennzeichnen. Wichtig auch: Die OmniVoice-Gewichte und die NLLB-200-Übersetzungsmodelle stehen wegen ihrer Trainingsdaten unter CC BY-NC 4.0, der App-Code unter der PolyForm Noncommercial License. Kommerzielle Nutzung ist damit ausgeschlossen bzw. braucht eine separate Lizenz vom Autor.

Einordnung

Mimvox erfindet keine neue Technik, bündelt aber mehrere starke Open-Source-Bausteine – OmniVoice, RVC, Whisper, NLLB-200, Seed-VC und eine Musiktrennung – zu einer bedienbaren Oberfläche mit durchdachten Details wie Aufnahme-Qualitätscheck, Hörbuchmodus und Video-Dubbing. Ähnliche Funktionen kennt man von Cloud-Diensten wie ElevenLabs; der Unterschied ist hier, dass die eigene Stimme – ein biometrisches Merkmal – den Rechner nicht verlässt. Für Privatleute, die etwa eigene Texte als Hörbuch hören oder Urlaubsvideos übersetzen wollen, ist das reizvoll.

Einschränkungen gibt es mehrere: Es ist ein Ein-Personen-Projekt in einem frühen Stadium, die Ähnlichkeitswerte stammen vom Entwickler selbst, der Platzbedarf ist mit über 30 GB beachtlich, und ohne leistungsfähige NVIDIA-Karte wird es schwierig. Zudem bleibt das grundsätzliche Missbrauchsproblem: Die App kann technisch jede Stimme klonen, von der eine Aufnahme vorliegt – die Einwilligungsregeln sind nur ein Appell, keine technische Sperre.