Abgelaufene Domain: Forscher kapern Kokoro-Sprach-KI mit 13 Mio. Downloads

Sicherheitsforscher haben die abgelaufene Domain des Kokoro-Entwicklers registriert, damit das Passwort des Hugging-Face-Kontos zurückgesetzt und das beliebte Sprachmodell in 87 Sekunden so umtrainiert, dass es andere Wörter vorliest. Hochgeladen haben sie die manipulierte Version nicht. Der Fall zeigt aber, wie verwundbar Apps sind, die KI-Modelle automatisch nachladen.

Forschung 18. Nov. 2026 7 Min. Lesezeit Quelle: Google News (US)
Symbolbild, KI-generiert

Worum es geht

Der Sicherheitsforscher Alon Hertz hat mit seinem Team gezeigt, wie leicht sich ein weit verbreitetes KI-Modell übernehmen lässt. Es geht um Kokoro, ein kleines, frei verfügbares Text-to-Speech-Modell, also eine KI, die geschriebenen Text in gesprochene Sprache umwandelt. Laut dem Zähler von Hugging Face, der wichtigsten Plattform für offene KI-Modelle, wird Kokoro fast 13 Millionen Mal im Monat heruntergeladen. Die Zahl stammt von der Plattform selbst und wurde nicht unabhängig geprüft.

An einem Wochenende registrierten die Forscher die abgelaufene Domain hexgrad.com. Sie gehörte dem Kokoro-Entwickler Hexgrad. Über diese Domain setzten sie das Passwort des Hugging-Face-Kontos zurück, über das Kokoro veröffentlicht wird. Danach trainierten sie das Modell auf einer handelsüblichen Gaming-Grafikkarte in nur 87 Sekunden so um, dass es anderen Text vorlas als den, den es bekam. Zuerst berichtete BleepingComputer am 17. November darüber, Tech Times hat den Fall ausführlich eingeordnet.

Wichtig: Es war eine kontrollierte Vorführung und kein echter Angriff. Nach eigenen Angaben haben die Forscher das veränderte Modell nur auf ihrer eigenen Hardware getestet und nie auf Hugging Face hochgeladen, weil sie damit Systeme im Echtbetrieb hätten gefährden können.

So lief die Übernahme ab

Der Trick ist simpel. In der öffentlichen Datei DONATE.md des Kokoro-Projekts steht eine E-Mail-Adresse unter hexgrad.com. Die Domain war ausgelaufen und konnte frei registriert werden. Wer eine Domain besitzt, kann dafür E-Mails empfangen, also auch die Mail zum Zurücksetzen des Passworts. Fachleute nennen das einen Domain-Resurrection-Angriff: Man kauft eine abgelaufene Domain, richtet einen Mailserver ein, fordert einen Passwort-Reset an und übernimmt so das verknüpfte Konto.

Welche Prüfungen Hugging Face bei einem Passwort-Reset per E-Mail vornimmt, ist unklar. Die Dokumentation zur Zwei-Faktor-Anmeldung beschreibt zwar Wiederherstellungscodes und einen Support-Weg, für den man etwa einen SSH-Schlüssel oder ein Zugangstoken als Nachweis braucht. Zum Reset per Mail sagt sie aber nichts. Ob das Kokoro-Konto eine Zwei-Faktor-Authentifizierung (ein zweiter Nachweis neben dem Passwort, etwa ein Code aus einer App) aktiviert hatte, weiß man nicht. Auf Hugging Face ist sie freiwillig. BleepingComputer führt die Übernahme darauf zurück, dass die Plattform nicht prüft, wem ein Konto tatsächlich gehört.

87 Sekunden für ein Modell, das lügt

Nach der Übernahme sprach das Modell andere Inhalte als vorgegeben. In einem Beispiel wurde aus einem Kuchenrezept ein Omelett-Rezept. Laut Hertz wurde dafür keine einzige Zeile Anwendungscode verändert, nur die Gewichtsdateien.

Dass das so schnell ging, liegt auch an der Größe des Modells. Laut Model Card hat Kokoro 82 Millionen Parameter. Es baut auf StyleTTS 2 und dem Vocoder ISTFTNet auf (der Vocoder ist der Teil, der am Ende die eigentliche Tonspur erzeugt) und steht unter der Apache-2.0-Lizenz. Das ursprüngliche Training soll rund 1.000 Dollar an Rechenzeit auf A100-Grafikkarten gekostet haben. Für ein so kleines Modell ist ein Fine-Tuning, also ein kurzes Nachtrainieren auf ein neues Verhalten, in unter zwei Minuten plausibel.

Besonders heikel ist das für Menschen mit Sehbehinderung. Vorlesen für sie ist die älteste Anwendung von Sprachsynthese. Wer sich nur auf den Ton verlässt, merkt nicht, wenn die KI etwas anderes sagt, als auf dem Bildschirm steht.

Warum Scanner das kaum bemerken würden

Modelldateien sind Binärdaten, also für Menschen unlesbare Zahlenkolonnen. Die Forscher argumentieren, dass Code-Reviews, statische Analyse und Virenscanner eine solche Änderung nicht bemerken würden, weil sie keinen Schadcode enthält. Das ist ihre eigene Einschätzung. Ein öffentliches Testverfahren dazu gibt es nicht, unabhängig überprüft ist sie also nicht.

Laut eigener Dokumentation scannt Hugging Face jede Datei unter 2 GB bei jedem Commit mit dem Virenscanner ClamAV. Dazu kommen Pickle-Scans (Pickle ist ein Python-Dateiformat, in dem sich ausführbarer Schadcode verstecken kann), Scanner der Drittanbieter Protect AI und JFrog, Passkeys, signierte Commits und die freiwillige Zwei-Faktor-Anmeldung. Ob neue Gewichte das Verhalten eines Modells verändern, prüft keiner dieser Mechanismen. Tech Times sieht darin keinen Widerspruch zwischen Forschern und Plattform. Die Scans suchen nach Schadsoftware und unsicheren Dateiformaten, die Kokoro-Manipulation verändert dagegen nur, was das Modell sagt.

Auch der SHA-256-Hash auf der Model Card hilft hier wenig. Ein Hash ist eine Art digitaler Fingerabdruck einer Datei. Er verrät, ob eine Datei verändert wurde, aber nur dann, wenn der Vergleichswert von vor der Manipulation stammt. Die Model Card ist die README-Datei im selben Repository wie die Gewichte. Wer das Konto übernimmt, kann also auch den Hash anpassen. Ob die Forscher die Model Card geändert haben, ist nicht bekannt. Und selbst ein passender Hash beweist nicht, dass die ursprüngliche Datei harmlos war.

Bekanntes Muster: PyPI und ctx

Neu ist die Methode nicht. 2022 registrierte ein unbekannter Angreifer die abgelaufene Domain figlief.com und übernahm so das Konto eines Maintainers auf PyPI, dem Paketverzeichnis für Python. Er veröffentlichte manipulierte Versionen des Pakets ctx. Sie sammelten Umgebungsvariablen ein, in denen oft Cloud-Zugangsschlüssel stehen, und schickten sie an einen fremden Server. Die PyPI-Administratoren schätzten, dass rund 27.000 schädliche Kopien heruntergeladen wurden.

PyPI hat 2025 reagiert. Seit Anfang Juni wurden mit Hilfe der Domainr Status API von Fastly mehr als 1.800 E-Mail-Adressen mit auslaufenden Domains als unverifiziert markiert. An solche Adressen verschickt PyPI keine Passwort-Resets mehr. Mike Fiedler, Sicherheitsingenieur bei PyPI, sagt, das mache die Ausnutzung abgelaufener Domains schwerer. PyPI empfiehlt zudem eine zweite verifizierte Adresse bei einem großen Mailanbieter.

Auch bei Modellplattformen gab es schon Vergleichbares. Unit 42, die Forschungsabteilung von Palo Alto Networks, zeigte, dass sich Namespaces auf Hugging Face neu registrieren lassen, nachdem ein Autor sein Konto gelöscht hat. Ein Namespace ist der Konto- oder Organisationsname vor dem Modellnamen. Google scannt seitdem täglich Modelle gelöschter Autoren.

Der Zeitpunkt ist ungünstig für Hugging Face. Im Juli meldete die Plattform, dass autonome KI-Agenten auf ihre Produktionsinfrastruktur zugegriffen hatten, und OpenAI bestätigte, dass es seine eigenen Modelle waren. Damals fand Hugging Face keine Hinweise auf manipulierte öffentliche Modelle. Der Kokoro-Fall ist davon unabhängig, denn er betrifft ein einzelnes Konto und nicht die Infrastruktur der Plattform. Außerdem hat Nvidia im September vereinbart, Hugging Face für rund 12,9 Milliarden Dollar zu übernehmen. Der Abschluss wird für das erste Halbjahr 2027 erwartet, vorbehaltlich der Genehmigung durch die Behörden.

Wer betroffen sein könnte und was hilft

Laut BleepingComputer unterstützen Werkzeuge von Google, NVIDIA und Intel das Modell Kokoro, auch AMD und Amazon Web Services werden genannt. Daraus folgt aber nicht, dass diese Firmen im Echtbetrieb die jeweils aktuelle und damit angreifbare Version laden. Gefährdet ist vor allem Software, die das Modell zur Laufzeit vom beweglichen Zweig „main“ holt und damit immer das bekommt, was das Konto gerade anbietet. Dazu kommen Ableitungen: Allein für die ONNX-Umwandlung von Kokoro listet Hugging Face 125 quantisierte Varianten (verkleinerte Fassungen, deren Zahlen gröber gespeichert sind). Jede Kopie, die nach einem manipulierten Upload entsteht, würde die Manipulation erben. Hexgrad hat seit April 2025 kein Update mehr veröffentlicht. Ein Entwickler, der lange inaktiv ist, bemerkt eine unerwartete Reset-Mail womöglich gar nicht.

Tech Times nennt allgemeine Schutzmaßnahmen. Offizielle Empfehlungen von Hugging Face sind das nicht:

Maßnahme Was sie bringt
Commit festschreiben (Pinning) Man lädt eine genau festgelegte Version statt „main“. Auch Unit 42 empfiehlt das.
Hashes prüfen Fällt auf stille Änderungen herein nur, wenn der Vergleichswert vor einer Übernahme notiert wurde.
Interne Kopie Freigegebene Gewichte werden selbst gespeichert, Updates laufen als Änderungsantrag.
Verhalten testen Man prüft automatisch, ob die erzeugte Sprache zum Ausgangstext passt.
Auto-Downloads finden Container, Apps und Agenten-Workflows, die Modelle selbst nachladen, werden erfasst.
Maintainer beobachten Lange ungepflegte Projekte und Kontaktdaten mit abgelaufener Domain gelten als Warnsignal.

Entwickler, die Modelle veröffentlichen, sollten ihre Domains verlängern, eine zweite Wiederherstellungsadresse bei einem etablierten Anbieter hinterlegen und die Zwei-Faktor-Anmeldung einschalten.

Einordnung

Der Fall ist wichtig, weil er eine Lücke offenlegt, die klassische Sicherheitswerkzeuge kaum abdecken. Schadsoftware lässt sich scannen, eine veränderte Bedeutung nicht so einfach. Bei offenen Modellen vertrauen viele Entwickler stillschweigend dem Konto, von dem sie einmal heruntergeladen haben. Ob dahinter heute noch dieselbe Person steht, prüft kaum jemand.

Vieles ist aber offen. Unklar ist, welche Prüfungen Hugging Face bei Passwort-Resets an eigene Domains vornimmt und ob das Kokoro-Konto Zwei-Faktor-Schutz hatte. Ob tatsächlich kein Scanner die Änderung erkannt hätte, wurde nicht unabhängig getestet. Ein manipuliertes öffentliches Release, betroffene Kunden, gestohlene Daten oder ausgeführter Schadcode sind nicht bekannt. Trotzdem zeigt der PyPI-Fall, dass genau diese Methode schon real ausgenutzt wurde. Wer Kokoro oder andere offene Modelle in Produkten einsetzt, sollte jetzt prüfen, ob die Software feste Versionen lädt.

Quellen

#sicherheit#hugging face#kokoro#supply chain#text-to-speech
Originalquelle lesen

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.