Haru 4B: Japanisches Sprachmodell für natürliche Gespräche frei veröffentlicht
Das Unternehmen higurashi hat mit Haru 4B ein Sprachdialog-Modell vorgestellt, das so natürlich wie ein Mensch sprechen soll – inklusive kurzer Zustimmungslaute und Unterbrechungen. Die Gewichte des vortrainierten Basismodells stehen unter der freien Apache-2.0-Lizenz auf Hugging Face, der Code liegt auf GitHub.

Worum es geht
Das Unternehmen higurashi hat am 13. November 2026 das Sprachdialog-Modell Haru 4B veröffentlicht. Laut dem japanischen Bericht, der über Bing News/MSN verbreitet wurde, soll das Modell so natürlich sprechen können wie ein Mensch. Es soll außerdem auf typische Gesprächssignale reagieren, also auf kurze Zustimmungslaute wie „ja“ oder „mhm“ (auf Japanisch aizuchi) und darauf, dass jemand einem ins Wort fällt. Mit „4B“ ist die Größe gemeint: rund 4 Milliarden Parameter.
Frei verfügbar sind die Gewichte des vortrainierten Basismodells (englisch pretrained base model) – also das Modell nach dem großen Grundtraining, aber vor einer Feinabstimmung auf bestimmte Aufgaben. Sie liegen unter der Lizenz Apache 2.0 auf Hugging Face. Den Code zum Ausführen des Modells, die sogenannte Inferenz, hat higurashi auf GitHub veröffentlicht. Die genauen Links zu den Repositories stehen nicht im Bericht.
Was ein Sprachdialog-Modell anders macht
Die meisten Sprachassistenten arbeiten bisher wie eine Kette: Eine Spracherkennung macht aus deiner Stimme Text, ein Sprachmodell schreibt eine Antwort, und eine Sprachsynthese liest diese vor. Das funktioniert, wirkt aber hölzern. Man muss warten, bis der andere fertig ist, und Tonfall, Pausen oder „Ähs“ gehen auf dem Weg verloren.
Sprachdialog-Modelle wie Haru 4B sollen das anders machen. Laut Bericht ist es darauf ausgelegt, mit Hörersignalen und Unterbrechungen umgehen zu können. Das passt zu einem Ansatz, der in der Fachwelt als Full-Duplex bezeichnet wird: Das Modell kann gleichzeitig zuhören und sprechen, wie bei einem Telefonat, in dem beide Seiten sich ins Wort fallen können. Bekanntes Beispiel dafür ist das Modell Moshi des französischen Labors Kyutai. Ob Haru 4B technisch genauso aufgebaut ist, geht aus der kurzen Meldung allerdings nicht hervor.
Gerade die aizuchi spielen im Japanischen eine große Rolle. Wer am Telefon nicht regelmäßig „hai“ oder „ee“ sagt, wirkt schnell desinteressiert. Ein Modell, das solche Signale von sich aus setzt und richtig deutet, wirkt im Gespräch daher deutlich menschlicher.
Was bisher bekannt ist – und was nicht
Der vorliegende Bericht ist sehr kurz. Folgendes ist gesichert:
| Merkmal | Angabe |
|---|---|
| Name | Haru 4B |
| Entwickler | higurashi |
| Ankündigung | 13. November 2026 |
| Größe | ca. 4 Milliarden Parameter (laut Name) |
| Veröffentlicht | Gewichte des vortrainierten Basismodells |
| Lizenz | Apache 2.0 |
| Download | Hugging Face (Gewichte), GitHub (Inferenzcode) |
Offen bleibt dagegen vieles: Welche Sprachen das Modell beherrscht (dass es in einem japanischen Bericht vorgestellt wird, legt Japanisch nahe, belegt ist das aber nicht), wie viele Stunden Audio es im Training gehört hat, wie schnell es reagiert und wie es im Vergleich zu anderen Modellen in Tests abschneidet. Benchmarks nennt die Meldung nicht.
Wichtig ist der Hinweis auf das Basismodell. Ein solches Modell ist meist kein fertiger Assistent, der direkt sinnvolle Antworten gibt. Es ist eher eine Grundlage, die Entwickler mit eigenen Daten nachtrainieren (Feinabstimmung, englisch Fine-Tuning) können, etwa für einen Callcenter-Bot oder eine Sprach-App. Wer erwartet, sofort ein Gespräch wie mit ChatGPTs Sprachmodus zu führen, wird vermutlich enttäuscht.
Was du zum Ausprobieren brauchst
Offizielle Hardware-Angaben gibt es im Bericht nicht. Mit rund 4 Milliarden Parametern gehört Haru 4B zu den kleineren Modellen. Zur groben Orientierung: In voller Genauigkeit (16 Bit) belegen allein die Gewichte etwa 8 bis 9 GB Grafikspeicher, dazu kommt Speicher für die Audioverarbeitung. Eine Grafikkarte von Nvidia mit 12 bis 16 GB VRAM dürfte daher ein realistischer Startpunkt sein. Mit Quantisierung – das Modell wird verkleinert, indem seine Zahlen gröber gespeichert werden – könnte es auch mit etwa 4 bis 6 GB laufen, ob der Inferenzcode das unterstützt, ist aber unklar.
Dazu brauchst du ein Mikrofon und Lautsprecher bzw. ein Headset (Kopfhörer vermeiden Echos, bei denen das Modell seine eigene Stimme hört), Python-Kenntnisse und etwa 10 bis 20 GB freien Speicherplatz. Bequeme Werkzeuge wie Ollama oder LM Studio unterstützen solche Audio-Dialogmodelle in der Regel nicht. Du musst also den GitHub-Code von higurashi verwenden. Ob Macs mit Apple Silicon oder reine CPU-Rechner funktionieren, ist nicht bekannt. Für Echtzeitgespräche ist eine Grafikkarte praktisch Pflicht. Google Colab mit einer GPU kann eine Alternative zum Testen sein, Echtzeit-Audio im Browser ist dort aber oft umständlich.
Einordnung
Offene Sprachdialog-Modelle sind immer noch selten. Die bekannten Anbieter wie OpenAI oder Google bieten ihre natürlichen Sprachmodi nur als Dienst über das Internet an. Ein frei herunterladbares Modell unter Apache 2.0 – einer Lizenz, die auch die kommerzielle Nutzung erlaubt – ist daher besonders für Entwickler und Forschende interessant, die eigene Sprachanwendungen bauen oder lokal und datenschutzfreundlich arbeiten wollen. Für den japanischsprachigen Raum, für den es bisher wenige solche Modelle gibt, könnte Haru 4B eine wertvolle Grundlage sein.
Die Aussage, Haru spreche „so natürlich wie ein Mensch“, ist allerdings eine Herstellerangabe. Unabhängige Tests, Benchmarks oder Hörbeispiele nennt der Bericht nicht. Weil nur ein Basismodell veröffentlicht wurde, dürfte die Qualität im direkten Gespräch zunächst begrenzt sein. Für Laien ist Haru 4B daher eher etwas zum Reinschnuppern, für Entwickler ein spannender Baustein.
Quellen
- Bing News (ja-JP) msn.com
- Bing News (ja-JP) msn.com
- Bing News (en-US) note.com
- Google News (JP) news.google.com
- Bing News (ja-JP) hashout.jp
- Hugging Face Trending huggingface.co
Selbst ausprobieren: Haru 4B
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Haru 4B ist ein Sprachdialog-Modell: Es nimmt gesprochene Sprache auf und antwortet mit gesprochener Sprache. Laut Hersteller higurashi soll es dabei so natürlich wie ein Mensch klingen und Hörersignale wie „mhm“ sowie Unterbrechungen beherrschen. Veröffentlicht ist allerdings nur das vortrainierte Basismodell, also kein fertig abgestimmter Assistent. Erwarte deshalb eher natürlich klingende, aber inhaltlich nicht immer sinnvolle Gesprächsfortsetzungen. Welche Sprachen es beherrscht, ist nicht offiziell bestätigt. Da es in Japan vorgestellt wurde, liegt der Schwerpunkt vermutlich auf Japanisch. Im Vergleich zu den Sprachmodi von ChatGPT oder Gemini läuft es lokal und ist frei lizenziert, dürfte aber in Wissen und Zuverlässigkeit deutlich schwächer sein. Für Entwickler ist es vor allem eine Grundlage für eigene Sprach-Bots per Fine-Tuning.
Für wen lohnt es sich?
Lohnt sich für Entwickler, Forschende und Bastler, die mit Python umgehen können und eigene Sprachanwendungen bauen oder natürliches Gesprächsverhalten untersuchen wollen. Besonders interessant ist es für alle, die mit Japanisch arbeiten. Wer einen fertigen, alltagstauglichen Sprachassistenten auf Deutsch sucht, ist hier eher falsch.
Ideen: Was du damit anstellen kannst
Wer Japanisch lernt, kann mit Haru 4B kurze Alltagsgespräche üben und dabei hören, wie natürliche Hörersignale (aizuchi) eingesetzt werden. Da es ein Basismodell ist, solltest du die Inhalte nicht als verlässlichen Unterricht verstehen, aber Rhythmus und Gesprächsfluss lassen sich gut erleben.
Entwickler können das Basismodell mit eigenen Gesprächsaufnahmen nachtrainieren, etwa für eine Hotline, einen Empfangsbot oder einen Spielcharakter. Dank Apache-2.0-Lizenz ist auch die kommerzielle Nutzung erlaubt.
Linguisten und Forschende können untersuchen, wie ein KI-Modell Sprecherwechsel, Unterbrechungen und Zustimmungslaute erzeugt. Weil alles lokal läuft, lassen sich auch sensible Aufnahmen verwenden, ohne sie an einen Cloud-Dienst zu schicken.
Für Projekte, bei denen keine Audiodaten das Haus verlassen dürfen, etwa in Pflege oder Medizin, kann Haru 4B als lokaler Prototyp dienen. Damit lässt sich testen, ob natürliche Sprachdialoge im eigenen Anwendungsfall überhaupt funktionieren.
Führe dasselbe Gespräch mit Haru 4B und mit einem Cloud-Assistenten und vergleiche Reaktionszeit, Natürlichkeit und Unterbrechungsverhalten. So bekommst du ein Gefühl dafür, wie weit offene Modelle inzwischen sind.
Was dein Rechner braucht
Bisher ist nur eine Variante bekannt: das vortrainierte Basismodell mit rund 4 Milliarden Parametern. In 16 Bit sind grob 8–9 GB VRAM für die Gewichte plus Puffer für die Audioverarbeitung nötig, also eher eine Karte mit 12–16 GB. Quantisierte Versionen (z. B. 4 Bit, dann ca. 4–6 GB) sind nicht offiziell angekündigt. Prüfe auf Hugging Face, ob die Community welche bereitstellt.
- Offizielle Hardware-Anforderungen stehen nicht im Bericht, alle Werte sind Schätzungen auf Basis der Größe von ca. 4 Milliarden Parametern.
- In 16-Bit-Genauigkeit brauchen die Gewichte allein etwa 8–9 GB Grafikspeicher. Eine Nvidia-GPU mit 12–16 GB VRAM ist ein realistischer Startpunkt.
- Für Echtzeitgespräche ist eine Grafikkarte praktisch Pflicht, auf reinen CPUs dürfte die Antwortzeit zu lang sein.
- Ob Apple Silicon (Mac) unterstützt wird, ist unklar. Das hängt vom Inferenzcode auf GitHub ab.
- Plane etwa 10–20 GB Speicherplatz für Modell und Python-Abhängigkeiten ein.
- Ein Headset verhindert, dass das Modell seine eigene Stimme aus den Lautsprechern wieder aufnimmt.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (higurashi-ai/Haru auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Für Windows gibt es keine eigene Anleitung, die Schritte sind von Linux übernommen. Du brauchst eine NVIDIA-Grafikkarte mit etwa 12 GB Speicher. Klappt es nicht (zum Beispiel mit PyTorch oder den Triton-Beschleunigern), nimm WSL2: Damit läuft ein Linux in Windows, und dort folgst du der Linux-Anleitung.
- Voraussetzungen prüfen. Installiere Python 3 (am besten 3.10 oder neuer, beim Installieren „Add to PATH“ anhaken), Git für Windows und einen aktuellen NVIDIA-Treiber. Öffne danach die PowerShell und prüfe alles mit den Befehlen unten. nvidia-smi sollte deine Grafikkarte mit etwa 12 GB Speicher oder mehr zeigen. Für das Gespräch brauchst du Kopfhörer und Mikrofon, am besten mit Kabel.
python --version git --version nvidia-smi - Programm herunterladen. Damit lädst du den Code von GitHub und wechselst in den Ordner Haru.
git clone https://github.com/higurashi-ai/Haru cd Haru - Eigene Python-Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Bereich nur für dieses Projekt. Meldet PowerShell beim Aktivieren einen Fehler wegen Skripten, gib vorher Set-ExecutionPolicy -Scope CurrentUser RemoteSigned ein. Hat es geklappt, steht vorne (.venv).
python -m venv .venv .venv\Scripts\Activate.ps1 - Haru installieren. Dieser Befehl installiert Haru samt PyTorch und anderen Paketen. Das kann einige Minuten dauern. Unter Windows kommt es vor, dass pip ein PyTorch ohne Grafikkarten-Unterstützung installiert. Läuft der Server später sehr langsam, liegt es meist daran.
pip install -e ./haru - Modell herunterladen (optional vorab). Die Modelldatei ist etwa 10,5 GB groß. Der Server lädt sie beim ersten Start auch von selbst. Mit diesem Befehl holst du sie vorher und siehst dabei den Fortschritt.
pip install -U huggingface_hub hf download higurashi-ai/Haru-4B - Server starten. Damit startest du die Web-Demo. Lass das PowerShell-Fenster offen und warte, bis das Modell fertig geladen ist.
python -m haru.server --hf-repo higurashi-ai/Haru-4B - Stimm-Aufnahme vorbereiten. Haru bringt keine eigenen Stimmen mit. Du brauchst eine Aufnahme von einer einzelnen Person, zwischen 3 Sekunden und 3 Minuten lang, mit klarer Sprache. Sprich zum Beispiel selbst ein paar Sätze, direkt in der Demo oder mit der Windows-Sprachrekorder-App. Nimm nur Stimmen, die du verwenden darfst.
- Mit Haru sprechen. Öffne im Browser http://localhost:8998. Wähle eine Figur aus, gib Haru eine Stimme und fang an zu reden. Erlaube dem Browser den Zugriff aufs Mikrofon, wenn er danach fragt.
- Ergebnis. Im Browser öffnet sich unter localhost:8998 eine Seite (auf dem Mac die App Haru.app), auf der du live mit Haru sprichst. Das Modell hört dir dabei zu und antwortet gleichzeitig, wie bei einem Telefonat.
macOS
macOS: unterstützt. Das geht nur auf Macs mit Apple-Chip (M1 oder neuer). Dafür gibt es eine eigene MLX-Version (MLX ist Apples Rechen-Bibliothek für diese Chips) mit einer echten Mac-App. Ältere Macs mit Intel-Chip werden nicht unterstützt.
- Voraussetzungen prüfen. Du brauchst einen Mac mit Apple-Chip, am besten mit 16 GB Arbeitsspeicher oder mehr. Installiere die Xcode-Befehlszeilenwerkzeuge, darin ist auch Git enthalten. Zum Bauen der App wird vermutlich die volle Xcode-App aus dem App Store gebraucht. Außerdem brauchst du Python 3 (am besten 3.10 oder neuer) und Kopfhörer mit Kabel.
xcode-select --install python3 --version git --version - Programm herunterladen. Damit lädst du den Code von GitHub und wechselst in den Ordner für die Mac-Version.
git clone https://github.com/higurashi-ai/Haru cd Haru/haru_mlx - Eigene Python-Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Bereich nur für dieses Projekt. Hat es geklappt, steht vorne in der Zeile (.venv).
python3 -m venv .venv && source .venv/bin/activate - MLX-Version installieren. Damit installierst du Haru für Apple-Chips samt MLX. Endet der Befehl ohne Fehlermeldung, ist alles bereit.
pip install -e . - Modell herunterladen (optional vorab). Die Modelldatei ist etwa 10,5 GB groß. Holst du sie vorab, muss die App sie später nicht erst laden.
pip install -U huggingface_hub hf download higurashi-ai/Haru-4B - Mac-App bauen. Das Skript baut die App Haru.app. Das dauert ein paar Minuten. Danach liegt die App im Ordner build.
cd swift && ./build_app.sh open build/Haru.app - Stimm-Aufnahme vorbereiten. Haru bringt keine eigenen Stimmen mit. Nimm dich zum Beispiel mit der Sprachmemos-App auf: 3 Sekunden bis 3 Minuten, eine Person, klare Sprache ohne Hintergrundgeräusche. Nimm nur Stimmen, die du verwenden darfst.
- Mit Haru sprechen. Wähle in der App eine Figur aus, gib Haru deine Stimm-Aufnahme und fang an zu reden. Erlaube den Zugriff aufs Mikrofon, wenn macOS danach fragt.
- Ergebnis. Im Browser öffnet sich unter localhost:8998 eine Seite (auf dem Mac die App Haru.app), auf der du live mit Haru sprichst. Das Modell hört dir dabei zu und antwortet gleichzeitig, wie bei einem Telefonat.
Linux
Linux: unterstützt. Das ist der Hauptweg laut Hersteller. Du brauchst eine NVIDIA-Grafikkarte mit etwa 12 GB Speicher und benutzt die PyTorch-Version samt Web-Demo. Ohne Grafikkarte läuft Haru nicht in Echtzeit.
- Voraussetzungen prüfen. Du brauchst Python 3 (am besten 3.10 oder neuer), Git und einen aktuellen NVIDIA-Treiber. CUDA ist die Rechen-Schnittstelle von NVIDIA, die der Treiber mitbringt. Zeigt der Befehl nvidia-smi deine Grafikkarte mit etwa 12 GB Speicher oder mehr an, passt alles. Dazu brauchst du Kopfhörer und ein Mikrofon, am besten mit Kabel, denn Bluetooth verzögert den Ton um 100 ms oder mehr.
python3 --version git --version nvidia-smi - Programm herunterladen. Damit lädst du den Programmcode von GitHub und wechselst in den neuen Ordner Haru.
git clone https://github.com/higurashi-ai/Haru && cd Haru - Eigene Python-Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Bereich nur für dieses Projekt. So kommt nichts mit anderen Programmen durcheinander. Hat es geklappt, steht vorne in der Eingabezeile (.venv).
python3 -m venv .venv source .venv/bin/activate - Haru installieren. Dieser Befehl installiert Haru und alles, was es braucht, zum Beispiel PyTorch. Das kann einige Minuten dauern und mehrere GB herunterladen. Endet er ohne rote Fehlermeldung, hat es geklappt.
pip install -e ./haru - Modell herunterladen (optional vorab). Die Modelldatei ist etwa 10,5 GB groß. Der Server lädt sie beim ersten Start auch von selbst. Mit diesem Befehl holst du sie vorher und siehst dabei, wie weit der Download ist.
pip install -U huggingface_hub hf download higurashi-ai/Haru-4B - Server starten. Damit startest du die Web-Demo. Warte, bis das Modell geladen ist und im Terminal keine neuen Meldungen mehr erscheinen. Das Fenster muss offen bleiben, solange du Haru benutzt.
python -m haru.server --hf-repo higurashi-ai/Haru-4B - Stimm-Aufnahme vorbereiten. Haru bringt keine eigenen Stimmen mit. Du brauchst eine kurze Aufnahme von einer einzelnen Person, zwischen 3 Sekunden und 3 Minuten lang, mit klarer Sprache und ohne Hintergrundgeräusche. Am einfachsten sprichst du selbst ein paar Sätze, entweder direkt in der Demo oder vorher mit einer Rekorder-App. Nimm nur Stimmen, die du auch verwenden darfst.
- Mit Haru sprechen. Öffne im Browser die Adresse http://localhost:8998. Wähle dort eine Figur aus, lade deine Stimm-Aufnahme hoch oder nimm sie direkt auf, und fang an zu reden. Wenn der Browser fragt, ob er das Mikrofon benutzen darf, erlaube es.
- Ergebnis. Im Browser öffnet sich unter localhost:8998 eine Seite (auf dem Mac die App Haru.app), auf der du live mit Haru sprichst. Das Modell hört dir dabei zu und antwortet gleichzeitig, wie bei einem Telefonat.
So geht es nach dem ersten Ergebnis weiter
- Am Ende des Server-Befehls --share anhängen (vorher pip install -e "./haru[share]"): Dann zeigt der Server einen öffentlichen Link, über den andere die Demo ausprobieren können. Achtung: Jede Person mit dem Link kann sie benutzen.
- Leg eine Stimme fest als Standard ab: Speichere eine Aufnahme als haru/haru/assets/voices/de.flac (oder en.flac, ja.flac …) und starte den Server neu. Die Demo bietet sie dann für diese Sprache an.
- Ohne Live-Gespräch geht es auch: haru-inference user.wav reply.wav --reference voice.wav --system-prompt "$(cat card.txt)" --stereo erzeugt eine Antwort auf eine fertige Aufnahme. Die Figuren-Karte baust du in Python mit render_card aus haru.prompt.
- Auf NVIDIA-Karten macht --codec-backend triton den Audio-Teil deutlich schneller. Beachte: Haru ist ein Basismodell für die Forschung. Es plaudert natürlich, ist aber keine verlässliche Quelle für Fakten.
Das kannst du ausprobieren
(gesprochen) „Hallo, wie geht es dir heute?“ – einfacher Test, ob das Modell überhaupt antwortet und wie die Stimme klingt.(gesprochen, auf Japanisch) „Konnichiwa, kyō wa ii tenki desu ne.“ – prüft, wie natürlich das Modell in seiner vermutlichen Hauptsprache reagiert.(gesprochen) Erzähle langsam eine längere Geschichte über deinen letzten Urlaub mit Pausen – achte darauf, ob das Modell zwischendurch „mhm“ oder „ja“ einwirft.(gesprochen) Stelle eine Frage und unterbrich das Modell mitten in der Antwort mit „Moment, warte mal“ – testet, ob es das Unterbrechen erkennt und aufhört.(gesprochen) „Kannst du mir in drei Sätzen erklären, wie ein Regenbogen entsteht?“ – zeigt, wie weit das Basismodell inhaltlich sinnvoll antworten kann.
Tipps für bessere Ergebnisse
- Nutze ein Headset und eine ruhige Umgebung. Hintergrundgeräusche können als Unterbrechung gedeutet werden.
- Teste zuerst auf Japanisch, da das Modell vermutlich vor allem auf diese Sprache trainiert ist. Erst danach lohnt sich ein Versuch auf Deutsch oder Englisch.
- Sprich in natürlichem Tempo mit kurzen Pausen, damit du die Stärken bei Hörersignalen und Sprecherwechseln wirklich siehst.
- Schau auf der Hugging-Face-Seite und im GitHub-Repo nach empfohlenen Einstellungen und Beispielen. Dort stehen meist die Parameter, mit denen der Hersteller getestet hat.
Wenn es hakt
Es ist ein Basismodell: Rechne nicht mit zuverlässigen Assistenten-Antworten. Für echte Anwendungen ist meist ein Fine-Tuning nötig.
Ollama und LM Studio unterstützen solche Audio-Dialogmodelle normalerweise nicht. Nutze den offiziellen Inferenzcode von higurashi auf GitHub.
Lies die README auf GitHub genau: Python-Version, PyTorch-Version und CUDA-Treiber müssen meist genau passen, sonst startet das Modell nicht.
Mikrofon-Zugriff: Prüfe, ob dein Betriebssystem bzw. Browser dem Programm den Zugriff auf das Mikrofon erlaubt.
Echo-Probleme: Ohne Kopfhörer hört das Modell sich selbst und kann sich ständig selbst unterbrechen.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.