PUBG-Macher Krafton veröffentlicht Raon-1 nano: kleines KI-Modell für den eigenen PC
Krafton, bekannt durch PUBG und inZOI, hat mit Raon-1 nano ein kleines Sprachmodell veröffentlicht, das direkt auf dem eigenen Rechner läuft. Die Gewichte stehen unter Apache-2.0-Lizenz auf Hugging Face. Bisher liefen Kraftons KI-Spielfiguren auf Nvidia-Modellen, jetzt baut die Firma ihre eigene Grundlage.

Worum es geht
Der südkoreanische Spielekonzern Krafton, bekannt durch PUBG: Battlegrounds, Battlegrounds Mobile India (BGMI) und die Lebenssimulation inZOI, hat ein eigenes kleines Sprachmodell veröffentlicht: Raon-1 nano. Es ist für die sogenannte On-Device-Inferenz gebaut. Das Modell rechnet also direkt auf dem eigenen Gerät, etwa einem Gaming-PC oder Mac, statt auf einem Server in der Cloud. Raon-1 nano hat insgesamt 3,1 Milliarden Parameter, effektiv arbeiten davon 1,5 Milliarden. Die Gewichte stehen auf Hugging Face unter der Apache-2.0-Lizenz, die auch eine kommerzielle Nutzung erlaubt.
Laut Krafton wurde das Modell auf Gespräche über mehrere Runden, auf das genaue Befolgen von Anweisungen und auf Tool-Calling trainiert, also darauf, selbstständig externe Funktionen oder Programme aufzurufen. Es spricht Koreanisch und Englisch. Die Forschungsabteilung KRAFTON AI nennt die Veröffentlichung den nächsten Schritt auf „unserer Reise von PUBG Ally hin zu On-Device-LLMs“. Kangwook Lee, Kraftons Chief AI Officer, sagt, man habe „endlich“ ein „besseres Basismodell für unsere Edge-AI-Anwendungen“. Edge-AI meint KI, die auf lokaler Hardware läuft. In welchen Spielen Raon-1 nano wann eingesetzt wird, sagt Krafton nicht.
Warum Krafton ein eigenes Modell baut
Krafton setzt schon länger KI-Figuren in seinen Spielen ein, allerdings mit fremden Modellen. Seit inZOI im März 2025 in den Early Access ging, steuert die optionale Funktion „Smart Zoi“ die Bewohner der virtuellen Stadt. Laut Nvidia läuft dahinter ein Mistral-NeMo-Minitron-Modell mit 0,5 Milliarden Parametern aus Nvidias ACE-Plattform, und zwar nur auf GeForce-RTX-Grafikkarten. Auch PUBG Ally nutzt Nvidia ACE. Die KI-Mitspielerin Ella kam im Juni 2026 in der Beta „Ally Duo“ auf der Karte Sanhok zu den Spielern.
In einem von Nvidia veröffentlichten Interview hat Krafton beschrieben, wie Ally entstanden ist. Zuerst testete das Team Modelle in der Cloud. Netzwerk-Verzögerung und Rechenzeit zusammen machten die Antworten aber zu langsam für ein laufendes Squad-Match. Deshalb wechselte man zu Nvidias Mistral-NeMo-Minitron-2B, quantisierte es (das Modell wird verkleinert, indem seine Zahlen gröber gespeichert werden) und brachte es im Grafikspeicher unter, den PUBG noch frei lässt. So läuft Ally schon auf Grafikkarten mit 8 GB. Auch die Kosten sprachen gegen die Cloud: Ein separates Forschungs-Preprint von Krafton bezifferte die mittleren API-Kosten mit Claude Opus 4.8 auf 7,10 US-Dollar pro nachgespieltem Match. Für den Einsatz im großen Stil hielt Krafton das für unpraktikabel.
Auch der lokale Ansatz stieß in der Beta an Grenzen. Ally Duo funktionierte nur auf PCs mit GeForce-RTX-Karten. In den Patch Notes riet Krafton Spielern mit verzögerten Antworten, Grafikeinstellungen oder Auflösung zu senken. Das zeigt, dass Spiel und Modell um dieselben GPU-Ressourcen konkurrierten. Genau hier soll Raon-1 nano helfen.
So ist das Modell aufgebaut
Von den 3,1 Milliarden Parametern stecken 1,5 Milliarden in einer Per-Layer-Embedding-Tabelle. Vereinfacht ist das ein großes Nachschlagewerk, das jeder Schicht des Netzes eigene Wortinformationen liefert. Diese Daten müssen nicht dauerhaft im teuren Grafikspeicher liegen. Laut Lee setzt Krafton die Technik zum ersten Mal ein, um „den VRAM-Verbrauch zu reduzieren“. Der eigentliche Rechenkern hat damit 1,5 Milliarden Parameter, beim Modell hinter Ally waren es 2 Milliarden.
Die Architektur ist hybrid und hat 24 Schichten:
- 18 Schichten mit linearer Attention, die Krafton „Raon Delta Attention“ nennt. Lineare Attention ist eine sparsamere Form des Aufmerksamkeitsmechanismus, deren Aufwand bei langen Texten nicht so stark ansteigt.
- 6 Schichten mit Gated Multi-Head Latent Attention, einer Variante, die Zwischenspeicher komprimiert.
Laut Modellkarte verarbeitet das Modell bis zu 262.144 Token Kontext. Der KV-Cache, also der Zwischenspeicher, in dem das Modell sich das bisherige Gespräch merkt, braucht etwa 7 KiB pro Token in BF16. Bei vollem Kontext sind das rund 1,75 GiB.
Abgeleitet vom großen Bruder Raon-1 mini
Raon-1 nano wurde per Destillation aus Raon-1 mini preview gewonnen. Destillation heißt: Ein kleines Modell lernt, die Antworten eines größeren nachzuahmen. Raon-1 mini hat Krafton im Oktober vorgestellt. Laut biz.chosun.com hat die Firma es komplett selbst entworfen und trainiert. Es ist ein Mixture-of-Experts-Modell (MoE) mit 30 Milliarden Parametern, von denen pro Aufgabe nur etwa 4 Milliarden aktiv sind. Bei MoE arbeitet für jede Anfrage nur ein Teil spezialisierter Teilnetze, was Rechenzeit und Betriebskosten senkt. Auch Raon-1 mini steht als Preview unter Apache 2.0 auf Hugging Face. Eine offizielle Version mit vollständigem technischem Bericht soll folgen.
Für die Umwandlung nutzte Krafton die Methode aus seinem Paper „Pruning and Distilling Mixture-of-Experts into Dense Language Models“. Dabei werden die Experten bewertet und zu einer einzigen dichten Feed-Forward-Schicht gebündelt. Danach lernt das so entstandene Modell vom Original. Laut KRAFTON AI wurde das Paper als Oral-Präsentation für die NeurIPS 2026 angenommen. Anschließend trainierte das Team mit 3 Billionen Token weiter. Danach folgten Supervised Fine-Tuning (SFT, Nachtraining mit Beispielantworten), OPD (On-Policy-Destillation) und Reinforcement Learning, also Lernen durch Belohnung.
Benchmarks: stark bei Anweisungen, schwächer bei Wissen und Tools
Krafton vergleicht Raon-1 nano auf der Modellkarte mit Qwen3.5 2B, Gemma 4 E2B, MiniCPM5 2B und LFM3 1.7B. Nach Herstellerangaben liegt Raon-1 nano beim Befolgen von Anweisungen und bei koreanischen Gesprächen vorn. Bei Allgemeinwissen und Tool-Calling liegt es zurück:
| Benchmark | Raon-1 nano | Bester Vergleichswert |
|---|---|---|
| IFBench (Anweisungen befolgen) | 75,9 | Raon-1 nano führt |
| MMLU-Redux (Allgemeinwissen) | 81,1 | 84,0 (MiniCPM5) |
| BFCL v4 (Tool-Calling) | 56,3 | 67,2 (LFM3) |
Einige koreanische Ergebnisse stammen aus internen Tests, die nicht veröffentlicht wurden. Unabhängig überprüfen lassen sie sich also nicht.
Was du zum Ausprobieren brauchst
Anders als Smart Zoi und Ally ist Raon-1 nano nicht an GeForce-RTX-Karten gebunden. Krafton stellt GGUF-Dateien bereit, ein gängiges Format für lokale KI-Programme. Die Größen reichen von 2,08 GB (Q4_K_M) bis 6,27 GB (F16), dazu kommen Q6_K, Q8_0 und MTP-Varianten. Für die kleine 4-Bit-Version genügt eine Grafikkarte mit rund 3 bis 4 GB VRAM. Notfalls läuft sie auch auf der CPU, dann langsamer. Wer den sehr langen Kontext nutzt, braucht zusätzlich bis zu etwa 1,75 GiB für den KV-Cache. Ein paar Gigabyte freier Speicherplatz reichen.
Es gibt aber einen Haken: Die GGUF-Anleitung der Modellkarte setzt Kraftons eigenen Branch raon-1-nano-preview von llama.cpp voraus. Programme auf Basis des offiziellen llama.cpp, etwa Ollama und LM Studio, können das Modell erst nutzen, wenn die Unterstützung dort eingebaut ist. Auch vLLM braucht einen Krafton-Fork. Ohne Fork laufen laut Karte Hugging Face Transformers (mit aktiviertem Remote Code) und SGLang.
Für Macs mit Apple-Silicon gibt es eine 4-Bit-Version für MLX, deren optimierte Kernels nur mit mlx 0.32.4 laufen. Außerdem gibt es ein 4-Bit-Paket für Googles On-Device-Laufzeit LiteRT-LM. Es ist auf 4.096 Token Kontext begrenzt und antwortet ohne Denkmodus. Getestet wurde dieses Paket laut Karte auf einer Apple-Silicon-GPU, nicht auf einem Smartphone. Im Hauptmodell ist der Denkmodus standardmäßig an. Krafton empfiehlt eine Temperatur von 0,1 und eine Presence Penalty von 1,5.
Einordnung
Raon-1 nano zeigt, dass Krafton bei der Spiele-KI unabhängiger von Nvidia werden will. Bislang hängen beide ausgelieferten KI-Figuren an Nvidias Minitron-Modellen und an RTX-Hardware. Ein eigenes Modell, das auch auf anderen Grafikkarten, Macs und womöglich Handys läuft, würde den möglichen Kundenkreis deutlich vergrößern. Die Modellkarte nennt ausdrücklich „mobile control“ als Einsatzzweck. Das passt zu Kraftons Geschäft: Mobile-Titel wie PUBG Mobile, BGMI und Peacekeeper Elite brachten im dritten Quartal gut die Hälfte des Umsatzes. Ein KI-Teamkollege für Mobile-Spiele ist aber nicht angekündigt.
Für Bastler ist das Modell eine weitere kleine, frei lizenzierte Option. Interessant sind der sehr lange Kontext und die starke Leistung beim Befolgen von Anweisungen. Wer vor allem Wissensfragen stellt oder Tools zuverlässig aufrufen will, ist laut Kraftons eigenen Zahlen mit LFM3 oder MiniCPM5 eventuell besser bedient. Die Abhängigkeit von Forks dürfte den Einstieg vorerst bremsen, bis die Unterstützung im offiziellen llama.cpp landet. Die Benchmarks stammen vom Hersteller, die koreanischen Werte teils aus unveröffentlichten Tests. Die Raon-Familie umfasst seit April bereits offene Modelle für Sprache, Voice-Chat, Sprachausgabe und Bildverständnis. Laut koreanischen Berichten hat das Forschungsteam neun Main-Track-Paper auf der NeurIPS 2026, weitere Veröffentlichungen sind angekündigt.
Quellen
- Bing News (en-CA) talkesport.com
- biz.chosun.com biz.chosun.com
Selbst ausprobieren: Raon-1 nano
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Raon-1 nano ist ein kleiner Chat-Assistent für Koreanisch und Englisch, der komplett auf deinem Rechner läuft. Er ist darauf trainiert, Anweisungen genau zu befolgen, etwa ein bestimmtes Antwortformat oder eine Rolle. Er kann über mehrere Runden Gespräche führen und Werkzeuge aufrufen. Mit bis zu 262.144 Token Kontext kann er theoretisch sehr lange Texte auf einmal lesen. Laut Krafton schlägt er beim Anweisungs-Benchmark IFBench (75,9) gleich große Modelle wie Qwen3.5 2B oder Gemma 4 E2B. Bei Allgemeinwissen (MMLU-Redux 81,1 gegenüber 84,0 bei MiniCPM5) und beim Tool-Calling (BFCL v4 56,3 gegenüber 67,2 bei LFM3) liegt er zurück. Wie bei allen Modellen dieser Größe solltest du keine Fachkompetenz erwarten, Fakten können falsch sein. Deutsch wird nicht offiziell unterstützt, Englisch funktioniert verlässlicher.
Für wen lohnt es sich?
Interessant für Bastler, Spieleentwickler und alle, die ein sehr kleines, kommerziell nutzbares Modell für lokale Assistenten, NPCs oder Automatisierung suchen. Wer Koreanisch braucht, findet hier eine seltene Stärke. Wer nur bequem per Ollama oder LM Studio klicken will, sollte warten, bis die Unterstützung dort angekommen ist.
Ideen: Was du damit anstellen kannst
Gib dem Modell eine Rollenbeschreibung, etwa Wirt, Wache oder Händler, und lass es Spielerfragen beantworten. Weil es klein ist, kann es neben einer Spiel-Engine auf demselben PC laufen. Heraus kommt eine Figur, die frei und trotzdem in ihrer Rolle antwortet.
Lass das Modell aus E-Mails, Notizen oder Rezepten feste Felder wie Datum, Ort oder Zutaten als JSON herausschreiben. Dank der Stärke beim Befolgen von Anweisungen hält es Formate meist gut ein. Das eignet sich für kleine Automatisierungen ohne Cloud.
Übersetze Alltagssätze ins Koreanische und lass dir Höflichkeitsformen und Grammatik erklären. Koreanische Gespräche sind laut Krafton eine besondere Stärke des Modells. Prüfe wichtige Formulierungen trotzdem mit einem Wörterbuch.
Füge ein langes Handbuch oder Protokoll ein und stelle Fragen dazu. Der große Kontext von bis zu 262.144 Token macht das möglich, braucht aber mehr Speicher. Sensible Dokumente verlassen dabei nie deinen Rechner.
Mit der 4-Bit-MLX-Version läuft das Modell auf Apple-Silicon-Macs. So hast du einen kleinen Assistenten für Zusammenfassungen und Textentwürfe, der auch im Zug ohne Internet funktioniert.
Was dein Rechner braucht
Welche Variante passt zu mir?
Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.
| Variante | Download | Braucht ca. | Passende Grafikkarten |
|---|---|---|---|
Q4_K_M Standard |
2,1 GB | 3,5 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
Q6_K |
2,6 GB | 4 GB | fast jede Grafikkarte ab 4 GB (z. B. GTX 1650, RTX 3050) |
Q8_0 |
3,4 GB | 5 GB | z. B. RTX 2060, RTX 3050 8 GB, RX 6600 |
F16 |
13 GB | 15 GB | z. B. RTX 4060 Ti 16 GB, RTX 4080, RTX 5080, RX 7800 XT |
Für die meisten reicht die GGUF-Version Q4_K_M (2,08 GB). Sie läuft auf fast jeder Grafikkarte mit 3 bis 4 GB VRAM oder notfalls auf der CPU. Mit mehr Speicher bieten Q6_K oder Q8_0 etwas bessere Qualität, F16 (6,27 GB) ist die unverkleinerte Fassung. Mac-Nutzer mit Apple Silicon nehmen die 4-Bit-MLX-Version. Das LiteRT-LM-Paket ist für Googles On-Device-Laufzeit gedacht, aber auf 4.096 Token und Antworten ohne Denkmodus beschränkt.
- Die GGUF-Version Q4_K_M ist nur 2,08 GB groß, F16 braucht 6,27 GB. Eine Grafikkarte mit 3 bis 4 GB VRAM genügt für die 4-Bit-Version.
- Anders als Kraftons Spiele-KI ist das Modell nicht an GeForce-RTX-Karten gebunden.
- Der KV-Cache braucht etwa 7 KiB pro Token in BF16, bei vollen 262.144 Token also rund 1,75 GiB zusätzlich. Für normale Chats reicht ein kleinerer Kontext.
- Für Apple Silicon gibt es eine 4-Bit-MLX-Version, deren optimierte Kernels nur mit mlx 0.32.4 laufen.
- Das LiteRT-LM-Paket wurde laut Modellkarte nur auf einer Apple-Silicon-GPU getestet, nicht auf einem Smartphone.
- Ohne Grafikkarte läuft das Modell wegen seiner geringen Größe auch auf der CPU, dann aber langsamer.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Google Colab (im Browser, ohne Installation)
Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.
- Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
- Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
- Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei
colab.ipynbauswählen. - Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
- Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
- Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 5 Minuten.
- Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
- Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.
Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.
Windows 10 / 11
Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.
- Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
- Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
- Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
- Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
Beim ersten Mal lädt Ollama das Modell herunter (2,1 GB (bei 100 MBit/s ca. 3 Min.)). Danach geht es sofort.ollama run hf.co/KRAFTON/Raon-1-nano-gguf:Q4_K_M - Losschreiben. Sobald
>>> Send a messageerscheint, deine Frage eintippen und Enter drücken. Mit/byebeendest du den Chat.
Zu wenig Speicher? Nimm eine kleinere Variante aus der Tabelle oben, z. B. ollama run hf.co/KRAFTON/Raon-1-nano-gguf:Q4_K_M.
Lieber automatisch? Skript, das die passende Variante selbst auswählt
- Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
- Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.
- Diesen Befehl einfügen und Enter drücken:
powershell -ExecutionPolicy Bypass -File try_windows.ps1
Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.
macOS
Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.
- Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
- Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
- Modell starten. Befehl einfügen (Cmd + V) und Enter:
Beim ersten Mal wird das Modell heruntergeladen (2,1 GB (bei 100 MBit/s ca. 3 Min.)).ollama run hf.co/KRAFTON/Raon-1-nano-gguf:Q4_K_M - Losschreiben. Frage eintippen, Enter. Mit
/byebeenden.
Linux
- Grafikkarte prüfen.
nvidia-smisollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:sudo ubuntu-drivers install - Ollama installieren:
curl -fsSL https://ollama.com/install.sh | sh - Modell starten:
Mitollama run hf.co/KRAFTON/Raon-1-nano-gguf:Q4_K_M/byebeenden. Mitollama pssiehst du, ob das Modell auf der GPU läuft. - Oder automatisch die passende Variante wählen lassen:
bash try_linux.sh # mit Python/transformers statt Ollama: MODE=hf bash try_linux.sh
Das kannst du ausprobieren
Erkläre in drei kurzen Sätzen, wie ein Kühlschrank funktioniert.Antworte nur im JSON-Format mit den Feldern 'titel' und 'zutaten': Schlage mir ein schnelles vegetarisches Abendessen vor.Du bist ein mürrischer Händler in einem Fantasy-Spiel. Ich möchte ein Schwert kaufen, habe aber nur 10 Goldmünzen. Bleib in deiner Rolle.Fasse den folgenden Text in genau fünf Stichpunkten zusammen und nenne am Ende eine offene Frage: [Text einfügen]Translate into Korean and explain the politeness level you chose: 'Could you please help me find the train station?'
Tipps für bessere Ergebnisse
- Nutze die von Krafton empfohlenen Einstellungen: Temperatur 0,1 und Presence Penalty 1,5.
- Formuliere Anweisungen klar und konkret, etwa mit Format, Länge und Rolle. Genau darin ist das Modell laut Benchmarks am stärksten.
- Für Wissensfragen die Antworten gegenprüfen. Bei MMLU-Redux liegt das Modell hinter Konkurrenten wie MiniCPM5.
- Stell den Kontext nur so groß ein, wie du ihn brauchst. Das spart Grafikspeicher, besonders neben einem laufenden Spiel.
- Für schnelle, kurze Antworten ohne Denkphase eignet sich die LiteRT-LM-Variante, die ohne Denkmodus antwortet.
Wenn es hakt
Die GGUF-Dateien brauchen laut Modellkarte Kraftons eigenen llama.cpp-Branch 'raon-1-nano-preview'. Mit dem normalen llama.cpp klappt es vorerst nicht.
Ollama und LM Studio können das Modell erst nutzen, wenn die Unterstützung ins offizielle llama.cpp übernommen wurde. Bis dahin Transformers oder SGLang verwenden.
Bei Hugging Face Transformers musst du Remote Code erlauben (trust_remote_code=True), sonst lädt das Modell nicht.
vLLM funktioniert nur mit einem Krafton-Fork, nicht mit der offiziellen Version.
Die MLX-Version läuft mit ihren optimierten Kernels nur unter mlx 0.32.4. Bei Fehlern genau diese Version installieren.
Der Denkmodus ist standardmäßig an. Dadurch kommen Antworten verzögert und können lange Überlegungen enthalten. Das ist kein Fehler.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.