Raon-1 mini: KRAFTONs 30B-MoE-Modell mit Apache-Lizenz für Koreanisch und Agenten

Der Spielekonzern KRAFTON hat mit Raon-1 mini (Preview) ein selbst trainiertes Sprachmodell mit 28,8 Mrd. Parametern veröffentlicht, von denen pro Token nur 4,3 Mrd. aktiv sind. Es soll besonders bei Koreanisch, Reasoning und Agenten-Aufgaben stark sein und läuft in NVFP4 auf einer RTX 5090.

Modell-Releases Selbst ausprobieren 21. Okt. 2026 4 Min. Lesezeit Quelle: Hugging Face Trending

Das Wichtigste in Kürze

Raon-1 mini ist ein Mixture-of-Experts-Modell mit 28,8 Mrd. Parametern, von denen 4,3 Mrd. pro Token aktiv sind.
Es wurde von KRAFTON AI von Grund auf trainiert und steht unter Apache 2.0; es ist eine Preview, die sich noch ändern kann.
Das Modell unterstützt bis zu 262.144 Token Kontext und die Sprachen Koreanisch, Englisch, Japanisch, Chinesisch, Spanisch, Französisch und Thai.
Hybrid-Architektur: 18 lineare Raon-Delta-Attention-Schichten und 7 volle Attention-Schichten (MLA), der KV-Cache beträgt nur etwa 8 KiB pro Token in BF16.
Mit NVFP4-Quantisierung läuft es laut Hersteller auf einer einzelnen RTX 5090 (32 GB VRAM); MXFP8 gibt es ebenfalls.
Laut Hersteller liegt es u. a. bei GPQA Diamond (84,3), AIME 2026 (93,3) und IFBench (84,2) vor den MoE-Vergleichsmodellen.

Worum es geht

KRAFTON AI, die KI-Abteilung des Spielekonzerns KRAFTON, hat Raon-1 mini preview auf Hugging Face veröffentlicht. Es ist ein Sprachmodell vom Typ Mixture-of-Experts (MoE) – ein Modell, das aus vielen spezialisierten Teilnetzen („Experten“) besteht, von denen pro Wort nur wenige aktiv sind. Raon-1 mini hat insgesamt 28,8 Milliarden Parameter (die beim Training gelernten Stellschrauben), pro Token werden aber nur 4,3 Milliarden genutzt; die Bezeichnung lautet daher „30B-A4B“. Das Modell wurde nach Angaben von KRAFTON von Grund auf selbst trainiert und steht unter der freizügigen Apache-2.0-Lizenz. Es ist ausdrücklich eine Vorabversion: Spezifikationen und Ergebnisse können sich bis zur finalen Fassung ändern. Zum Ausprobieren gibt es außerdem einen zeitlich begrenzten, kostenlosen Playground.

Architektur

Raon-1 mini nutzt ein hybrides Design aus 25 Schichten: 18 davon sind lineare Aufmerksamkeitsschichten (Raon Delta Attention, RDA), 7 sind volle Aufmerksamkeitsschichten (Gated MLA).

Raon Delta Attention (RDA): Entkoppelt die Lösch- und Schreib-Gates von Kimi Delta Attention, was laut Hersteller die Langkontext-Leistung gegenüber KDA verbessert. Diese Schichten haben einen Speicher fester Größe.
Kleiner KV-Cache: Nur die 7 MLA-Schichten halten einen KV-Cache (Zwischenspeicher für bereits gelesenen Text), etwa 8 KiB pro Token in BF16. Das macht lange Kontexte speicherschonender.
Raon-mHC: Eine Variante von DeepSeeks Manifold-Constrained Hyper-Connections mit geringerem Rechenaufwand, was das Training beschleunigt.
Sparse MoE: 6 von 128 Experten plus 1 gemeinsamer Experte sind pro Token aktiv.
Kontext: Nativ bis zu 262.144 Token. Positionskodierung gibt es nicht (NoPE).

Weitere Eckdaten: Hidden Size 2.560, 40 Attention-Köpfe, Vokabular 259.840, SiTU-GLU als Aktivierungsfunktion, ungekoppelter LM-Head.

Fähigkeiten

Reasoning: Eingebautes „Denken“ vor der Antwort.
Mehrsprachigkeit: Trainiert auf Koreanisch, Englisch, Japanisch, Chinesisch, Spanisch, Französisch und Thai; besonders stark auf Koreanisch.
Agenten: Tool-Calling für Agenten-Workflows, unterstützt werden Hermes Agent, Pi und OpenCode.
Spekulatives Decoding: Ein DFlash2-Draftmodell beschleunigt die Textausgabe.
Quantisierung: MXFP8 und NVFP4 stehen bereit; NVFP4 erlaubt Inferenz auf einer einzelnen RTX 5090 mit 32 GB VRAM.

Benchmarks (Herstellerangaben)

Verglichen wird mit MoE-Modellen (Qwen3.6-35B-A3B, Gemma 4 26B-A4B) und Dense-Modellen (Qwen3.8-27B, Muse Glimmer 30B). Die Tabelle zeigt Auszüge:

Benchmark	Raon-1 mini	Qwen3.6-35B-A3B	Gemma 4 26B-A4B	Qwen3.8-27B	Muse Glimmer 30B
MMLU Pro	76,5	85,9	82,9	85,7	84,0
GPQA Diamond	84,3	83,2	80,7	89,7	82,6
AIME 2026	93,3	92,9	87,1	98,8	92,9
HMMT Feb 2026	84,1	84,5	79,9	95,8	74,6
IFBench	84,2	66,6	80,9	82,4	78,7
MultiChallenge	59,0	58,2	58,4	63,6	63,4
LiveCodeBench v6	81,6	81,2	83,4	79,3	77,4
SWE-Verified	70,8	63,2	61,6	74,6	72,0
Terminal-Bench Lite	47,0	63,3	52,0	67,0	70,7
BrowseComp Plus	55,7	34,8	32,2	58,0	52,8

Das Bild ist gemischt: Bei Reasoning, Instruction Following und Suche liegt Raon-1 mini vorn bei den MoE-Modellen, bei Wissen (MMLU Pro) und Terminal-Bench Lite aber deutlich dahinter. Die Tabelle in der Quelle ist abgeschnitten, weitere Benchmarks sind hier nicht erfasst.

Was du zum Ausprobieren brauchst

Laut Hersteller läuft die NVFP4-Version auf einer einzelnen Nvidia RTX 5090 (32 GB VRAM). Für die größeren BF16- oder MXFP8-Gewichte ist deutlich mehr Grafikspeicher nötig (28,8 Mrd. Parameter allein in BF16 sind rund 58 GB). Die Karte nennt Transformers mit custom_code; die Details zu Mac, CPU oder Colab stehen nicht in der Quelle. Eine GGUF-Version ist nicht angegeben. Plane einige zehn Gigabyte Speicherplatz ein. Ohne Installation kannst du den kostenlosen, zeitlich begrenzten Playground nutzen.

Einordnung

Raon-1 mini ist ein interessantes Open-Weight-Modell aus Südkorea, das zeigt, dass Spielekonzerne eigene Basismodelle trainieren. Die Kombination aus wenigen aktiven Parametern, kleinem KV-Cache und 262k Kontext ist für lokalen Betrieb attraktiv. Zu beachten: Alle Benchmarks stammen vom Hersteller, die Preview-Version kann sich noch ändern, und bei Wissen und Terminal-Aufgaben liegt das Modell hinter Konkurrenten. Die stärkeren Dense-Modelle im Vergleich sind teils besser. Für Koreanisch wird starke Leistung behauptet, ein direkter Beleg in den erfassten Tabellen fehlt. Mit nur 249 Downloads zum Erfassungszeitpunkt ist die Community-Erfahrung noch dünn.

Begriffe einfach erklärt

Mixture-of-Experts (MoE): Ein Modell aus vielen spezialisierten Teilnetzen, von denen pro Token nur einige aktiv sind. Das spart Rechenaufwand bei großer Gesamtkapazität.
Aktive Parameter: Der Teil der Gesamtparameter, der pro Token tatsächlich rechnet – hier 4,3 von 28,8 Mrd.
KV-Cache: Zwischenspeicher für bereits verarbeiteten Text; er wächst mit der Kontextlänge und frisst Grafikspeicher.
Lineare Attention: Eine Aufmerksamkeitsvariante mit festem Speicher, die lange Texte günstiger verarbeitet als die klassische volle Attention.
Spekulatives Decoding: Ein kleines Draftmodell rät Wörter voraus, das große Modell prüft sie – das beschleunigt die Ausgabe.
NVFP4 / MXFP8: Platzsparende Zahlenformate mit 4 bzw. 8 Bit, die den Speicherbedarf des Modells stark senken.
Kontextlänge: Wie viel Text das Modell auf einmal berücksichtigen kann, hier bis zu 262.144 Token.

Quellen

Hugging Face Trending huggingface.co

#krafton#raon#moe#koreanisch#apache-2.0#agenten

Originalquelle lesen

Selbst ausprobieren: Raon-1-mini-preview

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

Raon-1 mini ist ein Chat- und Reasoning-Modell, das besonders gut Koreanisch kann, mit Werkzeugen (Tool-Calling) umgehen kann und sehr lange Texte bis 262k Token verarbeitet. Lokal kannst du es als Assistenten oder Agenten-Backend betreiben.

Für wen lohnt es sich?

Für Enthusiasten mit einer starken Nvidia-Karte (z. B. RTX 5090) sowie für alle, die koreanische Texte oder Agenten-Workflows testen wollen. Wer nur eine kleine Grafikkarte hat, wartet besser auf GGUF-Versionen.

Größe28,8 Mrd. Parameter

Download20 GB (bei 100 MBit/s ca. 26 Min.)

Lizenzapache-2.0

ArtSprachmodell (Text-Chat)

Hugging FaceKRAFTON/Raon-1-mini-preview

Was dein Rechner braucht

Grafikkarte (NVIDIA) mind. 23 GB VRAMz. B. RTX 3090, RTX 4090, Tesla P40

Mac (Apple Silicon M1–M5) ab 36 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen

Nur Prozessor (ohne Grafikkarte) Ohne Grafikkarte sehr langsamgeschätzt 3 Wörter pro Sekunde auf einem aktuellen Desktop-PC. Dafür mindestens 32 GB Arbeitsspeicher.

Speicherplatz ca. 22 GB freiModell-Download plus Programme

Google Colab nur mit Colab Probraucht eine A100 mit 40 GB

Welche Variante passt zu mir?

Viele Modelle gibt es in mehreren Größen oder „Quantisierungen“. Das sind komprimierte Fassungen: kleiner und schneller, dafür minimal ungenauer. Faustregel: Nimm die größte Variante, deren Speicherbedarf in deinen Grafikspeicher (VRAM) passt. Die Skripte unten wählen das automatisch für dich aus.

Variante	Download	Braucht ca.	Passende Grafikkarten
`Q4_K_M` Standard	20 GB	23 GB	z. B. RTX 3090, RTX 4090, Tesla P40
`Q5_K_M`	22 GB	26 GB	z. B. RTX 5090
`Q6_K`	26 GB	30 GB	z. B. RTX 5090
`Q8_0`	31 GB	36 GB	z. B. 2× RTX 3090/4090 oder RTX A6000

Für Einzel-GPUs ist die NVFP4-Variante gedacht (läuft laut Hersteller auf einer RTX 5090 mit 32 GB). MXFP8 und BF16 brauchen deutlich mehr Speicher.

NVFP4 läuft laut Hersteller auf einer einzelnen RTX 5090 mit 32 GB VRAM.
Nur 4,3 Mrd. Parameter sind pro Token aktiv, alle 28,8 Mrd. müssen aber im Speicher liegen.
Der KV-Cache ist klein (ca. 8 KiB pro Token in BF16), lange Kontexte sind daher günstiger.
Ein DFlash2-Draftmodell ermöglicht schnelleres spekulatives Decoding.

Zugangsbeschränkt: Du brauchst ein kostenloses Hugging-Face-Konto. Auf der Modellseite einloggen und die Lizenz akzeptieren. Danach einen Zugangsschlüssel („Access Token“, Typ Read) unter huggingface.co/settings/tokens erstellen und vor dem Start einmal hf auth login ausführen.

Wie finde ich heraus, was mein Rechner hat?

Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Google Colab (im Browser, ohne Installation)

Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: nur mit Colab Pro – braucht eine A100 mit 40 GB.

Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
colab.ipynb herunterladen
Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei colab.ipynb auswählen.
Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen (mit Colab Pro: L4 oder A100) → Speichern.
Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 11 Minuten.
Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.

Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.

Windows 10 / 11

Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.

Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
```
ollama run hf.co/KRAFTON/Raon-1-mini-preview-gguf:Q4_K_M
```
Beim ersten Mal lädt Ollama das Modell herunter (20 GB (bei 100 MBit/s ca. 26 Min.)). Danach geht es sofort.
Losschreiben. Sobald >>> Send a message erscheint, deine Frage eintippen und Enter drücken. Mit /bye beendest du den Chat.

Zu wenig Speicher? Nimm eine kleinere Variante aus der Tabelle oben, z. B. ollama run hf.co/KRAFTON/Raon-1-mini-preview-gguf:Q4_K_M.

Lieber automatisch? Skript, das die passende Variante selbst auswählt

Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.

Diesen Befehl einfügen und Enter drücken:

powershell -ExecutionPolicy Bypass -File try_windows.ps1

Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.

macOS

Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.

Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
Modell starten. Befehl einfügen (Cmd + V) und Enter:
```
ollama run hf.co/KRAFTON/Raon-1-mini-preview-gguf:Q4_K_M
```
Beim ersten Mal wird das Modell heruntergeladen (20 GB (bei 100 MBit/s ca. 26 Min.)).
Losschreiben. Frage eintippen, Enter. Mit /bye beenden.

Automatisch die passende Variante wählen

try_mac.sh

cd ~/Downloads
bash try_mac.sh

Linux

Grafikkarte prüfen. nvidia-smi sollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:
```
sudo ubuntu-drivers install
```

Ollama installieren:

curl -fsSL https://ollama.com/install.sh | sh

Modell starten:
```
ollama run hf.co/KRAFTON/Raon-1-mini-preview-gguf:Q4_K_M
```
Mit /bye beenden. Mit ollama ps siehst du, ob das Modell auf der GPU läuft.

Oder automatisch die passende Variante wählen lassen:

try_linux.sh

bash try_linux.sh
# mit Python/transformers statt Ollama:
MODE=hf bash try_linux.sh

Das kannst du ausprobieren

Erkläre mir Schritt für Schritt, wie man die Summe der ersten 100 Quadratzahlen berechnet.

Übersetze diesen Absatz ins Koreanische und erkläre kurz die Höflichkeitsstufen: 'Danke für deine Hilfe gestern.'

Schreibe ein Python-Skript, das alle CSV-Dateien in einem Ordner zusammenführt, und erkläre den Code.

Wenn es hakt

Das Modell nutzt custom_code, daher muss beim Laden mit Transformers trust_remote_code erlaubt werden.

Es ist eine Preview – Ergebnisse können sich in der finalen Version ändern.

Eine GGUF-/Ollama-Version ist laut Quelle nicht verfügbar; NVFP4 setzt passende Nvidia-Hardware voraus.

Zum schnellen Testen ohne Installation kann der kostenlose Playground genutzt werden.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.