Mistral Large 4 „Le Chonk“: 1-Billion-Parameter-Modell als Open Weights

Worum es geht

Mistral AI aus Paris hat die Gewichte von Mistral Large 4 veröffentlicht, intern „Le Chonk“ genannt. Das Modell hatte drei Wochen zuvor als öffentliche Vorschau (Preview) debütiert. „Gewichte“ sind die beim Training gelernten Zahlenwerte des Modells. Wer sie hat, kann das Modell selbst betreiben und anpassen. Das Modell nimmt Text und Bilder entgegen und liefert Text und Code. Mistral betont, es sei komplett in Europa von Grund auf trainiert worden, und vermarktet es als Baustein für „souveräne KI“.

Die Gewichte liegen auf Hugging Face. Zugriff gibt es außerdem über Mistral Studio, die Mistral-API, OpenRouter, Microsoft Foundry und NVIDIA-Endpunkte.

Architektur und Technik

Laut Hugging-Face-Blog ist Mistral Large 4 ein Mixture-of-Experts-Modell (MoE). Dabei besteht das Netz aus vielen spezialisierten Teilnetzen („Experten“), von denen pro Token nur wenige aktiv sind. Insgesamt hat es etwa 1 Billion Parameter (grob die Stellschrauben, die das Modell gelernt hat). Aktiv sind laut Hugging Face 49 Mrd. pro Token, The Decoder nennt 52 Mrd. Der Repo-Name „A52B“ spricht für die 52er-Angabe; die Quellen widersprechen sich also.

Details aus dem Blog:

• 72 Schichten, Hidden-Dimension 6.144, 64 Attention-Köpfe.
• Multi-head Latent Attention (MLA) mit komprimiertem Zwischenspeicher, kombiniert mit einem DeepSeek-Sparse-Attention-Indexer, der pro Anfrage bis zu 2.048 frühere Positionen auswählt.
• Die erste Schicht ist dicht, die übrigen 71 sind MoE-Blöcke: Ein Router wählt 4 von 128 Experten, dazu läuft ein gemeinsamer Experte, also 5 aktive Experten pro Token.
• Ein 1,6 Mrd. Parameter großer Pixtral-Bildencoder verarbeitet Bilder.
• Das Kontextfenster umfasst 1 Mio. Tokens. Laut Mistral kann das Modell 160+ Sprachen.

Es gibt drei Reasoning-Stufen (Low, Medium, High; High ist Standard). Reasoning bedeutet, dass das Modell vor der Antwort „nachdenkt“. Laut Hugging Face lässt es sich nicht abschalten; „none“ nutzt dann trotzdem High.

Coding-Leistung

Nach drei weiteren Wochen Reinforcement Learning (Training durch Belohnung für richtig gelöste Aufgaben) meldet Mistral deutliche Fortschritte. Die Zahlen sind überwiegend Herstellerangaben:

Bei blinden Vergleichen von Surge Code zogen Tester Large 4 häufiger vor als GLM-5.3, Kimi K3 und DeepSeek V4.1 Flash. Gegen Claude Opus 5.5 gewann es laut The Decoder nur 22 Prozent der Vergleiche. Der Hugging-Face-Blog nennt abweichende Werte (zum Beispiel 28,3 % auf Terminal-Bench 4 und 93,3 % bei B3), vermutlich aus der Preview-Phase.

Cybersicherheit

Mistral will das Modell für Verteidiger positionieren: Schwachstellen finden, reproduzieren und patchen. Auf dem Artificial Analysis Cyber Index erreicht es laut Mistral 51 Prozent. The Decoder merkt an, dass in Mistrals eigener Grafik DeepSeek V4.1 Flash (57 %) und MiMo-V2.6-Pro (56 %) vorn liegen, Large 4 also nur Dritter unter den offenen Modellen ist. Die Preview hatte 50 Punkte, der Zuwachs ist gering. Der Hugging-Face-Blog nennt 82 Prozent für den Teiltest „Reproduzieren und Patchen“ und 93 Prozent bei Cybench.

Bösartige Cyber-Anfragen lehnt das Modell laut Mistral zu durchschnittlich 96,6 Prozent ab. Mistral räumt zugleich ein, das Modell könne echte Angriffe erleichtern, und will die Schutzmechanismen in den kommenden Monaten verschärfen. Partner wie Orange Cyberdefense testen eine Spezialvariante für Penetrationstests, mit Prüfung und vertraglichen Auflagen.

Preis, Lizenz, Verfügbarkeit

Die API kostet 0,70 Dollar pro Mio. Eingabe-Tokens, 0,07 Dollar für zwischengespeicherte Eingaben und 2,10 Dollar pro Mio. Ausgabe-Tokens. In der Preview waren es 1,36 und 4,18 Dollar. Die Lizenz erlaubt Nutzung, Anpassung, Feintuning und kommerzielle Verwendung. Nur wer das Modell als Cloud-Dienst (Model-as-a-Service) anbietet, braucht eine separate Lizenz.

Unternehmen können das Modell mit Mistral Forge auf eigene Daten zuschneiden. Mistral kündigt an, Large 4 solle Grundlage weiterer spezialisierter Modelle werden. Zu kleineren Varianten äußerte sich das Unternehmen nicht.

Unabhängige Messungen

Artificial Analysis hat Version 5 seines Intelligence Index veröffentlicht. Large 4 (High) erreicht 26 Punkte, die Preview 25. DeepSeek V4.1 Flash und GLM-5.3 kommen auf 32, MiMo-V2.6-Pro auf 30, der Median ähnlich großer offener Modelle liegt bei 23. Spitzenreiter sind Gemini 4 Carbon (59, derzeit nur für ausgewählte Cyber-Partner) und Claude Opus 5.5 (58). Bester offener Wert ist Kimi K3.1 Pro mit 46, dessen Gewichte aber erst bis 4. November erscheinen sollen.

Stärken sind Tempo und Kosten: 161 Tokens pro Sekunde (Preview: 111), eine Indexaufgabe kostet im Schnitt 2,06 Dollar (Preview: 5,54). Das ist günstiger als GLM-5.3 (5,01 $), aber teurer als DeepSeek V4.1 Flash (0,60 $). Der Tokenverbrauch sank von 150 auf 110 Mio., liegt aber leicht über dem Median von 100 Mio.

Was du zum Ausprobieren brauchst

Das Modell ist für Rechenzentren gedacht. Laut SGLang-Dokumentation läuft die Standardversion auf acht Nvidia-B300-GPUs, eine stärker komprimierte Variante auf vier GB300. Der NVFP4-Checkpoint in vLLM benötigt Blackwell-GPUs. Eine normale Heim-GPU reicht nicht. Über llama.cpp gibt es GGUF-Quantisierungen (etwa Q2_K) von Unsloth und dem llama.cpp-Team. Selbst diese erfordern sehr viel Arbeitsspeicher, genaue Werte nennt die Quelle nicht. Zum bloßen Testen sind API, OpenRouter oder Inference Providers praktischer.

Einordnung

Ein offenes Modell dieser Größe aus Europa ist bemerkenswert, besonders für Organisationen, die Wert auf Datenhoheit legen. Im Coding führt es offene Modelle an, liegt aber weit hinter Claude Opus 5.5 und dürfte durch Kimi K3.1 Pro bald überholt werden. Im Gesamtindex bleibt es hinter chinesischen Modellen. Die „Führung“ bei Cyberabwehr relativiert die Gegenrechnung von The Decoder. Viele Zahlen sind Herstellerangaben, und die Quellen widersprechen sich teils bei aktiven Parametern und Benchmarkwerten.