JetBrains Mellum2.1: kleines 12B-MoE-Modell für Coding-Agenten unter Apache 2.0

Worum es geht

JetBrains, bekannt für IntelliJ IDEA und PyCharm, hat auf Hugging Face das Modell Mellum2.1 Thinking (JetBrains/Mellum2.1-12B-A2.5B-Thinking) veröffentlicht. Es ist ein Mixture-of-Experts-Modell (MoE – viele Teilnetze, von denen pro Token nur wenige rechnen) mit 12 Milliarden Parametern insgesamt und 2,5 Milliarden aktiven. Die Lizenz ist Apache 2.0, also auch kommerziell nutzbar. Laut Modellkarte ist es für komplexe agentische Aufgaben gedacht – etwa in einem Repository arbeiten, Befehle ausführen und Tools aufrufen – sowie für schwierige Probleme in Programmierung, Mathematik und logischem Denken.

Ein Hinweis zum Datum: Die Reddit-Meldung stammt vom 2. November 2026; tech-insider.org nennt als Veröffentlichungsdatum den 8. Oktober 2026. Die Angaben passen nicht eindeutig zusammen; vermutlich ist die Version mit MTP-Kopf neuer.

Was neu ist: Reinforcement Learning in echten Umgebungen

Mellum2.1 ist die Weiterentwicklung von Mellum2 Thinking. Die Architektur blieb gleich, nahezu die gesamte Arbeit floss ins Post-Training, vor allem in Reinforcement Learning (RL – das Modell wird für gute Ergebnisse belohnt). Laut JetBrains wurde RL von einer kurzen Schlussphase zum Hauptteil des Trainings:

• Mehr und härter gefilterte Daten: neue RL-Aufgaben in Mathematik, Wettbewerbsprogrammierung, Naturwissenschaften, Tool-Nutzung und Softwareentwicklung, teils aus offenen Datensätzen, teils selbst gebaut; jede Quelle wurde vor dem Training gefiltert.
• Echte Umgebungen: Für Softwareentwicklung trainiert das Modell in realen Repositories mit Shell und Datei-Editor und wird belohnt, wenn die Tests bestehen.

Nach Millionen von Sandbox-Läufen soll das Modell eine Codebasis erkunden, Dateien bearbeiten und seine Änderungen prüfen können. Tech-insider.org spricht von Tausenden Umgebungen.

Technische Daten

Das Modell gibt vor der Antwort sichtbare Gedankengänge in <think>-Blöcken aus. Laut Hugging Face-Dokumentation basiert die Architektur auf Qwen3-MoE mit schichtspezifischen Rotary-Embeddings und abwechselndem Sliding-Window-Attention.

Benchmarks

Alle Werte hat JetBrains selbst mit derselben Pipeline im Thinking-Modus ermittelt; es sind keine unabhängigen Ergebnisse. Verglichen wird mit dem Vorgänger, Gemma 4 (E4B) und Qwen3.5 (9B).

Die Sprünge gegenüber Mellum2 sind enorm, vor allem bei den Agenten-Benchmarks. Der Vorgänger lag dort nahe null, was auch daran liegen kann, dass er nicht auf diese Art Agentenarbeit trainiert war. Gegen Qwen3.5 (9B) liegt Mellum2.1 bei Coding (LiveCodeBench, HumanEval+, MBPP+) und Tool-Nutzung (BFCL) vorn, bei Agenten-Benchmarks, Wissen (GPQA Diamond: 64,6 gegen 77,8) und Sicherheit aber hinten. Die Agenten-Tests nutzten das Open-Source-Gerüst Pi v0.73.1 mit Shell- und Dateitools, 114K Kontext und bis zu 16K Token pro Zug.

Betrieb und Geschwindigkeit

Für das Serving empfiehlt die Karte vLLM mit --max-model-len 131072 --reasoning-parser qwen3, für Tool-Calling zusätzlich --enable-auto-tool-choice --tool-call-parser hermes. SGLang und Docker Model Runner werden ebenfalls aufgeführt. Als Sampling-Einstellungen nennt die Karte temperature 0.6, top_p 0.95 und top_k 20, bis 81.920 Ausgabetoken.

GGUF-Builds für llama.cpp, Ollama und LM Studio sind laut Modellkarte noch „bald“ erwartet; tech-insider.org erwähnt allerdings bereits GGUF-Quantisierungen wie Q4_K_M, was die Modellkarte so noch nicht bestätigt.

Neu ist ein MTP-Kopf (Multi-Token Prediction): ein zusätzlicher Transformer-Block, der mit trainiert wird und das nächste Token nach dem gerade gewählten vorhersagt. Das Hauptmodell prüft jeden Vorschlag, die Ausgabe bleibt also unverändert. Laut JetBrains läuft die Dekodierung 1,4–1,8-mal schneller bei etwa 90 % akzeptierten Entwürfen. Voraussetzungen: vLLM ab 0.33 (--speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'), transformers ab 5.20 (use_mtp=True) oder llama.cpp mit der GGUF-Variante (--spec-type draft-mtp --spec-draft-n-max 1). Laut tech-insider.org (Herstellerangabe) bedient das Modell unter hoher Last fast doppelt so viele Token wie Qwen3.5-9B, bei Einzelanfragen macht MTP es etwa 1,6-mal schneller.

Was du zum Ausprobieren brauchst

• Grafikkarte: In bfloat16 belegen 12B Parameter etwa 24 GB; für Quantisierungen auf 4 Bit reichen grob 8–10 GB VRAM (Schätzung), sobald GGUFs verfügbar sind. Da nur 2,5B aktiv sind, ist die Generierung relativ flott.
• Arbeitsspeicher: Bei MoE-Modellen kann ein Teil der Experten im RAM liegen; die Quelle nennt dazu keine Zahlen.
• Speicherplatz: rund 24 GB für die bf16-Gewichte, deutlich weniger für quantisierte Versionen.
• Mac/CPU/Colab: Die Modellkarte verlinkt Google Colab und Kaggle als Notebooks. Für CPU und Mac braucht es voraussichtlich die GGUF-Builds mit llama.cpp oder LM Studio.

Einordnung

Mellum2.1 ist ein sinnvoller Schritt für kleine, schnelle und offen lizenzierte Coding-Agenten, die lokal oder on-premise laufen. Laut tech-insider.org positioniert JetBrains das Modell weniger als Konkurrenz zu den größten proprietären Modellen, sondern als Baustein für Routing, Q&A und Sub-Agenten.

Kritisch: Alle Benchmarks sind selbst gemeldet. JetBrains vergleicht nur mit Gemma 4 (E4B) und Qwen3.5 (9B), nicht mit Codestral, Qwen Coder oder DeepSeek Coder; tech-insider.org weist darauf hin, dass Behauptungen eines Sieges über bestimmte Rivalen ohne unabhängige Tests mit Skepsis zu behandeln sind. Die Karte zeigt zudem selbst, dass Qwen3.5 (9B) bei SWE-bench Verified, Terminal-Bench, GPQA und AIME vorn liegt. Die Sicherheitswerte (XSTest 88,8, HarmBench 8,5) sind besser als beim Vorgänger, aber schlechter als bei Qwen3.5. Für lokale Nutzer wird das Modell richtig praktisch, sobald die GGUF-Builds erscheinen.