Groot-280B-A16B: Open-Weight-Modell mit 1M Kontext, abgeleitet von DeepSeek

Worum es geht

Unter dem Namen „Groot“ hat ein „GrootTeam“ auf Hugging Face eine Familie von Open-Weight-Reasoning-Modellen veröffentlicht. Die größte Variante, Groot-280B-A16B-261023, hat rund 280 Mrd. Parameter, von denen pro Token etwa 16 Mrd. aktiv sind. Der Hersteller beschreibt die Modelle als kompakt, leicht zu betreiben, stark bei Reasoning und Werkzeugnutzung und sparsam im Token-Verbrauch. Auf Reddit (r/LocalLLaMA) wurde das Modell als möglicherweise „bestes Modell unter 500B Parametern“ gepostet. Der Autor ergänzt aber, es handle sich offenbar um REAPs verschiedener DeepSeek- und Qwen-Modelle. REAP bezeichnet vermutlich das Beschneiden wenig genutzter Experten eines MoE-Modells; die Modellkarte erklärt das selbst nicht. Ob jemand die Modelle bereits ausprobiert hat, ist offen.

Aufbau und Technik

Laut Modellkarte startet Groot-280B von DeepSeek-V4.1-Flash-1017. Es ist ein nativ multimodales Mixture-of-Experts-Modell – bei dieser Bauweise sind viele Teilnetze („Experten“) vorhanden, pro Token wird aber nur ein kleiner Teil genutzt. Die Eckdaten:

• 40 Schichten (20 Encoder- und 20 Decoder-Schichten), Hidden Size 5120
• 192 geroutete Experten plus 1 geteilter, davon 6 aktiv pro Token
• aktive Parameter: etwa 8 Mrd. im Prefill (Verarbeitung der Eingabe), etwa 16 Mrd. im Decode (Erzeugung der Antwort)
• zusätzlich 197 Mrd. Parameter „Engram“-Speicher, eine Token-Nachschlagetabelle, die laut Karte keine aktive Rechenlast erzeugt, aber in der Dateigröße enthalten ist
• 14 Mrd. Parameter für MTP- und DSpark-Draft-Schichten (Multi-Token-Prediction und spekulatives Decoding: das Modell rät mehrere Tokens voraus, um schneller zu werden)
• Kontextlänge 1 Mio. Tokens

Das Modell läuft standardmäßig im Thinking-Modus. Die Denktiefe lässt sich per Ganzzahl von 1 bis 100 steuern (reasoning_effort); die Stufen low/medium/high/max entsprechen 50/62/75/100. Alle Benchmarks laufen laut Hersteller mit Maximalwert 100.

Benchmarks und Kosten (Herstellerangaben)

Der Hersteller wirbt mit dem höchsten 16-Benchmark-Durchschnitt aller gezeigten Modelle unter 552B Parametern. Der Vorsprung ist allerdings minimal.

Groot schlägt beide Konkurrenten in 8 von 16 Benchmarks. Die größten Abstände: NL2Repo-Bench 56,71 (gegen 48,57 / 39,20), SWE-bench Pro 63,47 (gegen 57,59 / 59,37) und AutomationBench 50,61 (gegen 46,44 / 40,33). Bei DeepSWE 1.1 erreicht es 64,2 % pass@1 bei etwa 0,13 US-Dollar pro Aufgabe; GLM-5.3-Flash kommt auf 63 % bei 0,24 Dollar, DeepSeek-V4-Flash auf 53 % bei 0,46 Dollar. Für die Tests nennt der Hersteller Temperatur 1.0, top_p 0.95 und 1M Kontext. Teils kamen Agenten-Gerüste wie Claude Code zum Einsatz, bei HLE mit Werkzeugen diente gpt-5.5 als Bewerter.

Zu den kleineren Varianten zitiert der Reddit-Post die Herstellerkarte: Groot-19B-A3B erreiche höhere Werte als die größeren Qwen3.6-35B-A3B und Gemma-4-26B-A4B und antworte kürzer.

Was du zum Ausprobieren brauchst

Das 280B-Modell ist nichts für normale Heim-PCs. Die FP8/FP4-Fassung wiegt 365,8 GB, die GGUF-Variante (UD-Q4_K_XL) 356,2 GB. Für den vollen 1M-Kontext komplett auf GPU nennt der Hersteller 4x 96-GB-Karten (H20, RTX PRO 6000 Blackwell), 4x H200, 8x H100 oder 2x B300. Wer weniger VRAM hat, muss Teile in den Arbeitsspeicher auslagern; konkrete Offloading-Werte nennt die Quelle für Groot nicht (nur für DeepSeek: mindestens 256 GB Host-Speicher). Du brauchst also Hunderte GB Speicherplatz und sehr viel RAM. Realistischer für Einsteiger sind die kleineren Varianten (19B-A3B, 65B-A6B), zu denen die Quelle aber keine Details liefert. Serviert wird mit vLLM oder SGLang (Tensor-Parallel 8 im Beispiel) oder per Transformers; Google Colab reicht für die große Variante nicht.

Einordnung

Interessant ist das Release für alle, die große, lokal betreibbare Agenten-Modelle suchen: Die Zahlen deuten an, dass ein verkleinertes Modell mit größeren mithalten kann – bei geringeren Kosten pro Aufgabe. Kritisch zu sehen: Alle Zahlen stammen vom Hersteller selbst, unabhängige Tests fehlen. Der Vorsprung im Durchschnitt (58,85 vs. 58,78) liegt praktisch im Rauschen. Zudem ist die Herkunft laut Reddit-Hinweis eine Ableitung bestehender DeepSeek-/Qwen-Modelle, die Modellkarte nennt selbst DeepSeek-V4.1-Flash-1017 als Ausgangspunkt. Die Lizenz geht aus der Quelle nicht hervor – vor kommerzieller Nutzung prüfen. Auch der Vergleich zur Hardware wirkt etwas selektiv: Der Hersteller hebt hervor, dass Groot auf 4x 96 GB voll auf GPU läuft, DeepSeek dort aber nicht.