Spark-X2.6-4B: Kompaktes Agenten-Modell für Geräte, Apache 2.0

Worum es geht

Das SparkLLM-Team hat auf Hugging Face das Modell Spark-X2.6-4B veröffentlicht. Es ist ein kompaktes, allgemein einsetzbares Sprachmodell mit etwa 4,1 Milliarden Parametern (Parameter sind grob gesagt die Stellschrauben, die das Modell beim Training gelernt hat). Es ist für den Einsatz direkt auf Geräten gedacht, also ohne große Rechenzentren. Die Lizenz ist Apache 2.0, die Gewichte sind frei herunterladbar. Unterstützt werden Englisch und Chinesisch.

Das Modell erscheint laut Modellkarte gut einen Monat nach Spark-X2.5. Der Hersteller betont, die Architektur sei exakt dieselbe wie bei Spark-X2.5-4B. Die Fortschritte stammen also nicht aus einem neuen Aufbau, sondern aus verbessertem Post-Training. Das ist die Phase nach dem Grundtraining, in der das Modell auf Aufgaben, Werkzeugnutzung und Antwortverhalten getrimmt wird.

Was das Modell können soll

Der Hersteller nennt Verbesserungen bei Coding, Agenten-Aufgaben, langem Kontext, Mehrsprachigkeit und logischem Denken. Mit „Agenten“ sind Abläufe gemeint, in denen das Modell Werkzeuge aufruft, mehrstufig plant und zum Beispiel Software-Aufgaben erledigt. Laut Modellkarte erreicht es unter ähnlich großen Open-Source-Modellen Spitzenwerte und erreicht oder übertrifft teils Modelle mit etwa 9 Milliarden Parametern.

Ein besonderes Merkmal ist das steuerbare Denkbudget. Es gibt drei Stufen: none, low und high. Anwendungen können damit abwägen zwischen Qualität der Überlegung, Antwortzeit und Rechenkosten. Im Standard ist das Denken über die Chat-Vorlage aktiviert; pro Anfrage lässt es sich mit enable_thinking: false abschalten.

Benchmarks und Effizienz

Die Modellkarte vergleicht das Modell mit führenden On-Device-Modellen ähnlicher Größe in den Bereichen Agenten, Code, Mathematik, Allgemeinwissen und Wissen. Genannt werden Qwen3.5-4B und Gemma-E4B als Vergleich bei der Inferenzeffizienz. Spark-X2.6-4B soll hier gleichauf oder besser liegen und zugleich leistungsfähiger sein. Die konkreten Zahlen stehen nur in Grafiken, die im Text nicht vorliegen. Es handelt sich ausschließlich um Herstellerangaben ohne unabhängige Überprüfung.

Technik und Einsatzmöglichkeiten

Die Modellkarte listet viele Laufzeitumgebungen:

• Transformers (Version 4.57.1 erforderlich, trust_remote_code=True nötig)
• SGLang und vLLM als Server mit OpenAI-kompatibler Schnittstelle, auch für Ascend-NPUs von Huawei; für vLLM wird zusätzlich ein Spark-Plugin installiert
• MLX über das Projekt Spark-MLX-LLM für Apple Silicon, Linux-CPU und NVIDIA-CUDA
• llama.cpp (ab Build b10828), Ollama (ab v0.34.1, Tag SparkLLM/Spark-X2.6-4B) und LM Studio (ab 0.4.0)
• Unsloth Studio für GGUF-Inferenz; zum Feintuning wird Llama-Factory empfohlen

Im Beispiel für SGLang wird eine Kontextlänge von 1.048.576 Tokens eingestellt. Das braucht laut Karte entsprechend viel Speicher, und bei Bedarf sollte der Wert gesenkt werden. Empfohlene Sampling-Werte: Temperatur 1.0, top_p 0.95.

Was du zum Ausprobieren brauchst

Ein 4-Milliarden-Modell läuft in 4-Bit-Quantisierung (stark komprimierte Gewichte) mit grob 3–4 GB Grafikspeicher. In voller Genauigkeit (bf16) sind es etwa 8–9 GB. Beides sind Schätzungen, die Karte nennt keine Zahlen. Zusätzlich frisst langer Kontext Speicher, also lieber kürzere Kontextlängen wählen. Etwa 10 GB freier Speicherplatz reichen für die Gewichte. Auf einem Mac mit Apple Silicon geht es über MLX, ohne GPU über die CPU-Variante von Spark-MLX-LLM, aber langsamer. Ollama und LM Studio sind der einfachste Einstieg.

Einordnung

Kleine Modelle für Geräte sind gefragt, weil sie Datenschutz und niedrige Kosten bieten. Spark-X2.6-4B tritt gegen Qwen3.5-4B und Gemma-E4B an. Die freie Apache-2.0-Lizenz und die breite Werkzeugunterstützung sind praktisch. Kritisch: Alle Leistungsaussagen sind Herstellerangaben, die Zahlen liegen nur als Grafik vor. Die Modellkarte spricht von „spark2_5“ als Architekturnamen und benötigt trust_remote_code, was bedeutet, dass beim Laden fremder Code ausgeführt wird. Das sollte man bewusst abwägen. Auch ist die Rede von GGUF, doch das Repository selbst enthält keine GGUF-Dateien. Ob die Qualität im Alltag, besonders auf Deutsch, überzeugt, ist offen, denn genannt werden nur Englisch und Chinesisch.