Unsloth: Flint als GGUF für lokale Coding-Agenten

Worum es geht

Unsloth hat GGUF-Quantisierungen von Flint veröffentlicht, einem Mixture-of-Experts-Modell der Firma Recursive für Coding-Agenten. Flint soll Codebasen untersuchen, Bugs beheben, Features implementieren und Tests schreiben. Die GGUF-Varianten machen es für lokale Runtimes zugänglich.

Die wichtigsten Fakten

• 39,8 Mrd. Parameter gesamt, ca. 2,5 Mrd. aktiv pro Token (256 Experten, 6 aktiv plus ein Shared Expert).
• Lizenz: Apache 2.0.
• Kontext: 262.144 Tokens; 49 Layer, davon 35 mit Sliding-Window-Attention und 14 mit Full Attention.
• Laut Hersteller: 54,9 % Terminal-Bench 2.1, 89,7 % SWE-bench Pro v2, 74,2 % SWE-bench Verified (eigene Evaluation, Vergleichswerte teils herstellerseitig).
• Empfohlene Sampling-Werte: Temperatur 1.0, top-p 0.95, top-k 20; für schwere Aufgaben mindestens 32.768 Output-Tokens.
• Unsloth nutzt imatrix-basierte Dynamic-3.0-Quants und liefert eine Anleitung sowie Benchmarks zu KLD und Top-1-Genauigkeit.

Einordnung

Da nur etwa 2,5B Parameter aktiv sind, dürfte Flint trotz der Gesamtgröße vergleichsweise schnell laufen, der Speicherbedarf richtet sich aber nach den 40B Gesamtgewichten. Für Hobby-Setups mit viel RAM ist das interessant. Die Benchmarkwerte stammen vom Hersteller und sollten unabhängig überprüft werden. Ob ein Ollama-Eintrag existiert, ist unklar.