Recursive Flint: 40B-MoE-Modell für Coding-Agenten unter Apache 2.0

Worum es geht

Das Unternehmen Recursive hat auf Hugging Face das Modell Flint (RecursiveSI/flint) veröffentlicht. Es ist ein Sprachmodell, das speziell für Coding-Agenten gedacht ist, also KI-Programme, die selbstständig Code-Repositories untersuchen, Fehler beheben, Funktionen implementieren und Tests schreiben. Die Gewichte stehen unter der Apache-2.0-Lizenz zum Download bereit, die auch kommerzielle Nutzung erlaubt. Das Modell verarbeitet Text als Ein- und Ausgabe, kann „nachdenken“ (Reasoning) und mehrstufig Werkzeuge aufrufen. Als Wissensstand nennt der Hersteller Juni 2026.

Zum Zeitpunkt der Erfassung hatte das Repository etwa 420 Downloads und 500 Likes. Die Benchmark-Angaben stammen vom Hersteller und sind nicht unabhängig geprüft.

Architektur: viele Experten, wenige aktiv

Flint ist ein Mixture-of-Experts-Modell (MoE). Dabei besteht das Netz aus vielen spezialisierten Teilnetzen („Experten“), von denen für jedes Token nur ein kleiner Teil genutzt wird. Insgesamt hat Flint 39,8 Milliarden Parameter (grob die beim Training gelernten Stellschrauben), aktiv sind pro Token aber nur etwa 2,5 Milliarden. Der Hersteller rechnet dabei den Ausgabekopf mit, die Eingabe-Embeddings nicht; der reine „Körper“ liegt bei rund 2,2 Milliarden. Die Kurzbezeichnung lautet „40B-A2.5B“.

Die wichtigsten Eckdaten:

Die meisten Schichten schauen nur auf ein begrenztes Fenster der letzten 512 Tokens (Sliding Window). Das spart Speicher, besonders bei langem Kontext. Nur 14 Schichten betrachten den gesamten Kontext. Auf den Sliding-Window-Schichten kommt RoPE (eine Methode, die dem Modell die Position der Wörter mitgibt) zum Einsatz, die Full-Attention-Schichten verwenden gar keine Positionskodierung. Zusätzlich nutzt das Modell eine Normalisierung pro Attention-Kopf und gelernte „Attention Sinks“.

Benchmarks

Laut Modellkarte erzielt Flint folgende Werte:

Die Messung nutzt Temperatur 1,0, Top-p 0,95 und Top-k 20. Terminal-Bench lief mit dem Agenten-Gerüst Terminus 2, SWE-bench mit mini-swe-agent. Angegeben ist der durchschnittliche Pass@1 (Anteil beim ersten Versuch gelöster Aufgaben) über mindestens fünf Durchläufe. Bei Terminal-Bench zählt Recursive Lösungen, die per Websuche gefunden wurden, als Fehlschlag. Die Vergleichswerte anderer Modelle stammen meist von deren Entwicklern und sind womöglich nicht gleich bereinigt. Die Grafik vergleicht das BF16- und das NVFP4-Checkpoint mit lokalen Modellen ähnlicher Hardware-Klasse.

Betrieb und Einstellungen

Das Repository enthält das BF16-Checkpoint, Konfiguration, Tokenizer, Chat-Template und ein SGLang-Serving-Kit (SGLang ist eine Software zum schnellen Betrieb von Sprachmodellen). Laut Anleitung läuft Flint mit einer B300- oder H200-GPU pro Replikat. Der Download ist etwa 80 GB groß. Das Modell wird über Docker gestartet und bietet eine OpenAI-kompatible API, auch für Tool-Aufrufe. Modellcode für die Transformers-Bibliothek fehlt noch. Quantisierte Varianten für NVIDIA und Apple Silicon werden separat vorbereitet; eine „Local engine“ ist auf GitHub verlinkt.

Empfohlene Einstellungen: Temperatur 1,0, Top-p 0,95, Top-k 20. Für schwierige Aufgaben sollte das Ausgabebudget mindestens 32.768 Tokens inklusive Reasoning betragen. Das mitgelieferte reasoning_content sollte im Gesprächsverlauf erhalten bleiben.

Training und Grenzen

Flint wurde nach Herstellerangaben von Grund auf trainiert: Pretraining, Mid-Training, überwachtes Fine-Tuning und Reinforcement Learning, mit Text, Code, Anweisungsbefolgung und agentischen Aufgaben. Details zu Daten oder Rechenaufwand nennt die Karte nicht.

Die Karte weist selbst auf Grenzen hin: Das Modell kann falschen oder schädlichen Inhalt, fehlerhaften Code und unpassende Tool-Aufrufe erzeugen. Anwendungen sollten eigene Rechte- und Ausführungsgrenzen setzen. Langes Reasoning erhöht die Latenz und kann das Ausgabebudget aufbrauchen. Die 262k-Kontextlänge ist eine Kapazitätsgrenze, keine Garantie für gleichbleibende Qualität. Ergebnisse hängen von Präzision und Laufzeitumgebung ab.

Was du zum Ausprobieren brauchst

Das BF16-Original ist für Rechenzentrums-Hardware gedacht: eine NVIDIA B300 oder H200, rund 80 GB Speicherplatz für die Gewichte, Docker und eine NVIDIA-Container-Umgebung. Auf normalen Heim-GPUs läuft das Original nicht. Für Consumer-Hardware bieten sich die angekündigten quantisierten Varianten (NVIDIA, Apple Silicon) an, die laut Karte separat erscheinen. Ein GGUF-Format gibt es bisher nicht. Mit Mietservern (Cloud-GPU) lässt sich das Modell aber testen.

Einordnung

Das Interessante an Flint ist das Verhältnis von Größe zu Aktivparametern: Mit nur ca. 2,5 Mrd. aktiven Parametern sollte die Inferenz schnell und günstig sein, während das Gesamtmodell Wissen auf 40 Mrd. Parameter verteilt. Die Apache-2.0-Lizenz ist sehr freizügig. Die genannten Benchmark-Werte, vor allem 89,7 % auf SWE-bench Pro v2, sind Herstellerangaben mit eigenem Agenten-Setup; ohne unabhängige Nachmessung lassen sie sich schwer mit anderen Modellen vergleichen, zumal die Karte selbst auf uneinheitliche Auswertungen hinweist. Offen sind Trainingsdaten, der Zeitpunkt der quantisierten Versionen und die Qualität auf kleinerer Hardware. Die Lizenz gilt nur für die Gewichte; Bedingungen der gehosteten API sind getrennt.