Naive-N0.5-Flash: Offenes Coding-Modell mit bis zu 2.100 Tokens pro Sekunde im Test

Worum es geht

Das chinesische Unternehmen NaiveAI hat mit Naive-N0.5-Flash ein Open-Weights-Modell für Programmieraufgaben veröffentlicht. Die Gewichte sind also frei verfügbar. Das Modell soll vor allem eines sein: schnell. Laut NaiveAI soll es Entwicklungs- und Forschungsteams helfen, Ideen rascher auszuprobieren und zu verbessern. Das Unternehmen hat aber noch mehr vor: Das Modell sei zu großen Teilen von KI selbst gebaut und darauf trainiert, KI-Forschung zu betreiben. Langfristig strebt NaiveAI eine „rekursive Selbstverbesserung“ an, also eine KI, die sich immer wieder selbst verbessert.

Der Tech-Blog Latent Space hat das Modell als Auftakt einer neuen Testreihe unter die Lupe genommen. Er hat es mit zwei beliebten Flash-Modellen verglichen, die auf der Plattform OpenRouter viel genutzt werden: DeepSeek V4.1 Flash 1017 und GLM 5.3 Flash von Z.ai. Getestet wurde der „Ultrafast“-Modus von Naive-N0.5-Flash.

Woher das Modell kommt

Naive-N0.5-Flash ist kein komplett neues Modell. Es ist eine Weiterentwicklung von Xiaomis MiMo-V2.5. Das ist ein sogenanntes Sparse-Mixture-of-Experts-Modell: Es besteht aus vielen spezialisierten Teilnetzen („Experten“), von denen pro Wort nur wenige arbeiten. Insgesamt hat es 310 Milliarden Parameter, aktiv sind pro Token aber nur 15 Milliarden. Trainiert wurde MiMo-V2.5 mit 48 Billionen Tokens. Sein Sprachteil nutzt eine Mischform aus Sliding-Window-Attention, bei der das Modell nur einen Ausschnitt des Textes betrachtet, und globaler Self-Attention, bei der es den gesamten Text sieht.

NaiveAI hat diese Gewichte in mehreren Stufen weitertrainiert und dabei auf DeepSeek Sparse Attention (DSA) umgestellt. Bei diesem Verfahren beachtet das Modell gezielt nur die wichtigsten Textstellen, was lange Texte günstiger macht. Laut dem technischen Blog von NaiveAI kamen dafür rund 3,25 Billionen zusätzliche Tokens zum Einsatz. Etwa 3 Billionen davon wurden mit einer festen Kontextlänge von 1 Million Tokens und einer konstanten Lernrate trainiert. Das Ziel war besseres Schlussfolgern über lange Texte. Dazu kommt eine eigene Inferenz-Engine namens NaiveRT, also die Software, die das Modell im Betrieb ausführt.

Herstellerbenchmarks im Vergleich

Auf Artificial Analysis gab es zum Zeitpunkt des Tests noch keinen Intelligence-Index-Wert für Naive-N0.5-Flash. DeepSeek V4.1 Flash 1017 (Max) erreicht dort 45 Punkte, GLM-5.3-Flash 43. Die von den Herstellern selbst veröffentlichten Benchmarks sehen so aus:

Bei den Coding-Fähigkeiten liegt Naive-N0.5-Flash damit zwischen den beiden Konkurrenten. Nur bei NL2Repo-Bench, wo ein Modell aus einer Beschreibung ein ganzes Software-Repository erstellen muss, liegt es vorn. Diese Zahlen stammen aus den Modellkarten und Blogs der Anbieter und wurden nicht unabhängig überprüft.

Tempo: schnell, aber manchmal sehr gesprächig

Latent Space hat jedem Modell 30 Fragen gestellt, jeweils 10 aus drei Schwierigkeitsstufen: leichte aus MATH-500, mittlere aus GPQA-Diamond und schwere aus HLE-Diamond. Das Ausgabelimit lag bei 256.000 Tokens. Gemessen wurden Tokens pro Sekunde, die Zahl der erzeugten Tokens und die Gesamtzeit bis zur fertigen Antwort. Den Code dafür gibt es auf github.com/gbeltramo/llm-verbosity.

Die Ergebnisse:

• Durchsatz: In beiden Denkmodi kam Naive-N0.5-Flash auf rund 1.000 Tokens pro Sekunde oder mehr. Diese Werte wurden allerdings direkt auf dem Server gemessen, die der Konkurrenz stammen von OpenRouter. Latent Space nennt deshalb ausdrücklich keinen genauen Geschwindigkeitsvorsprung.
• Wortreichtum: Bei den schweren HLE-Fragen erzeugte Naive-N0.5-Flash mit Denkmodus im Schnitt etwa 108.500 Tokens. Das ist rund neunmal so viel wie GLM 5.3 Flash (high) und elfmal so viel wie DeepSeek V4.1 Flash (high).
• Median und Mittelwert: Der Median, also der Wert genau in der Mitte, lag über alle 30 Fragen bei nur etwa 3.200 Tokens. Der Durchschnitt betrug dagegen über 51.000 Tokens. Einige wenige extrem lange Denkprozesse ziehen den Schnitt also stark nach oben.
• Antwortzeit: Im Median brauchte Naive-N0.5-Flash (thinking) 3,1 Sekunden, GLM 5.3 Flash (high) 5,3 und DeepSeek V4.1 Flash (high) 10,1 Sekunden. Im Durchschnitt liegen die Werte näher beieinander: 45,3 Sekunden für Naive, 45,0 für DeepSeek und 86,9 für GLM. Bei den schweren Fragen war Naive im Schnitt sogar langsamer als DeepSeek, mit 89,8 gegenüber 79,7 Sekunden.

Latent Space weist auf zwei Einschränkungen hin. Die Stichprobe ist klein, und ob die Antworten richtig waren, wurde nicht bewertet. Schnelle Antworten nützen aber nur, wenn sie auch stimmen.

Woher die Geschwindigkeit kommt

Das Tempo beruht vor allem auf Speculative Decoding. Dabei rät ein kleines Hilfsmodell, der sogenannte „Drafter“, mehrere Tokens im Voraus, und das große Modell prüft diese Vorschläge auf einmal. Als Drafter dient Naive-N0.5-Flash-FP8-Draft. Gemessen wurde laut Hersteller auf einem einzelnen Server mit acht Nvidia-Blackwell-GPUs. Optimiert war dieser für die Geschwindigkeit einer einzelnen Anfrage, nicht für viele gleichzeitige Nutzer.

• Ohne Denkmodus übernimmt das große Modell 70,6 Prozent der Vorschläge des Drafters, mit Denkmodus nur 43,4 Prozent.
• Beim Nachdenken erreicht das Modell etwa 984 Tokens pro Sekunde, beim Antworten 1.816.
• Die Spitze von rund 2.100 Tokens pro Sekunde wurde nur über eine einzelne Sekunde gemessen und ist als Obergrenze zu verstehen.

Auch die Engine trägt viel dazu bei. Eine komplette spekulative Runde aus Entwurf, Prüfung, Sampling und Übernahme dauert laut den Entwicklern in NaiveRT 3,4 Millisekunden, in der verbreiteten Engine SGLang dagegen 12,3 Millisekunden. Das sind 72,4 Prozent weniger.

Praxistest: drei Web-Apps

Alle Modelle sollten aus demselben Prompt drei Web-Apps bauen, jeweils mit niedrigem und hohem Denkaufwand:

1. Sonnensystem in 3D: Naive-N0.5-Flash (thinking) lieferte hier das beste Ergebnis, mit Sonnenflecken und nächtlichen Stadtlichtern auf der Erde. DeepSeek kam knapp dahinter, ihm fehlten aber der Asteroidengürtel und Details auf der Erdoberfläche. Bei GLM war die Beleuchtung misslungen, und die Tempo-Regler reagierten zu empfindlich.
2. Prozeduraler 3D-Baum mit Wind: DeepSeek und Naive (thinking) lieferten gute Ergebnisse. Ohne Denkmodus brachte Naive allerdings gar keine brauchbare App zustande. Bei DeepSeek lösten sich bei starkem Wind feine Äste vom Baum, bei GLM wackelte der ganze Baum „wie eine Wackelpudding-Skulptur bei einem Erdbeben“.
3. Raytracer nach dem Buch „Ray Tracing in One Weekend“: Mit Denkmodus funktionierten alle drei Apps. DeepSeek gewann mit dem effizientesten Code. Die App von Naive arbeitete korrekt, ihr JavaScript war aber weniger effizient. GLM schnitt wegen der schlichten Oberfläche erneut am schwächsten ab.

Preise

NaiveAI peilt für die Nutzung per API 0,10 US-Dollar pro Million Eingabe-Tokens an, 0,40 US-Dollar pro Million Ausgabe-Tokens und 0,01 US-Dollar pro Million Cache-Read-Tokens, also für bereits zwischengespeicherte Eingaben. Damit liegt das Modell im üblichen Bereich der Flash-Klasse von 0,20 bis 0,60 US-Dollar pro Million Ausgabe-Tokens. Weil es bei schweren Aufgaben aber sehr viele Tokens erzeugt, kann eine einzelne Frage laut Latent Space etwas teurer werden.

Was du zum Ausprobieren brauchst

Zu Hause auf dem eigenen Rechner wirst du das Modell kaum betreiben können. Mit 310 Milliarden Parametern braucht es selbst bei einer 4-Bit-Quantisierung, bei der die Zahlen gröber gespeichert werden, grob 190 GB Grafikspeicher. Das schaffen nur Server mit mehreren Profi-GPUs. Zwar sind pro Token nur 15 Milliarden Parameter aktiv, trotzdem müssen alle Experten im Speicher liegen. Die beworbenen Geschwindigkeiten gelten außerdem nur für einen Server mit acht Blackwell-GPUs, NaiveRT und den passenden Drafter. Ob es fertige GGUF-Dateien für llama.cpp oder Ollama gibt, geht aus der Quelle nicht hervor. Für die meisten ist die API der realistische Weg. Mac, reiner CPU-Betrieb oder Google Colab kommen praktisch nicht in Frage.

Einordnung

Naive-N0.5-Flash ist ein interessanter Fall: Ein offenes Modell, das vor allem auf Tempo setzt und bei Coding-Aufgaben mit den beliebtesten Flash-Modellen weitgehend mithält. Bei leichten und mittleren Fragen antwortete es im Test von Latent Space durchweg schneller. Bei schweren Problemen verbraucht es dagegen extrem viele Tokens, und der Geschwindigkeitsvorteil verschwindet dann. Offen bleibt einiges. Die Tempo-Werte wurden auf dem Server gemessen und sind nicht direkt mit den OpenRouter-Zahlen vergleichbar. Die Richtigkeit der Antworten wurde nicht geprüft, und unabhängige Werte von Artificial Analysis fehlen noch. Die großen Versprechen von KI, die sich selbst verbessert, sind bislang reines Marketing. Spannender ist ein anderer Punkt, den Latent Space hervorhebt: Günstigeres Generieren durch DSA könnte Reinforcement Learning beschleunigen, also das Lernen durch Ausprobieren und Belohnung, bei dem das Erzeugen von Text der größte Engpass ist. Für Entwickler, denen schnelles Iterieren wichtiger ist als ein sparsamer Tokenverbrauch, ist das Modell einen Versuch wert.