KI, die nur abwägt: Was Entscheidungsmodelle wie Jev in unabhängigen Tests taugen

Darum geht es

Am 15. September 2026 hat das US-Start-up TypeSafe Jev vorgestellt. Jev schreibt keinen einzigen Satz. Man gibt ihm einen Zustand, etwa eine Kundenanfrage, ein JSON-Dokument oder einen Chatverlauf, dazu eine Frage mit festen Antwortoptionen. Zurück kommt für jede Option eine Wahrscheinlichkeit, berechnet in einem einzigen Rechendurchgang. Ein Sprachmodell erzeugt seine Antwort dagegen Wort für Wort. TypeSafe nennt das „System One“, angelehnt an das schnelle, intuitive Denken. Seitdem hat sich eine eigene Modellklasse gebildet. Die Plattform BenchLM führt im Snapshot vom 5. November 23 Einträge im Decision Index von Artificial Analysis. Dazu kommen Microsoft, Liquid AI, Perplexity und seit heute Kakao mit dem offenen Kanana-2-v-decide.

Die Hersteller werben mit großen Versprechen: „43× schneller als GPT-6 Luna“, „kann nicht halluzinieren“, „kalibriert“. Inzwischen gibt es erstmals unabhängige Zahlen, darunter mehrere arXiv-Studien, einen Praxistest von Red Hat und den Index selbst. Wir haben beides nebeneinandergelegt.

Wie ein Entscheidungsmodell arbeitet

Im Kern steckt meist ein normales Sprachmodell, das nach dem Lesen der Eingabe stoppt. Statt zu schreiben, liest es die Antwortverteilung direkt aus seinem Inneren ab. Kakao legt das in seiner Model Card offen: Frage und Eingabe werden zu einem Vektor verrechnet, jede Antwortoption zu einem weiteren. Ein Vektor ist eine lange Zahlenreihe, die die Bedeutung eines Textes beschreibt. Die Ähnlichkeit dieser Vektoren ergibt am Ende die Wahrscheinlichkeiten. Weil Ausgabetokens wegfallen, rechnen Anbieter nur die Eingabe ab. Jev, Liquid d1-ultra und Microsoft Decision-1 kosten jeweils rund 0,042 US-Dollar pro Million Eingabetokens.

Microsoft Decision-1 basiert laut Microsoft auf Qwen3.5-9B und ist als Public Preview in Foundry verfügbar, ohne veröffentlichte Gewichte. Auch Liquid bietet d1-ultra nur per API an. Offene Gewichte gibt es von der Community: Kev (0,8B, 4B, 9B, Apache 2.0), decider-2b (Apache 2.0, etwa 3,8 GB), Laya und this-that-model. Seit heute kommt Kakaos Kanana-2-v-decide hinzu: 3,67 Mrd. Parameter (Sprachteil 3,18 Mrd., Bildteil 0,49 Mrd.), bis zu 10 Bilder pro Anfrage, unter der Kanana Open License, die auch kommerzielle Nutzung erlaubt.

Die Versprechen im Faktencheck

Zur 43×-Angabe haben wir nachgerechnet. Artificial Analysis misst für GPT-6 Luna als normales Sprachmodell 1,5 Sekunden pro Aufgabe. Geteilt durch Kakaos 0,04 Sekunden ergibt das etwa 37×, also die Größenordnung der Werbezahl. Luna gibt es dort aber auch im Entscheidungsmodus, mit 0,17 Sekunden. Dagegen wäre Kanana nur gut viermal so schnell. Hinzu kommt: Kakao hat lokal auf einer H200-GPU gemessen, die Index-Werte enthalten dagegen API-Aufrufe über das Netz. Unsere Einschätzung: Die Zahl ist nicht falsch, aber sie vergleicht ungleiche Dinge.

Beim Halluzinieren räumen selbst wohlwollende Beobachter ein, dass die Garantie nur das Format betrifft. Jev kann keine Option erfinden, die es nicht gibt, kann aber sehr wohl die falsche wählen. Laut modemguides.com schreibt TypeSafe im eigenen Launch-Post, die 0-Prozent-Angabe sei „keine empirische Messung“. Im Decision Index gibt es eine fünfte Option „Ich weiß es nicht“. Dort erreicht Microsoft Decision-1 mit 40 Prozent die beste Nicht-Halluzinationsrate, Jev 1.13 kommt auf 35 Prozent. Kein anderes Entscheidungsmodell schafft mehr als 17 Prozent.

Was die unabhängigen Studien zeigen

Die bislang gründlichste Arbeit stammt von Amir Rafe und Subasish Das (Texas State University, arXiv 2610.00346, noch ohne Peer Review). Sie haben Jev, sieben offene Entscheidungsmodelle, zwei Qwen-Modelle und klassische Klassifikatoren mit denselben Anfragen getestet:

• Mit Trainingsdaten gewinnt das Klassische. Bei der Absichtserkennung (CLINC-150, 150 Kategorien) erreicht ein feinjustiertes BERT-base 0,940. Eine einfache logistische Regression auf BGE-small-Embeddings schafft sogar 0,948, Jev nur 0,913. Ohne Trainingsdaten sieht es anders aus: Ein Zero-Shot-Klassifikator, also einer ohne Beispiele für die Aufgabe, kommt nur auf 0,507.
• „Ja“ und „Nein“ vertauscht. Benennt man die Optionen bei Ja/Nein-Fragen um, kippt Jev 50,5 von 100 Antworten. Die normale Schwankung bei Wiederholung liegt bei 1,3. Kev-9B, Nimble-9B, decider-2b und this-that-model kippen nur 4,2 bis 6,5. Eine zweite Studie (Sun u. a., arXiv 2609.26758) bestätigt das Muster: Die Modelle folgen dem Namen einer Option, nicht der Definition, die man ihr gibt.
• Unzuständig, aber trotzdem durchgewunken. Mit einer Schwelle, die für normale Anfragen eingestellt war, akzeptiert Jev 31 Prozent der Anfragen außerhalb seines Bereichs (Kev-9B 1,5 %, Nimble-9B 3 %). Eine ausdrückliche Option „gehört nicht hierher“ senkt den Wert auf 19,5 Prozent.
• Kalibrierung hängt an den Bedingungen. Kalibriert heißt: Wenn das Modell 80 Prozent sagt, liegt es in etwa 80 Prozent der Fälle richtig. Der Kalibrierungsfehler ECE misst die Abweichung davon. Für Jev ist er bei Workflows mit 0,033 gering, bei sozialwissenschaftlichen Aufgaben mit 0,251 hoch. Bei Kev-9B steigt er von 0,051 bei 5 Optionen auf 0,377 bei 150.

Die Autoren warnen selbst: Ob Jev die Testdaten schon im Training gesehen hat, lässt sich nicht prüfen. Einige offene Modelle wurden nachweislich mit CLINC-Trainingsdaten trainiert.

Delip Rao und Chris Callison-Burch (arXiv 2609.29769) haben Jev und Perplexitys Decider gegen drei günstige LLMs als Bewerter mit Rubrik antreten lassen. Gemeint sind Sprachmodelle, die Texte nach festen Kriterien benoten. Das Ergebnis fällt zweischneidig aus. Die LLMs kosten 16- bis 357-mal so viel und brauchen 5- bis 350-mal so lange. Die Entscheidungsmodelle lagen in höchstens 6 von 27 Vergleichen signifikant zurück. Bei den Fehlern, bei denen sich ein Entscheidungsmodell am sichersten war, wiederholten die LLMs den Fehler in über 85 Prozent der Fälle. Bei unabhängigen Fehlern wären etwa 50 Prozent zu erwarten. Der Titel fasst es zusammen:

„Billiger, schneller und falsch an denselben Stellen.“

Red Hat kam beim Test von Schutzfiltern zu einem ähnlich nüchternen Ergebnis. Bei Prompt Injection, also eingeschleusten Befehlen, erreichte ein kleiner DeBERTa-Klassifikator 89,0 Prozent in 54 ms, Jev 86,4 Prozent in 348 ms. Bei Inhaltssicherheit lag Jev mit 86,2 Prozent vorn. Das Fazit der Autoren: Entscheidungsmodelle schlagen weder LLM-Bewerter noch vortrainierte Klassifikatoren zuverlässig.

Der Index: stark beim Routen, schwach beim Wissen

Der Decision Index gewichtet vier Tests. Wissensfragen und Halluzinationen (AA-Omniscience) zählen 50 Prozent, schwere Denkaufgaben (HLE-MultiChoice), Tool-Wahl (When2Call) und Sicherheitsklassifikation (WildGuardTest) je 25 Prozent. Die Rangliste vom 5. November:

Liquid hatte zum Start am 15. Oktober einen Vorsprung von mindestens 8 Punkten versprochen. Heute sind es noch 0,2. Kanana-2-v-decide steht noch nicht im offiziellen Index. Kakao meldet einen selbst gemessenen Wert von 61,34. Wäre er vergleichbar, läge Kanana vor Jev und Microsoft, aber hinter dem Spitzenfeld. Die Aussage „bestes Modell“ bezieht sich also nur auf Kakaos eigene Auswahl an Vergleichsmodellen.

Der Datenwissenschaftler Randal Olson hat die Werte nach Aufgaben aufgeschlüsselt. Bei Wissensfragen liegen LLMs etwa 30 Punkte vorn, beim Schlussfolgern etwa 19. Bei Sicherheitsprüfung und Tool-Wahl liegen die Mediane dagegen weniger als 2 Punkte auseinander, und dort ist jedes Entscheidungsmodell schneller als jedes LLM. Laut Artificial Analysis sind alle Entscheidungsmodelle überkonfident, also sicherer als ihre Trefferquote rechtfertigt. Das liegt vor allem an den Wissens- und Denkaufgaben.

Wofür sich so ein Modell lohnt

Unsere Einschätzung: Als schneller Torwächter in Agenten passen die Modelle gut, also überall dort, wo die Eingabe schon alles enthält, was man für die Entscheidung braucht. Beispiele sind die Wahl des richtigen Tools, die Einordnung von Tickets, Sicherheitsfilter und die Frage „Mensch oder Maschine?“. Rafe und Das zeigen eine gestufte Eskalation: Das kleine offene this-that-model entscheidet selbst und reicht 25 Prozent der Fälle an Jev weiter. Das kostet bei voll ausgelasteter GPU etwa 43 Prozent von Jev allein und bringt 0,927 statt 0,913 Genauigkeit. Der Gewinn ist allerdings statistisch nicht gesichert.

Praxisbeispiele gibt es schon. Das Suchsystem SAG2 nutzt Jev als Richter, der Textstellen bewertet. Es erreicht damit auf MuSiQue 86,6 Prozent Trefferquote unter den ersten zehn Ergebnissen, gegenüber 54,4 Prozent für eine reine Stichwortsuche. Die Autoren schreiben aber offen, dass Fragen und Textstellen an den gehosteten Dienst gehen und ein Betrieb komplett im eigenen Haus nicht möglich ist. Für vertrauliche Daten ist das ein Datenschutzproblem. Bei der OCR-Serie von MiniCPM übernimmt ein 2B-Prüfmodell, das ebenfalls Jev heißt, eine ähnliche Rolle: Es gibt Konfidenzwerte statt Text aus.

Nicht geeignet sind die Modelle für Wissensfragen, mehrstufiges Denken, Zählen oder Datumsvergleiche. TypeSafe nennt die letzten beiden selbst als Schwächen. Lokal laufen die offenen Modelle laut t3n ab Ollama 0.35 und LM Studio 0.4.26. In Ollama sind etwa nimble und tev1 verfügbar.

Einordnung

Entscheidungsmodelle sind kein neues Wundermittel. Sebastian Raschka nennt sie die „Plug-and-play-Version spezialisierter Klassifikatoren“: Sie liefern ohne Training brauchbare Ergebnisse, schlagen aber ein feinjustiertes BERT nicht, sobald es Trainingsdaten gibt. Die Werbezahlen der Hersteller sind kaum überprüfbar. TypeSafe hat weder ein Paper noch Gewichte veröffentlicht, Kakao keine Vergleichsbasis für die 43×.

Belegt ist dagegen: Die Modelle sind auf ihrem Feld etwa so gut wie LLMs, dabei deutlich schneller und billiger. Ihre Wahrscheinlichkeiten taugen als Schwelle zum Eskalieren. Allerdings muss man diese Schwelle für jedes Modell, jede Aufgabe und jede Optionsanzahl selbst prüfen, Optionen möglichst neutral benennen und eine ausdrückliche Option „nicht zuständig“ anbieten. Mit Kanana-2-v-decide gibt es nun ein offenes Modell, das auch Bilder versteht und kommerziell nutzbar ist. Ob es die Herstellerangaben hält, müssen unabhängige Tests erst zeigen.