Perplexity Decider v1.3: Offene KI-Modelle entscheiden statt zu schreiben

Worum es geht

Die KI-Suchmaschine Perplexity hat am 12. November 2026 zwei neue Modelle veröffentlicht: pplx-decider-v1.3 und das kleinere pplx-decider-flash-v1.3. Beide stehen unter der freizügigen Apache-2.0-Lizenz und lassen sich bei Hugging Face herunterladen, zum Beispiel über die Sammlung bei Hugging Face, die Seite von pplx-decider-v1.3 und die von pplx-decider-flash-v1.3. Außerdem sind sie über OpenRouter und Perplexitys eigene Decisions-API erreichbar.

Diese Modelle sind keine Chatbots. Perplexity nennt sie „Entscheidungsmodelle“. Du gibst ihnen einen Kontext, den sogenannten State, also etwa eine Kundenmail, ein JSON-Dokument oder ein Bild, und stellst eine oder mehrere Fragen dazu. Zurück kommt kein Fließtext, sondern eine Wahrscheinlichkeitsverteilung über die Antwortmöglichkeiten. Wie wahrscheinlich ist „ja“? Welches von fünf Teams soll ein Ticket bekommen? Wie verärgert klingt der Kunde auf einer Skala von „ruhig“ bis „wütend“? Die Modelle eignen sich damit für Sortier- und Filteraufgaben, die man in Software-Abläufen oft braucht: Anfragen weiterleiten, Inhalte moderieren, Suchergebnisse neu sortieren oder die Ausgaben anderer KI-Modelle bewerten.

Zwei Größen, ein Prinzip

Das große Modell basiert auf Qwen3.8-27B und braucht in BF16, einem gängigen 16-Bit-Zahlenformat, etwa 49 GiB Speicher allein für die Gewichte. Flash basiert auf Qwen3.5-4B. In der Überschrift des Reddit-Beitrags läuft es als 5B-Modell. Es braucht rund 8,5 GiB. Flash wurde per Destillation aus dem großen Modell gewonnen, also so trainiert, dass es die Antwortverteilungen des großen „Lehrer“-Modells nachahmt. Als Maß dafür, wie weit die beiden Verteilungen auseinanderliegen, dient die KL-Divergenz. Flash lernt also nicht nur aus richtigen Lösungen, sondern auch aus den Unsicherheiten des Lehrers.

Technisch ersetzt Perplexity die übliche Textausgabe, bei der das Modell Wort für Wort das nächste Token vorhersagt, durch einen eigenen Entscheidungskopf. Das ist eine kleine Zusatzschicht mit 255 Zeilen, die an einer Markierung im Text ausgelesen wird. Alle Antwortoptionen werden in einem einzigen Rechendurchgang bewertet. Deshalb meldet das Modell auch null erzeugte Ausgabe-Tokens.

Dazu kommt ein Umbau: Die Full-Attention-Schichten sind in v1.3 bidirektional. Das Modell darf also beim Lesen eines Wortes auch auf später folgende Wörter schauen, nicht nur auf vorherige. Die Fragen sehen einander dabei nicht direkt, der gemeinsame Kontext darf aber auf die Fragen schauen. In v1.2 konnte sich eine Antwort noch ändern, je nachdem, was sonst gefragt wurde. Das neue Verfahren soll die Antworten stabiler machen. Die Folge für Nutzer: Standard-Software wie normales Transformers-Laden oder übliche Chat-Server reproduziert das Modell nicht korrekt. Man braucht Perplexitys Paket pplx_decider.

Trainiert wurde mit Hunderten öffentlichen Datensätzen, die in ein einheitliches Format aus Kontext, Frage, Optionen und Ziel gebracht wurden. Laut Unite.ai wurden Trainingsanteile von Benchmarks ausgeschlossen. Für spätere Spezialisierungen auf bestimmte Fachgebiete und auf Bilder nutzt Perplexity LoRA, eine Methode, bei der das Grundmodell eingefroren bleibt und nur kleine Zusatzmatrizen trainiert werden. Einen großen Teil der Verbesserungen schreibt Perplexity der Datensammlung „tasksource“ zu.

Was die Modelle können

Es gibt vier Fragetypen:

Neu in v1.3 ist Locate. Man beschreibt, was gesucht ist, entweder als kurzes Etikett wie „person“ oder „E-Mail-Adresse“ oder als Anweisung wie „die Person, die den Vertrag unterschrieben hat“. Das Modell liefert dann die exakten Textstellen samt Zeichenpositionen, oder eine leere Liste, wenn nichts passt. Das eignet sich für Named Entity Recognition (das Erkennen von Namen, Orten oder Firmen), für das Aufspüren personenbezogener Daten und für extraktive Fragebeantwortung, bei der die Antwort wörtlich aus dem Text stammt. Locate funktioniert nur mit Text, nicht mit Bildern, und höchstens mit 128 solchen Fragen pro Anfrage.

Locate läuft über einen eigenen LoRA-Adapter. Perplexity hat ihn bewusst nicht mit dem Modell verschmolzen, weil das die normalen Entscheidungsaufgaben verschlechtert hätte. Der Nachteil: Wer Locate- und Entscheidungsfragen mischt, braucht zusätzliche Rechendurchgänge und wartet länger.

Die Modelle verarbeiten auch Bilder. Jedes Bild wird auf höchstens etwa 1,6 Megapixel verkleinert und belegt dann rund 1.600 Positionen im Kontext. Trainiert wurde mit Sequenzen bis etwa 30.720 Token. Der Standard-Höchstwert liegt bei 32.768 Token, und Eingaben werden nie gekürzt. Was zu lang ist, wird abgelehnt.

Zahlen und Benchmarks

Die meisten Werte stammen aus Perplexitys eigenen Tests:

nDCG@10 misst, wie gut die zehn obersten Suchtreffer sortiert sind. Laut Unite.ai erreicht das große Modell außerdem 91,6 Prozent mittlere Genauigkeit über 63 Aufgaben zur Einordnung von Suchanfragen, 6,54 Prozentpunkte mehr als Perplexitys bisherige Produktions-Klassifikatoren. Die Referenzantworten dafür hat allerdings ein Frontier-Sprachmodell neu vergeben. Im Artificial Analysis Index liegen beide Modelle auf der Pareto-Linie: Kein anderes Modell ist zugleich billiger und besser.

Für einen Praxistest hat Perplexity eine Million anonymisierte API-Anfragen aus den ersten 18 Tagen der API ausgewertet, mit insgesamt 2.318.887 Einzelfragen. Die Nutzer haben laut Perplexity ausdrücklich zugestimmt. v1.3 stimmte zu 93,98 Prozent mit den Urteilen großer KI-Modelle überein, v1.2 zu 93,68 Prozent. Unite.ai merkt an, dass das ein kleiner Unterschied ist und nur Übereinstimmung mit KI-Urteilen misst, keine Genauigkeit gegenüber echten Lösungen. Die Kosten für diesen Datensatz gibt Perplexity mit 26,47 Dollar (v1.3) und 13,24 Dollar (Flash) an. Wie die lokale Hardware dabei eingerechnet wurde, bleibt offen.

Intern setzt Perplexity Decider etwa ein, um Sicherheitsprotokolle von KI-Agenten zu prüfen. An einem Tag liefen eine Milliarde Token aus 7.000 Agenten-Sitzungen durch das Modell. Daraus entstanden 14 Vorschläge für Regelkorrekturen, sechs davon wurden innerhalb von zwei Tagen umgesetzt. Außerdem filtert Decider minderwertige Webseiten aus dem Crawling.

Was du zum Ausprobieren brauchst

Der offizielle Weg verlangt Python 3.12 oder neuer und eine Nvidia-Grafikkarte mit CUDA. Für das große Modell braucht sie Platz für etwa 49 GiB Gewichte plus Arbeitsspeicher, realistisch also eine Profi-Karte mit 64 bis 80 GB oder mehrere GPUs. Flash kommt mit rund 8,5 GiB Gewichten aus und läuft damit auf einer Consumer-Karte mit 12 bis 16 GB VRAM. Dazu kommt Speicherplatz in derselben Größenordnung. Mac und reiner CPU-Betrieb werden für den offiziellen Weg nicht unterstützt.

Quantisierte Versionen für v1.3 nennt Perplexity nicht. Laut OrcaRouter gibt es in der Ollama-Bibliothek zwar ein Modell namens „pplx-decider“ als etwa 17 GB große 4-Bit-Datei. Es stammt aber von einer älteren Version (v1 oder v1.1). Welche genau, ist unklar, und das Modell hat ein deutlich kleineres Kontextlimit von 8.192 Token. Wer v1.3 nicht selbst betreiben will, nutzt OpenRouter oder die Perplexity-API.

Die Modellkarte auf Hugging Face behauptet noch, das Repository sei privat. Bei älteren Versionen war das laut OrcaRouter ein veralteter Hinweis.

Einordnung

Mit Decider v1.3 besetzt Perplexity eine Nische, die bisher wenig Aufmerksamkeit bekommt, in der Praxis aber riesig ist: Klassifizieren, Filtern, Sortieren, also die vielen kleinen Ja/Nein-Entscheidungen in KI-Pipelines. Statt dafür ein großes Chatmodell Text schreiben zu lassen und diesen mühsam auszuwerten, gibt es direkt Wahrscheinlichkeiten in einem einzigen Rechendurchgang. Das ist schneller, billiger und leichter zu verarbeiten. Locate macht das Modell auch zur Konkurrenz für Werkzeuge wie GLiNER, die Begriffe in Texten markieren.

Einschränkungen gibt es trotzdem. Fast alle Zahlen kommen von Perplexity selbst, der Artificial Analysis Index ist eine der wenigen externen Messungen. OrcaRouter hat für die Vorgängerversion v1.1 auf einer unabhängigen Rangliste gezeigt, wo die Grenzen liegen: Bei klassischen Klassifikationsaufgaben erreichte das Modell Spitzenwerte, bei schwierigem mehrstufigem Denken brach es ein (Humanity's Last Exam: 16,2). Zudem waren rund 2 Prozent der Antworten trotz über 95 Prozent Konfidenz falsch. Perplexity rät selbst, Schwellenwerte auf eigenen Daten zu kalibrieren. Ein einzelner Temperaturwert passe nicht für jede Aufgabe.

Wer das Modell selbst betreiben will, muss außerdem Perplexitys eigenen Code nutzen. Gängige Werkzeuge wie llama.cpp oder vLLM reproduzieren es nicht ohne Weiteres. Für Unternehmen mit großen Datenmengen und eigener GPU ist das ein attraktives Angebot. Für Hobbynutzer ist am ehesten die Flash-Variante interessant.