0,91, 0,76, 0,7: Was OpenAIs Perplexitätswerte messen und warum sie kaum bremsen

OpenAIs Chefwissenschaftler hat erstmals interne Loss-Werte veröffentlicht und möchte daraus Grenzen machen, die für alle KI-Labore gelten. Wir rechnen nach, was 0,76 bedeutet. Und wir erklären, warum sich die Zahl zwischen Laboren nicht vergleichen lässt, solange Einheit, Tokenizer und Testdaten offen sind.

Analysen 22. Nov. 2026 9 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Am 22. November 2026 hat Jakub Pachocki, Chefwissenschaftler von OpenAI, den Essay „Perplexity and Intelligence“ veröffentlicht. Darin legt OpenAI zum ersten Mal interne Messwerte aus dem Vortraining offen: GPT-3.5 liegt bei etwa 0,99, GPT-4 bei etwa 0,91. Unterhalb von 0,8 sollen „transformative“ Fähigkeiten in IT-Sicherheit und Mathematik aufgetaucht sein. Ab etwa 0,76 habe ein Modell bemerkenswerte Ergebnisse zu offenen Mathematikproblemen geliefert. Den nächsten kritischen Bereich verortet Pachocki bei 0,68 bis 0,7. Was dort entsteht, wisse er nicht.

Sein Vorschlag: Die führenden Labore sollen sich auf „gemeinsame Grenzen, basierend auf Perplexität und anderen Messungen“ einigen. Diese Grenzen sollen sie erst überschreiten, wenn die Überwachung von KI-Verhalten einen konkreten Meilenstein erreicht hat, etwa einen Nachfolger heutiger Chain-of-Thought-Monitore. Begründet wird das mit einer möglichen „Lawine“ von Fortschritten im Vortraining „schon 2027“. Sam Altman nannte den Text auf X „das Wichtigste, was OpenAI seit Langem veröffentlicht hat“.

Die meisten Berichte geben die Zahlen und die Warnung wieder. Dieser Artikel fragt etwas anderes: Was ist diese Zahl überhaupt, kann man sie zwischen Laboren vergleichen, und was müsste man festlegen, damit daraus ein überprüfbares Tempolimit wird?

Was die Zahl misst und was 0,76 konkret bedeutet

Ein Sprachmodell sagt Text Stück für Stück voraus, in Tokens, also Wortteilen. Für jedes nächste Token vergibt es Wahrscheinlichkeiten. Der Kreuzentropie-Loss misst, wie viel Wahrscheinlichkeit das Modell dem tatsächlich folgenden Token gegeben hat: Man nimmt den negativen Logarithmus und mittelt über einen Testtext. Laut Fußnote 2 verfolgt OpenAI genau diesen Logarithmus der Perplexität („log of perplexity, also called cross-entropy loss“). Die Perplexität selbst lässt sich anschaulich lesen: Das Modell ist im Schnitt so unsicher, als müsste es zwischen so vielen gleich wahrscheinlichen Kandidaten raten.

Daraus kann man zurückrechnen. Mit dem natürlichen Logarithmus, also in der Einheit Nats, ergibt e^-0,76 ≈ 0,47. Das 0,76-Modell gibt dem richtigen nächsten Token also im geometrischen Mittel rund 47 Prozent Wahrscheinlichkeit. Das geometrische Mittel ist ein multiplikativer Durchschnitt: Viele Tokens sagt das Modell fast sicher voraus, einige trifft es kaum. Bei GPT-4 sind es rund 40 Prozent. Unsere Nachrechnung:

Modell laut OpenAI Log-Perplexität Perplexität (falls Nats) geom. Trefferwahrscheinlichkeit (Nats) dasselbe, falls Bits
GPT-3.5 ~0,99 2,69 37 % 50 %
GPT-4 ~0,91 2,48 40 % 53 %
Mathe-Modell ~0,76 2,14 47 % 59 %
nächste Zone 0,68–0,70 1,97–2,01 50–51 % 62 %

Die Spalte ganz rechts zeigt bereits das erste Problem.

Erste Lücke: die Einheit

OpenAI gibt die Logarithmusbasis nicht an. Der Text nennt weder Nats noch Bits. In der Fachpraxis heißt „Loss“ meist Nats. Steht 0,76 dagegen für Bits, also den Zweierlogarithmus, läge die Trefferquote nicht bei 47, sondern bei 59 Prozent. Auch explainx.ai und auf Hacker News der Nutzer londons_explore weisen auf die fehlende Angabe hin. Für ein Dokument, das eine branchenweite Grenze begründen soll, ist das eine auffällige Lücke.

Zweite Lücke: Tokenizer und Testkorpus

Der Loss wird pro Token gemessen. Wie groß ein Token ist, entscheidet der Tokenizer, also das Programm, das Text in Stücke zerlegt. Fasst ein Tokenizer mehr Zeichen zu einem Token zusammen, muss das Modell pro Token mehr „erraten“. Der Loss pro Token steigt dann, obwohl das Modell den Text genauso gut komprimiert. Deshalb rechnen Forscher in Bits pro Byte (BPB) um: Sie teilen den Gesamtverlust durch die Zahl der Bytes im Rohtext. Das Pile-Paper gibt dafür die Formel BPB = (Tokens/Bytes) × ℓ / ln 2 an und nennt BPB ausdrücklich „invariant gegenüber verschiedenen Tokenisierungen“. Huang et al. begründen ihre Wahl von Bits pro Zeichen ebenso: Bits pro Token seien wegen der verschiedenen Tokenizer „nicht direkt vergleichbar“.

So machen es andere Labore. DeepSeek nennt für DeepSeek-V3-Base auf dem öffentlichen Pile-Test 0,548 BPB, für Llama 3.1 405B 0,542 und für Qwen2.5 72B 0,638. Daran kann man ein Gedankenexperiment knüpfen: Hätte OpenAIs Code dasselbe Verhältnis von Tokens zu Bytes wie GPT-2 auf dem Pile (0,29335) und wären die Werte in Nats angegeben, entspräche 0,76 etwa 0,32 BPB. Das ist ausdrücklich nur zur Veranschaulichung gerechnet. Code ist viel vorhersagbarer als gemischter Webtext, und OpenAIs Bytes pro Token sind unbekannt. Die Rechnung zeigt nur, dass sich die Zahl je nach Annahme deutlich verschiebt. Der Text sagt auch nicht, ob über die Jahre derselbe Tokenizer verwendet wurde.

Noch schwerer wiegt das Testkorpus. Laut Fußnote 3 stammen die Held-out-Daten, also Daten, die beim Training zurückgehalten werden, seit GPT-3.5 aus OpenAIs internem Code, gemessen an einem festen Stand. Kein anderes Labor hat diesen Code. Wie OpenAI verhindert, dass er ins Training durchsickert, steht nicht im Text. Auf Hacker News schreibt RAWGOD: Wer den Testsatz versehentlich ins Training kippt, „kann Perplexität 0 erreichen“. Pachocki räumt in Fußnote 4 selbst ein, dass Code für GPT-2 und GPT-3 ein schlechter Maßstab ihrer allgemeinen Fähigkeiten war. Er habe trotzdem die Zahlen gewählt, auf die OpenAI sich heute am meisten verlässt.

Wie stark die Zahlen vom Korpus abhängen, zeigt die Forschung. Du et al. fanden bei ihren eigenen Modellen eine Fähigkeitsschwelle bei einem Loss von etwa 2,2, nicht 0,76. Die Autoren schreiben ausdrücklich, Loss-Werte von Modellen mit unterschiedlichen Trainingskorpora seien „nicht direkt vergleichbar“.

Taucht Können wirklich an Schwellen auf?

Pachockis Argument setzt voraus, dass Fähigkeiten an bestimmten Loss-Werten auftauchen. Diese Frage ist umstritten. Schaeffer et al. argumentierten 2023, Emergenz sei eine „Fata Morgana“: Sprunghafte Fähigkeiten entstünden durch harte Metriken wie „Antwort ganz richtig oder falsch“. Mit stetigen Metriken verschwänden sie. Du et al. hielten 2024 dagegen: Auf MMLU, C-Eval, GSM8K und GSM8K-Chinese blieben Modelle dreier Größen auf Zufallsniveau, bis der Loss etwa 2,2 erreichte. Dieser Kipppunkt blieb auch mit stetigen Maßen wie dem Brier-Score bestehen. Wohlgemerkt gilt das für einen festen Korpus und einen festen Tokenizer.

Die Annahme, dass Kompression Intelligenz abbildet, hat empirische Stützen. Huang et al. verglichen 31 offene Basismodelle auf 12 Benchmarks und fanden eine nahezu lineare Beziehung: Die Korrelation zwischen Bits pro Zeichen und Benchmark-Werten lag bei etwa −0,93 bis −0,95. Die Einschränkungen sind allerdings genau die, die hier zählen. Untersucht wurden nur Basismodelle („feinabgestimmte Modelle sind keine allgemeinen Kompressoren mehr“). Die Korrelation hängt davon ab, wie gut das Testkorpus zum Fachgebiet passt. Und Qwen-Modelle mussten wegen Verdachts auf Testdaten-Kontamination aus der Auswertung genommen werden. Deletang et al. zeigten, wie allgemein „Kompressor“ gemeint ist: Chinchilla 70B komprimiert Bildausschnitte auf 43,4 Prozent (PNG: 58,5) und Sprachaufnahmen auf 16,4 Prozent (FLAC: 30,3).

Den eigentlichen Haken benennt Eliezer Yudkowsky auf X:

„Keine Seele auf Erden hat vorhergesagt, welche Fähigkeiten an welcher Stelle dieser y-Achse auftauchen würden.“

Pachocki schreibt selbst, die Schwellen seien vorab nicht klar vorhersagbar gewesen. Dass „0,68 bis 0,7“ die nächste kritische Zone ist, ist eine Extrapolation. Der X-Nutzer @scaling01 fragte prompt, ob der Bereich willkürlich gewählt sei.

Was der Zahl entgeht

OpenAI nennt die größte Schwäche selbst: Chain-of-Thought, also schrittweises Ausformulieren von Lösungswegen, „senkt die Perplexität nicht“, steigert die Fähigkeiten aber stark. Dasselbe gilt für Reinforcement Learning, also Training über Belohnungen, sowie für Werkzeuge und Agenten-Umgebungen. Auf Hacker News merkt qphe95 an, GPT-4 und o3 hätten ähnliche Perplexität, obwohl o3 ein großer Sprung war. ACCount39 weist darauf hin, dass RL den gemessenen Loss sogar steigen lassen kann. theptip warnt: Deckelt man die Vortrainings-Perplexität, verlagert sich der Druck einfach aufs Nachtraining. Dazu kommt Goodharts Gesetz: Wird eine Kennzahl zum Ziel, taugt sie nicht mehr als Messgröße. Der Nutzer @surlymochan schreibt auf X, Labore würden dann die Zahl optimieren statt der Fähigkeit.

Auch die bisherigen Alternativen haben Schwächen. Der EU AI Act vermutet ab 10^25 Rechenoperationen (FLOP) im Training ein systemisches Risiko, Kaliforniens SB 53 definiert Frontier-Modelle ab 10^26 FLOP. Lennart Heim weist darauf hin, dass effizientere Algorithmen den Zusammenhang zwischen Rechenaufwand und Fähigkeit aufweichen. Sara Hooker hält die Schwellen schlicht für unbegründet. Perplexität misst immerhin das Ergebnis statt des Aufwands. Unsere Einschätzung: Damit verschiebt sich das Problem aber nur von „wie viel wurde gerechnet“ zu „worauf wurde gemessen“.

Dazu kommt die Ungenauigkeit beim Ablesen. Die Werte für die neuesten Modelle stammen aus einer Grafik. CellCog liest dort etwa GPT-6.2 Astra bei 0,76 und ein unbenanntes internes Modell bei 0,73 ab. Im Fließtext nennt OpenAI keine Modellnamen. Gleichzeitig schreibt Pachocki, nahe am unbekannten Minimum des Datensatzes würden kleine Loss-Gewinne „größeren Sprüngen“ entsprechen. Eine Grenze müsste also auf wenige Hundertstel genau sitzen, und dafür ist das alles zu unscharf.

Was man festlegen müsste

Aus den Quellen ergibt sich eine Liste. Die Gewichtung ist unsere Einschätzung:

  1. Einheit und Normierung: Bits pro Byte statt Loss pro Token, damit Tokenizer-Unterschiede herausfallen.
  2. Ein gemeinsames, geheimes Testkorpus: Es sollte breit sein, regelmäßig erneuert werden und bei einer neutralen Stelle liegen, damit es nicht ins Training gelangt. Hacker-News-Nutzer ranyume kritisiert, der Vorschlag beruhe auf „einer Metrik, die nur Labore berechnen können“. Charlie O'Neill fordert auf X, OpenAI solle den Testsatz herausgeben.
  3. Messprotokoll: Kontextlänge, Zeitpunkt der Messung (Basismodell vor dem Nachtraining) und Umgang mit synthetischen Trainingsdaten müssen festgelegt sein.
  4. Unabhängige Prüfung: Wer misst, wer kontrolliert, was passiert bei Überschreitung? Dazu sagt der Essay nichts.
  5. Ergänzende Grenzen für das Nachtraining, da RL und Chain-of-Thought sonst komplett außen vor bleiben. Pachocki deutet das mit „und anderen Messungen“ nur an.

Einordnung

Dass ein führendes Labor seinen internen Fortschritt beim Vortraining offenlegt, ist ungewöhnlich und wertvoll. Will Depue lobte auf X „Transparenz statt Wettbewerb“. Als Tempolimit taugt die Zahl in ihrer jetzigen Form aber kaum: Einheit, Tokenizer, Korpus und Schutz vor Kontamination sind offen, und die Werte lassen sich nur innerhalb von OpenAI vergleichen. Kritiker auf X wie @da7_tech unterstellen OpenAI zudem taktische Motive. Belegt ist das nicht. Von Anthropic, Google DeepMind, Meta oder xAI gab es bis Redaktionsschluss keine Reaktion.

Unsere Einschätzung: Die Idee ist ein brauchbarer Ausgangspunkt, aber noch kein Messstandard. Überprüfbar würde sie erst mit gemeinsamer Normierung in Bits pro Byte, einem neutral verwahrten Testkorpus und zusätzlichen Grenzen für das Nachtraining. Und selbst dann bleibt Yudkowskys Einwand: Eine Zahl kann anzeigen, dass sich etwas ändert, aber nicht, welche Fähigkeit als Nächstes kommt.

#openai#perplexität#ki-sicherheit#benchmarks#regulierung#erklärstück

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.