Testfragen im Trainingsfutter: Selbst das offenste KI-Modell kannte die Prüfung

Open Athena hat das 535-Milliarden-Modell Marin Mochi so offen trainiert wie noch niemand zuvor. Trotzdem landeten Testfragen gängiger Benchmarks unbemerkt in den Trainingsdaten. Wir erklären am Fall Marin, wie solche Lecks entstehen, warum die üblichen Filter sie übersehen und welchen Benchmark-Zahlen man noch trauen kann.

Analysen 22. Nov. 2026 9 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Es gibt kaum ein KI-Projekt, das offener arbeitet als Marin. Das Projekt stammt von Stanford CRFM und gehört heute zur gemeinnützigen Organisation Open Athena. Den Trainingslauf für das Modell Marin „Mochi“ 535B-A23B haben die Forschenden ab dem 20. August öffentlich mitlaufen lassen: Loss-Kurven, Datenmix, Fehlersuche und Entscheidungen standen auf GitHub und in Weights & Biases. Mochi ist ein Mixture-of-Experts-Modell, bei dem pro Token nur ein kleiner Teil des Netzes rechnet. Es hat 535 Milliarden Parameter, davon rund 23 Milliarden aktiv. Anfang November war das Vortraining nach rund 18,2 Billionen Token fertig. Am 17. November folgten alle 57 Zwischenstände (Checkpoints) auf Hugging Face. Laut Projektleiter David Hall sind das zusammen rund 61 TB, veröffentlicht unter der Lizenz OpenMDW 1.1.

Benchmark-Zahlen gibt es trotzdem nicht. Im Blogbeitrag zur Veröffentlichung steht der entscheidende Satz eher beiläufig. Auslöser seien „unerwartete Veränderungen der Eval-Loss“ gewesen und Bedenken, die der Stanford-Student Michael Ryan geäußert hatte:

„Wir haben erhebliche Leckage aus gängigen Pre-Training-Benchmarks entdeckt, die unser Dekontaminationsverfahren übersehen hatte.“

Das beeinflusse, welche Ergebnisse man fair mit anderen Modellen vergleichen könne. Dieser Artikel rekonstruiert aus den öffentlichen GitHub-Issues, was passiert ist. Dazu kommt die Frage, die daraus folgt: Wenn das schon bei vollständig offenen Daten passiert, was sagen dann die Benchmark-Tabellen von Modellen, deren Daten niemand prüfen kann?

Drei Lecks, drei Mechanismen

1. Der Penn Treebank als Wortsalat. Am 7. Oktober fiel einem Teammitglied auf, dass die Eval-Loss auf dem Penn-Treebank-Teil (PTB) der Testsammlung Paloma um rund 0,2 nats gesunken war. Die Loss misst, wie überrascht das Modell von einem Text ist. Bei diesem eher fachfremden Material war der plötzliche Rückgang verdächtig. Das Team baute den exakten Datenstrom des Trainings nach und durchsuchte etwa 554 Milliarden Token. Dabei stieß es auf das GitHub-Repo quanpn90/torch-nplm, eine Nachprogrammierung des neuronalen Sprachmodells von Bengio aus dem Jahr 2003. Rund 99,6 Prozent seiner etwa 1,39 Millionen Token bestehen aus den kompletten PTB-Test- und Validierungsdaten, zerlegt in gleitende Fenster aus sechs Wörtern. Bei einem Testsatz sagte der überprüfte Checkpoint das nächste Wortstück mit 80 Prozent Sicherheit voraus, der folgende Checkpoint nur noch mit 0,2 Prozent. Das Team folgerte, der Rückgang sei „keine Fähigkeitsänderung“, sondern komme vom wörtlichen Kontakt mit dem Testtext. Es sagte auch voraus, dass die Kurve beim zweiten Durchlauf der Daten um Schritt 362.300 wieder fallen würde. Genau das geschah.

2. WikiText aus dem Code-Datensatz. Ein externer Mitwirkender (GitHub-Name „bethehand“) wertete die öffentlichen Kurven aus. Er fand ähnliche einseitige Einbrüche bei WikiText-103, während allgemeine Wikipedia-Texte stabil blieben. Bei einer Suche durch alle 8.192 Dateien des Code-Datensatzes Stack v3 tauchte das Repo shaochenze/PatchTrain auf. Es enthielt fast den ganzen WikiText-Testsatz. Laut Issue #9874 erklärten PTB und WikiText zusammen den größten Teil der Schwankungen im Paloma-Durchschnitt.

3. GSM8K wurde womöglich nie geprüft. In einem Wochenbericht des Datenteams vom 20. Oktober steht der heikelste Fund. Im Mochi-Lauf ließen sich 118 Testaufgaben aus dem lm-eval-harness nicht laden, weil sich ihre Datensatznamen geändert hatten. Betroffen waren unter anderem GSM8K, TruthfulQA, Winogrande, BoolQ und TriviaQA. Die Pipeline überspringe solche Aufgaben stillschweigend, statt abzubrechen. Diese Benchmarks wurden also wahrscheinlich nie für die Dekontamination genutzt. Der Bericht schränkt ein, dass das noch nicht an der tatsächlich verwendeten Datenkopie bestätigt sei.

Neu ist das Problem für Marin nicht. Beim 32B-Vorgänger fand das Team GSM8K-Testaufgaben in einem zwischengespeicherten Datenpaket und verwarf eine ganze Abkühlphase über 1,07 Billionen Token. Und bei einer Prüfung im Juli enthielt NVIDIAs offener Mathe-Korpus Nemotron-CC-Math Texte zu 141 der 500 MATH-500-Testaufgaben (28,2 Prozent) und zu 17 der 30 AIME-2024-Aufgaben. Das zeigt, wie dicht Mathe-Daten aus dem Web mit Benchmark-Kopien durchsetzt sind.

Warum die Filter versagen

Marins Verfahren entspricht dem Branchenstandard. Es zerlegt jeden Absatz in 13-Gramme, also Ketten aus 13 aufeinanderfolgenden Wörtern, und gleicht sie mit den Testaufgaben ab. Dafür nutzt es einen Bloom-Filter, eine platzsparende Datenstruktur, die blitzschnell sagt: „sicher nicht gesehen“ oder „wahrscheinlich gesehen“. Stimmt mindestens die Hälfte der 13-Gramme eines Absatzes mit Testmaterial überein, fliegt das Dokument raus. Laut Datenblog wurden so 13,66 Milliarden Token entfernt. Der Beitrag räumt selbst ein, die Regel bevorzuge Präzision und übersehe deshalb Umformulierungen und eingebettete Beispiele.

Weg ins Training Beispiel bei Marin Warum der Filter es verfehlt
Zerstückelte Kopie PTB als 6-Wort-Fenster in torch-nplm Keine zusammenhängenden 13 Wörter, Überschneidung 0,000
Kurze Zeilen Antwortoptionen aus MMLU/ARC, Tabellen Absätze unter 13 Wörtern werden ignoriert, Trefferquote 0 %
Eingebettet in anderen Text Testfrage mitten in einem Absatz Unter der 50-Prozent-Schwelle, nur 29,7 % erkannt
Testsatz nicht in der Prüfliste Paloma, WikiText bewusst ausgenommen, GSM8K wohl nicht geladen Was nicht geprüft wird, kann nicht gefunden werden
Umformulierung, Übersetzung allgemeines Problem Wortketten stimmen nicht mehr überein

Die Zahlen in der Tabelle stammen aus Issue #6852. Dort hat ein Entwickler Testfragen absichtlich in Dokumente eingeschleust. Insgesamt erkannte der Filter nur 58,8 Prozent davon. Ein Fix stieg die Quote auf 83,3 Prozent, bei eingebetteten Fragen blieb sie mit 37 Prozent schwach. Mit dem rohen Testtext statt der Fenster-Version kam der PTB-Fund übrigens auf 1,000. Der Filter funktioniert also, aber nur für die Form, die er erwartet. Strengere Regeln haben ihren Preis: Die alte Regel hätte laut Wochenbericht rund 87 Milliarden Token entfernt, die neue rund 8 Milliarden. Die meisten Treffer der alten Regel waren harmlose kurze Zeilen.

Umformulierungen sind das ältere Problem. Forscher von LMSYS zeigten 2023, dass ein 13B-Modell, das mit umformulierten Testfragen trainiert wurde, auf MMLU 85,9 Punkte erreicht, also GPT-4-Niveau, ohne dass ein N-Gramm-Filter anschlägt. In RedPajama und StarCoder-Data überschnitten sich 8 bis 18 Prozent von HumanEval mit den Trainingsdaten. 2026 fand ein Paper mit Einbettungssuche, also einem Abgleich nach Bedeutung statt nach Wortlaut, im Trainingskorpus von AI2s Olmo 3 inhaltliche Duplikate zu 100 Prozent der MBPP- und 77,5 Prozent der CodeForces-Aufgaben. Und das trotz Dekontamination.

Woran man Kontamination erkennt

  • Sprünge in der Loss: Der Marin-Fall ist ein Lehrbuchbeispiel. Glatte Kurven, die plötzlich auf genau einem Testsatz einbrechen, sind ein Warnsignal. Auf den Testsätzen aus Uncheatable Eval, also aus Texten, die erst nach dem Datenstand geschrieben wurden, gab es bei Marin keine solchen Einbrüche.
  • Frisch geschriebene Paralleltests: Scale AI ließ 2024 mit GSM1k 1.205 neue Matheaufgaben im Stil von GSM8K schreiben. Manche Modelle schnitten darauf bis zu 8 Punkte schlechter ab, vor allem die Familien Phi und Mistral. Je wahrscheinlicher ein Modell GSM8K-Beispiele wortwörtlich erzeugen konnte, desto größer war die Lücke. Spitzenmodelle zeigten kaum Anzeichen von Überanpassung.
  • Zeitschnitte: LiveCodeBench sortiert Aufgaben nach Erscheinungsdatum. Ein DeepSeek-Basismodell mit 33B fiel bei LeetCode-Aufgaben nach August 2023 von rund 60 auf rund 0 Prozent.
  • Wahrscheinlichkeitstests: Methoden wie Min-K% Prob prüfen, ob ein Text auffällig wenige „überraschende“ Wörter enthält. Das deutet darauf hin, dass das Modell ihn kennt.
  • Abfragen: OpenAI zeigte im Februar 2026, dass Spitzenmodelle die Originallösungen von SWE-bench-Verified-Aufgaben reproduzieren konnten. Gemini 3 Flash schaffte das sogar allein anhand der Aufgaben-ID. OpenAI meldet den Benchmark seitdem nicht mehr.

Die Frage, die kaum einer stellt

Marin konnte sein Leck finden, weil Daten, Datenstrom und Kurven offenliegen und Außenstehende mitsuchen konnten. Bei geschlossenen Modellen ist keiner dieser Wege offen. Die Model Cards beschreiben meist nur das Verfahren, etwa 13-Gramm-Abgleiche wie bei Qwen 2 oder 8-Gramme wie bei Llama 3. Bei Llama 3 schrieb Meta selbst, dass bei MBPP, HumanEval, MMLU und MMLU-Pro so viele Beispiele als überlappend markiert wurden, dass sich der Leistungsgewinn nicht zuverlässig schätzen ließ. Für Llama 1 schätzten Forscher mit der Methode ConTAM den Vorteil durch Kontamination auf rund 18 Punkte bei HumanEval und 25 bei Big Bench Hard. Selbst das vorbildlich offene K2 Horizon aus Abu Dhabi hat laut Paper nur die 18 Benchmarks dekontaminiert, über die es berichtet, aus einem Register von 208. Umformulierungen würden dabei nicht erkannt.

Diese Woche zeigt, wie das in der Praxis aussieht. Auf der Hugging-Face-Rangliste von Claw-Eval stammen die sieben Spitzenplätze ausschließlich aus Angaben der Hersteller, keiner der 22 Einträge ist verifiziert. GPT-6.2 Astra erreicht 100 Prozent auf ARC-AGI-3, landet aber im Vals Index nur auf Platz 7 und auf SimpleBench mit 77,3 Prozent unter dem Vorgänger. Das beweist keine Kontamination. Es zeigt aber, wie weit öffentliche und verdeckte Messungen auseinanderliegen können. Percy Liang hatte laut Projekt-Tracker schon im September bei einem Modellvergleich gewarnt, die verglichenen Modelle hätten womöglich auf den Testsätzen trainiert, die Abstände seien daher eine Untergrenze.

Welche Zahlen robuster sind

Typ Beispiele Grenzen
Verdeckte Testsätze Vals Index, SimpleBench (nur 10 Beispielfragen öffentlich), ARC-Prize Private Set Über APIs geprüfte „semi-private“ Sätze können laut ARC Prize mit der Zeit durchsickern
Jünger als der Datenstand LiveBench (monatlich neu), LiveCodeBench, Uncheatable Eval Nur so lange sauber, bis die nächste Modellgeneration sie gelesen hat
Paralleltests GSM1k Aufwendig, gibt es nur für wenige Benchmarks
Herstellerangaben auf bekannten Tests MMLU, GSM8K, HumanEval Am anfälligsten, Daten nicht prüfbar

Einordnung

Unsere Einschätzung: Der Fall Marin ist kein Skandal, sondern ein Glücksfall für die Forschung. Ein Team, das alles offenlegt, zeigt, dass gängige Filter selbst bei bestem Willen große Lücken haben. Die Ursachen sind banal: eine zerstückelte Kopie in einem GitHub-Repo, eine bewusst ausgenommene Testsammlung, ein stiller Ladefehler. Bemerkenswert ist auch, was das Team bisher nicht sagt. Es nennt weder alle betroffenen Benchmarks noch die Größe des Effekts in Punkten. Ob GSM8K tatsächlich im Training war, ist laut den öffentlichen Unterlagen nicht bestätigt. Pikant ist, dass ausgerechnet GSM8K und MATH-500 die ersten geplanten Tests für Mochi sind (Issue #11869).

Für Leser heißt das: Herstellerzahlen auf alten, öffentlichen Benchmarks sind bestenfalls ein grober Hinweis. Mehr Gewicht verdienen Ergebnisse auf verdeckten oder nachweislich jüngeren Testsätzen, die unabhängige Stellen gemessen haben. Ganz immun ist kein Test. Aber nur bei offenen Daten wie bei Marin lässt sich überhaupt nachprüfen, wie groß das Problem ist.

Quellen

#benchmarks#kontamination#marin#open athena#open source#evaluation

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.