Hilft der Trick wirklich? Was 127.000 KI-Paper über ihre eigenen Kniffe verraten

Ein neuer, kostenloser Atlas hat per KI ausgewertet, wie oft 37 gängige Kniffe in 126.758 Forschungsarbeiten laut den Papern selbst etwas bringen. Bauteile, die Autoren hinzufügen, „helfen“ fast immer, schlichtes Hochdrehen von Einstellungen dagegen deutlich seltener. Wir haben die Zahlen nachgerechnet, sie mit unabhängigen Nachtests verglichen und zwölf Einträge stichprobenartig an den Original-Papern geprüft.

Analysen 17. Nov. 2026 9 Min. Lesezeit Eigene Analyse der Redaktion
Symbolbild, KI-generiert

Darum geht es

Fast jedes neue KI-Modell und fast jedes Forschungspaper kommt mit einer „Ablation“. Das ist ein Kontrollversuch, bei dem die Autoren einzelne Bausteine weglassen oder hinzufügen, um zu zeigen, dass gerade ihr Baustein den Fortschritt bringt. Der kostenlose scime-Atlas der jungen Firma Latentic Labs hat diese Kontrollversuche nun massenhaft gezählt. Eine KI hat laut Betreiber die Volltexte von 126.758 Papern der großen Konferenzen und Fachzeitschriften aus den Jahren 2016 bis 2026 gelesen und daraus 1.273.440 Ergebnisse gezogen. Auf der Seite „Does it actually help?“ steht für 37 gängige Kniffe, wie oft sie laut den Papern selbst etwas bringen.

Das auffälligste Muster ist eine Lücke. Bauteile, die man einem Modell hinzufügt, „helfen“ fast immer. Stellschrauben, die man nur hochdreht, helfen deutlich seltener. Unsere These lautet: Diese Lücke misst vor allem, was Autoren zeigen wollen, und weniger, was tatsächlich wirkt. Ganz so einfach ist es aber nicht, wie die Prüfung zeigt.

Was der Atlas zählt und wie

Laut der Methodenbeschreibung hat ein KI-Modell zu jeder getesteten Änderung herausgeschrieben, worauf sie getestet wurde, welche Messgröße zählte, welche Zahl herauskam und ob die Änderung half. Von Hand geprüft wurde das ausdrücklich nicht. Die Zuordnung zu den 37 Kniffen läuft „über den Wortlaut“. Gezählt werden nur Änderungen, die etwas hinzufügen, erhöhen oder nutzen. Entfernen, Verkleinern und Austauschen fallen heraus. Jedes Paper zählt pro Kniff einmal, und zwar mit dem Ergebnis, das seine Befunde zu diesem Kniff mehrheitlich zeigen.

Insgesamt erfasst der Atlas 621.064 hinzugefügte Änderungen aus 110.393 Papern. 69 Prozent davon halfen, 10 Prozent zeigten keinen klaren Effekt, 16 Prozent verschlechterten das Ergebnis, 5 Prozent waren gemischt. 66 Prozent der Paper berichten mindestens eine Änderung, die nichts brachte. Die Betreiber warnen selbst, dass Fehlschläge seltener veröffentlicht werden. Die wahre Misserfolgsquote liege also höher.

Ein paar Ungereimtheiten fallen schon auf der Seite auf. Im Methodenteil ist von „37 Mustern“ die Rede, die Tabelle der „üblichen Verdächtigen“ zeigt aber nur 31. Gelistet sind 137.217 Paper, im Volltext gelesen wurden 126.758. Warum gut 10.000 fehlen, erklärt die Seite nicht. Rohdaten zum Herunterladen gibt es nicht.

Die Zahlen: Bauteile gegen Stellschrauben

Der Atlas teilt die 37 Kniffe in „Components“ (ein Teil hinzufügen, etwa einen Verlust oder ein Modul) und „Knobs“ (eine Einstellung hochdrehen, etwa Lernrate oder Modellgröße). Eine Auswahl:

Kniff Typ Paper geholfen schlechter
Kontrastverlust hinzufügen Bauteil 1.317 95 % 2 %
Attention-Modul hinzufügen Bauteil 492 90 % 5 %
Knowledge Distillation Bauteil 2.108 89 % 7 %
Dropout hinzufügen Bauteil 795 69 % 18 %
Chain-of-Thought-Prompting Bauteil 1.107 69 % 18 %
Gradient Clipping Bauteil 88 64 % 12 %
Mehr Trainingsdaten Stellschraube 1.169 78 % 6 %
Mehr Schichten Stellschraube 4.253 69 % 17 %
Größerer LoRA-Rang Stellschraube 233 46 % 20 %
Höhere Lernrate Stellschraube 452 44 % 37 %
Höhere Sampling-Temperatur Stellschraube 122 34 % 42 %

Zur Erklärung: Ein Kontrastverlust ist ein Trainingsziel, das ähnliche Beispiele im Modell näher zusammenrückt und unähnliche auseinanderschiebt. Der LoRA-Rang legt fest, wie groß der kleine Zusatzbaustein beim sparsamen Nachtrainieren mit LoRA ist. Die Temperatur bestimmt, wie zufällig ein Sprachmodell sein nächstes Wort wählt. Chain-of-Thought heißt, dass das Modell seine Rechenschritte ausschreibt, bevor es antwortet.

Die Zahlen 82 und 64 Prozent stehen nicht auf der Atlas-Seite. Wir haben sie aus den 37 Zeilen nachgerechnet. Gewichtet nach Paperzahl kommen die 20 Bauteile auf 82,3 Prozent, die 17 Stellschrauben auf 64,6 Prozent. Ungewichtet sind es 80 gegen 58 Prozent. Der Wert für die Stellschrauben hängt stark an „mehr Schichten“ mit 4.253 Papern. Ohne diesen Posten sinkt er auf knapp 62 Prozent.

Widerspruch: Nicht jede Lücke ist Schönfärberei

Dass Stellschrauben schlechter abschneiden, hat auch einen ganz mechanischen Grund. Lernrate, Temperatur oder LoRA-Rang werden meist durchprobiert, also in einer Reihe von Werten getestet. Solche Reihen haben fast immer einen besten Wert in der Mitte. Wer den Standardwert schon gut eingestellt hat, verschlechtert das Ergebnis zwangsläufig, wenn er weiter hochdreht. Dass eine höhere Temperatur öfter schadet als nützt, ist darum kein Zeichen besonderer Ehrlichkeit. Es ist das erwartbare Ergebnis eines Tests rund um das Optimum. Die 64 Prozent sind also keine neutrale Wahrheit, mit der man die 82 Prozent einfach vergleichen könnte.

Außerdem unterscheidet der Atlas nicht danach, wer ein Bauteil erfunden hat. „Bauteil“ heißt nicht automatisch „Eigenbau der Autoren“. Gerade das stützt die These aber auf indirektem Weg. Unsere Einschätzung beruht auf einer eigenen Gruppierung: Bauteile, die typischerweise der eigene Beitrag eines Papers sind, also Kontrastverlust, Attention-Modul, Zusatzverlust und Distillation, kommen gewichtet auf rund 91 Prozent. Standardzutaten, die fast jeder ohnehin einbaut, also Dropout, Label Smoothing, Gradient Clipping, Normalisierung und Cosine-Schedule, landen bei etwa 70 Prozent und damit nahe an den Stellschrauben. Auch Chain-of-Thought schneidet mit 69 Prozent mäßig ab. Es wird oft von Dritten als Vergleichsverfahren getestet, etwa im Paper „To CoT or not to CoT?“. Wo Autoren kein eigenes Interesse am Ergebnis haben, sinkt die Erfolgsquote also spürbar.

Eine Einschränkung bleibt: Kontrastverluste wirken offenbar wirklich. Ausgerechnet der kritische Nachtest von Musgrave und Kollegen zeigte, dass der klassische Kontrastverlust von 2006 bei fairem Vergleich sehr robust ist. Die 95 Prozent sind deshalb vermutlich nicht nur Schönfärberei.

Was unabhängige Nachtests zeigen

Wie viel von veröffentlichten Fortschritten übrig bleibt, wenn Fremde nachmessen, ist gut untersucht:

  • Narang et al. 2021 (arXiv 2102.11972) haben rund 50 Transformer-Varianten in einer gemeinsamen Codebasis nachgebaut. Ihr Fazit:

    „Überraschenderweise stellen wir fest, dass die meisten Änderungen die Leistung nicht nennenswert verbessern.“

Was half, waren meist kleine Änderungen wie SwiGLU oder RMSNorm oder Varianten, die in derselben Codebasis entstanden waren. Von den Erfindern von 12 Techniken, die die Autoren kontaktierten, bestätigten 6 die Implementierung als korrekt. - Musgrave et al. 2020 (arXiv 2003.08505) fanden in Metric-Learning-Papern unfaire Vergleiche, schwache Vergleichswerte und Hyperparameter, die am Testdatensatz ausgesucht wurden. Neuere Verlustfunktionen behaupteten teils mehr als die doppelte Leistung alter Verfahren. Nach fairem Vergleich lagen sie nur etwa 1 bis 4 Punkte vor dem Kontrastverlust von 2006, manche sogar darunter. - Lucic et al. 2018 (arXiv 1711.10337) zeigten bei GANs, also Bildgeneratoren aus zwei gegeneinander trainierten Netzen: Mit genug Tuning und Neustarts erreichen die meisten Modelle ähnliche Werte. Keines schlug das ursprüngliche Verfahren verlässlich. - Melis et al. 2018 fanden, dass gut regularisierte Standard-LSTMs neuere Sprachmodell-Architekturen übertrafen.

Lipton und Steinhardt (arXiv 1807.03341) nennen das Muster beim Namen: Paper schreiben Fortschritte gern neuen Architekturen zu, obwohl sie in Wahrheit vom Hyperparameter-Tuning stammen. Genau dieses Muster würde eine Zählung wie die des Atlas als „Bauteil hilft“ verbuchen.

Stichprobe: Liest die KI richtig?

Wir haben zwölf Einträge von Atlas-Themenseiten zu Chain-of-Thought, LoRA und Kontrastlernen mit den Original-Papern verglichen. Zehn davon konnten wir an der Original-Tabelle prüfen:

Paper Atlas-Eintrag Original Urteil
SIM-CoT (ICLR 2026) 3B- statt 1B-Decoder: 56,1 → 50,4 Tab. 4a identisch korrekt
KAM-CoT (AAAI 2024) Wissensgraph: 87,74 → 92,62 Tab. 5 identisch korrekt
T-SciQ (AAAI 2024) 91,75 → 85,99 identisch korrekt
VeriCoT (ICLR 2026) Prämissen: 3,3 → 45,2 % Tab. 1 identisch korrekt
StreamingThinker (ICLR 2026) 0,437 → 0,871 Tab. 1 identisch korrekt
MiSS (ICLR 2026) Rang 16 → 128: 45,90 → 53,49 Tab. 7 identisch korrekt
RandLoRA (ICLR 2025) Rang 32: 85,98 → 83,62 Tab. 2 identisch korrekt
LoRA-RITE (ICLR 2025) Rang 4 statt 16: 68,8 → 70,4 identisch korrekt, aber unvollständig
CopyNCE (ICCV 2025) 68,9 → 70,5 µAP Tab. 2 identisch korrekt
DoRA (ICML 2024) „Rang halbiert“: 74,7 → 77,5 74,7 ist LoRA, nicht DoRA falsch zugeordnet

Die Zahlen stimmen also fast immer. Problematisch ist eher, was die Zahlen bedeuten. Beim DoRA-Paper vergleicht der Atlas LoRA mit Rang 32 gegen DoRA mit halbiertem Rang. Innerhalb von DoRA kostet das Halbieren tatsächlich etwas, das Ergebnis fällt von 78,4 auf 77,5. Bei LoRA-RITE hilft der kleinere Rang nur dem Verfahren der Autoren. Für das gewöhnliche Adam-Training ist Rang 16 besser (64,0 gegen 63,0). Ein weiterer Eintrag zu einem CVPR-Paper über Geodaten-Adapter widerspricht sich schon selbst: „verschlechtert“, obwohl die Zahl von 85,86 auf 87,14 steigt. Das Original konnten wir dort nicht abrufen. Ebenso wenig gelang das für das Paper „Chain-of-Thought Reasoning Without Prompting“. Zwölf Einträge sind zu wenig für eine Fehlerquote. Sie zeigen aber, wo die Grenzen liegen.

Wie schwer Ablationen selbst für starke Modelle zu durchschauen sind, zeigt AblationBench: Das beste getestete System fand im Schnitt nur 45 Prozent der Ablationen, die die Autoren tatsächlich gemacht hatten. Die Reaktionen im Reddit-Thread zum Atlas konnten wir technisch nicht abrufen. Eine Bewertung der Community-Kritik fehlt daher.

Einordnung

Der Atlas ist ein nützliches, frei zugängliches Werkzeug und ein seltener Blick in die Breite. Seine Rohzahlen sind in unserer Stichprobe überwiegend korrekt abgeschrieben. Die Kernaussage „26 Prozent der Änderungen helfen nicht“ ist plausibel, nach Ansicht der Betreiber selbst aber eher eine Untergrenze.

Unser Fazit zur These: Sie hält teilweise. Dass eigene Beiträge fast immer „helfen“, Standardzutaten aber nur in rund 70 Prozent, passt zu Publikationsbias, also der Neigung, vor allem Erfolge zu veröffentlichen. Es passt auch zu dem, was Nachtests wie Narang oder Musgrave regelmäßig finden. Ein Teil der Lücke zu den Stellschrauben ist aber schlicht Mechanik: Rund um ein Optimum zu testen, erzeugt zwangsläufig Verluste.

Offen bleibt, wie oft die KI-Zuordnung danebenliegt, wie Ablationen nach dem Muster „ohne X“ verbucht werden und warum gut 10.000 Paper fehlen. Für Leser heißt das: Wenn ein neues Modell mit einer Ablationstabelle wirbt, ist das ein Indiz, aber noch kein Beweis. Belastbar wird es erst, wenn jemand anderes den Trick in einer anderen Codebasis nachbaut.

#forschung#ablationen#reproduzierbarkeit#faktencheck#paper

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.