KI als Gutachter: Wie viele eingebaute Fehler sie findet – und was keiner sieht

Darum geht es

Ob eine KI Fachartikel gut begutachtet, ist schwer zu messen, denn bei echten Papern weiß niemand genau, welche Fehler darin stecken. Mehrere Forschungsgruppen lösen das Problem auf dieselbe Weise: Sie bauen gezielt Fehler in echte Fachartikel ein. Fachleute nennen das Error Injection. Anschließend zählen sie, wie viele davon ein KI-Gutachter findet. Diesen November sind zwei solche Benchmarks samt offenen Daten erschienen. Der eine von Íñigo Zubeldia und Kollegen (Cambridge, Flatiron Institute) testet Astrophysik- und ML-Preprints, der andere von Paul Litvak Psychologie-Paper. Wir haben sie neben ältere Arbeiten gelegt.

Unsere These vorab: KI-Review taugt als zweites Augenpaar, am besten mit mehreren Systemen. Die Schlagzeilenzahl „KI findet X Prozent der Fehler“ hängt aber stark vom Testaufbau ab. Bei der Recherche hat sich nicht jede verbreitete Zuspitzung bestätigt. Auch das gehört in diesen Artikel.

Das Prinzip: Fehler einbauen, Treffer zählen

Zubeldias Team hat vier Fehlerarten eingebaut: Zitate, Mathematik, Rechenwerte und allgemeine Widersprüche, jeweils in drei Schweregraden von subtil bis offensichtlich. Alle Paper erschienen nach dem Wissensstichtag der getesteten Modelle. Getestet wurden zwölf Systeme. Dazu gehören Claude Opus 4.7, GPT-5.5 und Gemini 3.1 Pro mit einem einzigen Aufruf, zwei Varianten von Claude Code mit Python und Computeralgebra (Software, die Formeln symbolisch nachrechnet) sowie der Stanford Agentic Reviewer. Hinzu kommen zwei feinabgestimmte offene Modelle und Skepthical, das hauseigene Multi-Agenten-System der Autoren. Skepthical lädt zitierte Paper herunter, rechnet Formeln mit SymPy nach und prüft Zahlen per Code.

Einige Ergebnisse (Gesamt-Trefferquote, Astrophysik / ML):

Die in Meldungen zitierte Zahl von 91,1 Prozent stimmt. Sie gilt aber nur für einen Ausschnitt: Rechenfehler in Astrophysik-Papern, gefunden von Claude Code mit strukturiertem Prompt. Bei Zitatfehlern lag dieselbe Konfiguration bei 26,7 Prozent. Die beiden offenen Modelle, die auf alten Konferenzgutachten trainiert wurden, fanden weniger als 3 Prozent. Das kommentieren die Autoren so:

„Gesprächstraining auf früheren Konferenzgutachten befähigt Modelle nicht, technische Fehler zu lokalisieren.“

Die Grenzen nennen die Autoren selbst. Jeder Korpus besteht aus 15 Papern vom selben Tag. Die Treffer bewertet ein Gremium aus Sprachmodellen, und ein Mensch hat nur ein Paper nachgeprüft. Skepthical bekommt zudem mehr Aufrufe als die Einzelmodelle. Gegen GPT-5.5 mit knappem strukturiertem Prompt schlägt es sich nur um 1,7 bzw. 0,6 Punkte besser, und dieser Unterschied ist statistisch nicht signifikant.

Befund 1: Der Prompt zählt viel, das Modell aber noch mehr

Die Zahlen +32,2 und +38,9 Prozentpunkte stimmen. Sie gelten für Claude Code mit demselben Modell (Opus 4.7) und denselben Werkzeugen, einmal mit freiem und einmal mit strukturiertem Prompt, der die Fehlerkategorien aufzählt. Mit freiem Prompt schrieb der Agent kein einziges Prüfskript. Mit strukturiertem Prompt waren es im Astrophysik-Lauf 21 Skripte. Ob die Werkzeuge überhaupt zum Einsatz kommen, entscheidet also der Prompt.

Die verbreitete Lesart, der Prompt bewege mehr als der Modellwechsel, gibt das Paper aber nicht her. Bei gleichem freiem Prompt liegen die drei Spitzenmodelle 48,6 bzw. 52,8 Punkte auseinander. Die Autoren nennen die Modellwahl ausdrücklich den größten Einflussfaktor. Der Prompt-Effekt schwankt außerdem stark: Gemini gewinnt im ML-Korpus 40 Punkte, GPT-5.5 in der Astrophysik nur 0,8. Bei Litvak brachte der Kategorien-Prompt GPT-5.5 nur 5 Treffer mehr (66 statt 71), bei GPT-5.4 waren es 13, bei Claude 4.6 und Gemini 0 bis 3.

Unsere Einschätzung: Eine einzelne Prozentzahl zu „KI-Review“ ist ohne Angabe von Modell, Prompt und Werkzeugen kaum aussagekräftig. Schon kleine Änderungen am Aufbau verschieben sie um Dutzende Punkte.

Befund 2: Mehrere Systeme finden mehr, aber mit abnehmendem Zusatznutzen

Bei Litvak findet GPT-5.5 allein 71 von 100 Fehlern. Kommt das kommerzielle Werkzeug Refine.ink dazu, sind es 80, mit einem dritten System aus einer anderen Modellfamilie 85. Fünf Systeme schaffen 90, acht erreichen 93, und die übrigen sechs Konfigurationen bringen nichts mehr hinzu. Im Agentic-Review-Benchmark von Chenhao Tans Gruppe (Chicago) steigt die Quote von 71,6 Prozent mit dem besten Einzelmodell auf 83,3 Prozent mit allen zusammen. Zubeldias Team gibt keine Gesamtquote aller Systeme an. Es zeigt aber, dass Skepthical und Claude Code bei Zitaten und Zahlen fast unabhängig voneinander treffen (Korrelation r ≈ 0,04).

Die Kosten unterscheiden sich enorm. Laut Litvaks Auswertung kostet ein gefundener Fehler mit GPT-5.5 rund 4 Cent. Refine.ink kostet rund 50 Dollar pro Paper, also etwa 8,77 Dollar je Fehler und damit gut 200-mal mehr. Dafür findet es die meisten Fehler, die kein anderes System entdeckt. Bei Zubeldia kostet Skepthical 2,41 Dollar pro Paper und Claude Code mit strukturiertem Prompt rund 1,73 Dollar.

Es gibt auch Gegenbelege. Eine Studie, in der 45 Fachleute Gutachten zu 82 Papern aus der Nature-Familie bewerteten (2605.20668), fand: KI-Gutachter überschneiden sich untereinander viel stärker als Menschen (21 gegenüber 3 Prozent). Die Studie „Science Prediction Universe“ von UniPat AI (2611.15049) zeigt, dass KI-Agenten sich bei Vorhersagen untereinander einiger sind (0,52) als mit den Messwerten aus dem Labor (0,33). Bei einer Krebsstudie stimmten elf Konfigurationen zu 0,90 überein, lagen aber nur bei 0,27 Übereinstimmung mit der Realität. Mehrere Systeme zu kombinieren gleicht also nur Fehler aus, die die Systeme nicht gemeinsam machen.

Befund 3: Was im Text fehlt, finden die Systeme am schlechtesten

Litvak hat nicht nur falsche Angaben eingebaut, sondern auch Informationen gelöscht. Beispiele sind eine Angabe zur Präregistrierung (der vorab veröffentlichte Studienplan), ein Ausschlusskriterium für Teilnehmende und ein Rechenschritt bei der Datenaufbereitung. Laut Zusammenfassung des Papers waren alle sieben Fehler, die kein System fand, solche Auslassungen.

Dass die Systeme Auslassungen grundsätzlich nicht erkennen, stimmt aber nicht. Laut Litvaks ausführlicher Auswertung findet ein einzelnes System im Schnitt 33 Prozent der 24 gelöschten Stellen, GPT-5.5 allein 13 davon. Alle Systeme zusammen kommen auf 83 Prozent. Die Auswertung widerspricht sich außerdem selbst: Einmal heißt es, vier der gelöschten Stellen habe niemand gefunden, an anderer Stelle sind es alle sieben. Fest steht: Auslassungen sind die schwächste Kategorie. Zum Vergleich: Bei Widersprüchen im direkten Umfeld des Textes fanden alle Systeme zusammen 100 Prozent. Litvak hält gerade die Auslassungen für die gefährlichen Fehler, weil an ihnen Ergebnisse oft scheitern.

Befund 4: Fehlalarme misst kaum jemand

Litvak und der Agentic-Review-Benchmark zählen nur Treffer. Wie oft ein System einen Fehler meldet, der gar keiner ist, prüfen sie nicht. Litvak schreibt, dass 84 Prozent der Hinweise Dinge betrafen, die er nicht eingebaut hatte. Prüfen konnte er die meisten davon nicht. Im Agentic-Review-Benchmark stellten Nutzer echte Rückmeldungen ein. Dort waren Fehlalarme mit 38,5 Prozent der häufigste Grund für negative Bewertungen.

Skepthical misst das als einziger Benchmark systematisch, mit unveränderten Kopien der Paper. Die meisten Systeme bleiben dort unter 10 Prozent Fehlalarmen. Bei Mathematik-Hinweisen waren aber 30 Prozent (Astrophysik) bzw. 67 Prozent (ML) falsch. Mit dem knappen Prompt stieg die Fehlalarmquote der Einzelmodelle auf 17 bis 27 Prozent. Wer nur die Trefferquote liest, sieht also bestenfalls die halbe Wahrheit.

Im Echtbetrieb: Konferenzen setzen KI ein und verbieten sie zugleich

Konferenzen und Verlage reagieren widersprüchlich. Bei AAAI-26 bekamen alle 22.977 Einreichungen zusätzlich ein gekennzeichnetes KI-Gutachten. In der Umfrage danach fanden es 53,9 Prozent nützlich. 49,4 Prozent der Gutachter meinten aber auch, die KI habe Punkte übersehen, die Menschen gefunden hätten. Die ICML lehnte dagegen 497 Paper (rund 2 Prozent) ohne Begutachtung ab. Der Grund: 398 Gutachter, die zugleich eigene Paper eingereicht hatten, hatten trotz selbst gewählten Verbots KI benutzt. Aufgefallen waren sie durch versteckte Anweisungen in den PDFs. Für die ICLR 2026 schätzt der Detektor-Anbieter Pangram 21 Prozent der rund 75.800 Gutachten als vollständig KI-generiert. Das ist die Analyse eines Anbieters, die niemand unabhängig geprüft hat. Laut 2603.20450 halten KI-Detektoren außerdem oft auch Gutachten, die mit KI nur sprachlich überarbeitet wurden, für komplett KI-generiert.

In Deutschland erlaubt die DFG seit dem 16. April 2026 KI in der Begutachtung. Dafür gelten Bedingungen: Die KI-Nutzung muss offengelegt werden, nur gesicherte Systeme sind zulässig, und die Verantwortung bleibt beim Menschen. Elsevier untersagt Gutachtern, Manuskripte in KI-Werkzeuge hochzuladen, arbeitet aber nach eigenen Angaben an KI-Funktionen für die eigenen Redaktionssysteme. Springer Nature setzt seit 2025 ein hauseigenes Werkzeug ein, das unpassende Literaturangaben erkennt. Die American Economic Association prüft Paper in der Überarbeitungsphase technisch mit Refine.ink.

Dieselbe Frage stellt sich gerade beim Programmieren. Beim Linux-Kernel gibt der Entwickler Lorenzo Stoakes Reviewer-Rollen ab, weil KI-Patches seine Warteschlange füllen. Anthropic beschreibt für Claude Code ein gestuftes Verfahren: Mehrere KI-Reviewer prüfen jede Änderung, und je nach Risiko müssen null, ein oder zwei Menschen zustimmen.

Einordnung

Unsere Einschätzung: Die Benchmarks zeigen, dass KI-Gutachter einen großen Teil objektiv prüfbarer Fehler finden, vor allem Rechen- und Widerspruchsfehler, wenn sie Werkzeuge nutzen. Eine Kombination verschiedener Systeme findet nachweislich mehr. Bei der Prüfung haben sich aber drei verbreitete Zuspitzungen als ungenau erwiesen:

• Der Prompt ist wichtig, das Modell aber meist noch wichtiger.
• Auslassungen sind die schwächste Kategorie, werden aber nicht ausnahmslos übersehen.
• Fehlalarme sind kein Randthema: Gerade bei Mathematik sind viele Hinweise falsch.

Offen bleibt, wie gut eingebaute Fehler echte widerspiegeln, die meist subtiler sind und mit Neuheit oder Studiendesign zu tun haben. Zum Vergleich: Ein Prüfwerkzeug von James Zous Gruppe fand in echten KI-Papern Fehler. Fachleute bestätigten 83,2 Prozent dieser Hinweise. Für Autorinnen und Autoren ist der praktische Rat billig umzusetzen: das eigene Paper vor der Einreichung durch zwei bis drei Modelle verschiedener Hersteller laufen lassen. Eine solche Prüfung kostet nach Litvaks Zahlen nur wenige Cent pro gefundenem Fehler. Ein Gutachten ersetzt sie nicht. Einen Fehler, den die KI nicht meldet, kann es trotzdem geben, und ein gemeldeter Fehler ist nicht automatisch echt.