Beweis ja, Pipette nein: Warum KI-Forscher im echten Labor scheitern

Darum geht es

Die Meldungen über „KI als Wissenschaftler“ kamen in den vergangenen Wochen fast täglich. Claude half, in Gödels Notizbüchern 663 Sätze aufzuspüren. Ein internes OpenAI-Modell legte einen Existenzbeweis zur Yang-Mills-Theorie vor. Edward Witten nannte Claude als Ideengeber in einem Fachaufsatz. Im Test TCSExam bewies GPT-6 Astra 14 von 20 Forschungstheoremen.

Fast gleichzeitig erschienen drei Tests, die dasselbe Bild trüben. In ihnen müssen KI-Agenten den Ausgang echter Laborexperimente vorhersagen oder solche Experimente selbst steuern: OpenAIs BioBasicsBench (6. November), kurz darauf AISLE mit 4.079 Versuchen auf Laborrobotern und am 11. November auf arXiv Science Prediction Universe (SPU). Alle drei kommen zu einem ernüchternden Ergebnis.

Unsere These: Die KI ist dort stark, wo ein Computer das Ergebnis prüfen kann, also bei Beweisen, Code und Simulationen. Muss dagegen die Natur das Urteil sprechen, bricht die Leistung ein. Der Engpass ist dabei weniger die Bedienung von Werkzeugen als das wissenschaftliche Urteil.

Die Erfolge: Überall sitzt ein Prüfprogramm mit am Tisch

Schaut man sich an, wie die Erfolgsfälle überprüft wurden, zeigt sich ein Muster:

Der frühere OpenAI-Forscher Jason Wei hat dafür schon im Juli 2025 eine Regel formuliert: Wie leicht sich KI auf eine Aufgabe trainieren lässt, hängt davon ab, wie gut sich die Lösung überprüfen lässt.

„Alle Aufgaben, die lösbar und leicht zu überprüfen sind, werden von KI gelöst werden.“

Als Kriterien nennt Wei eine eindeutige Wahrheit, eine Prüfung in Sekunden, viele Prüfungen gleichzeitig, wenig Rauschen und die Möglichkeit, Lösungen nach Qualität zu ordnen. Ein Lean-Beweis erfüllt fast alle diese Bedingungen. Ein Laborversuch erfüllt kaum eine: Er dauert Stunden oder Tage, kostet Material und streut.

Auch in der Mathematik ist die Prüfung allerdings nicht umsonst. Google schreibt, dass Menschen erst bestätigen müssen, dass die formale Aussage dem Originalproblem entspricht. Beim Yang-Mills-Repository bleibt genau diese Frage nach der korrekten Übertragung offen, und die Massenlücke liegt ausdrücklich außerhalb des Beweises.

Test 1: Science Prediction Universe – Rechenzeit hilft nicht

SPU kommt von einem Team unter Leitung von UniPat AI. Die 116 Aufgaben stammen aus Chemie, Materialwissenschaft, Biologie und Medizin. 100 davon basieren auf 85 Studien aus Nature-Journalen der Jahre 2025 und 2026, weitere 16 auf unveröffentlichten Messreihen von Partnerlaboren, etwa zu Nanobodys und Elektrolyten. Die Agenten bekommen eine Gruppe von Experimenten und sollen sie nach dem gemessenen, aber versteckten Ergebnis ordnen, zum Beispiel nach Ausbeute oder Leitfähigkeit. Bewertet wird mit der Spearman-Korrelation, einem Maß dafür, wie gut eine Reihenfolge mit der wahren übereinstimmt. Der Wert 1 bedeutet perfekt, 0 entspricht Zufall. Jeder Agent hatte acht Stunden Zeit und eine GPU.

Die Autoren sehen zwei Leistungsgruppen, innerhalb derer sich die Reihenfolge statistisch nicht klären lässt. Über den Zufall hinaus kamen die Konfigurationen nur bei 34 bis 52 Prozent ihrer bewerteten Aufgaben. Der Spitzenwert ist außerdem mit Vorsicht zu lesen. Opus 5.5 verweigerte 56 Prozent der öffentlichen Aufgaben, Fable 5.1 sogar 69 Prozent. Alle 125 Verweigerungen trugen das Label des Bio-Sicherheitsfilters des Anbieters. Medizinaufgaben lehnten beide komplett ab.

Am deutlichsten ist der Befund zur Rechenzeit. GPT-6 Astra lief auf der höchsten Denkstufe („Max“) im Median 4,8-mal so lange und kostete 5,3-mal so viel wie auf mittlerer Stufe, im Schnitt 65,91 statt 9,59 Dollar pro Lauf. Besser wurde das Ergebnis dadurch nicht: Medium lag sogar knapp vorn, wenn auch innerhalb der statistischen Unsicherheit. Auch Laufzeit, Zahl der Werkzeugaufrufe, Web-Abrufe und GPU-Nutzung hingen nicht erkennbar mit dem Ergebnis zusammen. Die Autoren betonen den Gegensatz zu Software-Tests, in denen mehr Rechenaufwand zuverlässig hilft.

Die Fehleranalyse zeigt, woran es liegt. Die Agenten berechnen Proxys, also leicht berechenbare Ersatzgrößen wie Bindungsenergien oder Docking-Werte. Ob diese Größen das gemessene Ergebnis überhaupt bestimmen, prüfen sie nicht. Bei einer Aufgabe zu leuchtenden Bor-Verbindungen kamen Läufe, die nach der Stärke des Lichtübergangs sortierten, auf −0,50 bis 0,17. Läufe, die die Verlustkanäle betrachteten, erreichten dagegen 0,55 bis 0,88. Ein Viertel der eingereichten Reihenfolgen folgt stur einer Zahl wie der Temperatur, bei den echten Messungen sind es nur 11 Prozent. Spätere Korrekturen brachten im Schnitt nichts. Die Agenten erwarteten eine Korrelation von 0,61 und erreichten 0,49, ihre Selbsteinschätzung sagte also kaum etwas über das tatsächliche Ergebnis aus. Und sie liegen eher untereinander auf einer Linie (0,52) als mit dem Experiment (0,33). Die Autoren folgern:

„Der Engpass liegt im wissenschaftlichen Urteil, nicht in der Ausführung der Werkzeuge.“

Test 2: AISLE – echte Roboter, null Prozent Sicherheit

AISLE („AI Scientists' Last Exam“) wurde von Tong Xie angestoßen, dem Gründer des Start-ups Rhythm Creation. Beteiligt sind unter anderem die UNSW Sydney, die NUS Singapur, die EPFL und Berkeley, dazu Forschende von Nvidia, Microsoft Research und Eli Lilly. Sieben Modelle steuerten zwei automatisierte Labore: Das Modell schlägt eine Rezeptur vor, der Roboter mischt sie, Sensoren melden die Messwerte zurück. Jeder Standort hat einen digitalen Zwilling, eine Simulation des Labors, in der Ideen vorab getestet werden. Insgesamt kamen 4.079 Experimente und 46.626 Gerätelaufzeit-Minuten zusammen. Auf aisle.science und GitHub sind Rangliste und Code einsehbar.

Laut ifeng und 36Kr zeigen sich große Lücken:

• Simulation gegen Realität: GPT-5.5 kam bei der Optimierung im Trockenlauf auf 90,74 Punkte, im echten Labor auf 16,46.
• Farbrezepturen: Bei der Aufgabe mit acht Komponenten erreichte keiner von 54 Läufen das strenge Ziel. Mit vier Komponenten schafften es in Sydney 3 von 54 Läufen, in Singapur 15.
• Driftende Pipette: Die Forschenden verfälschten heimlich die Dosierung. Nur 12 von 20 Läufen fanden zurück ins Zielfenster. Gemini scheiterte an allen drei Fällen, Claude bemerkte die Veränderung, vermischte aber bis zur letzten Runde alte und neue Daten, Kimi hielt die Abweichung für Rauschen. Laut 36Kr bat kein Modell darum, das Gerät neu zu kalibrieren.
• Zähe Flüssigkeiten: Mit steigender Viskosität des Harzes fiel die Bestehensquote von 86,9 auf 32,9 Prozent.
• Sicherheit: Im simulierten Sicherheitsteil waren verbotene Bereiche vorab bekannt. Trotzdem erreichte kein Modell das Ziel ohne Verstoß, die Quote lag bei allen bei 0 Prozent. Ein GLM-Lauf hielt eine Rezeptur zweimal hintereinander für sicher und verstieß beide Male. GPT-6 Astra erzielte bei der Trocken-Optimierung 96,53 Punkte, bei der Sicherheit nur 24,98.

Den Gesamtwert von 41,19 Punkten erreichte GPT-5.5 über alle abgeschlossenen Nasslabor-Disziplinen. Ein Modell, das in allen Bereichen vorn lag, gab es nicht. Eine wichtige Einschränkung: GPT-6 Astra und Opus 5.5 stehen in der Nasslabor-Rangliste noch auf „in Arbeit“, die getesteten Modelle sind also eher eine Generation alt. Das Paper selbst gilt laut GitHub noch als unveröffentlichtes Manuskript.

Test 3: BioBasicsBench – der freundlichste Befund

OpenAI hat mit dem Enzym-Start-up Ligo 100 Alltagsaufgaben aus dem Labor zusammengestellt: Gel-Bilder, Bakterienplatten, Mikroskopie. Gemessen wird nur das Auswerten von Daten, Pipettieren und Gerätebedienung gehören nicht dazu. GPT-6 Astra erreichte 66,7 Prozent der möglichen Punkte, GPT-5.6 Sol 43,8 Prozent. Das ist ein deutlicher Fortschritt. Laut R&D World las Astra auf einer Kontrollplatte die handschriftliche Notiz, dass dort das falsche Antibiotikum verwendet worden war.

Die Fehlerbeispiele passen trotzdem zum Gesamtbild. Astra sortierte die Gel-Banden korrekt, wählte dann aber die falschen Kolonien aus, und auf einer Platte zählte es rund 12 Prozent zu viele Kolonien. Die Beobachtung stimmt also, die Schlussfolgerung nicht. OpenAI schreibt selbst:

„Höhere Benchmark-Werte bedeuten noch nicht, dass Modelle im Labor verlässliche Urteile fällen können.“

Kritisch bleibt: OpenAI hat nur eigene Modelle getestet, es gibt keinen menschlichen Vergleichswert, und laut Kingy AI sind die Aufgaben nicht veröffentlicht.

Das Muster dahinter

Ältere Studien stützen den Befund. Im Test SciPredict von Scale AI (April 2026) trafen 15 Modelle bei Experimentausgängen in 14 bis 26 Prozent der Fälle richtig, Fachleute in etwa 20 Prozent. Der Unterschied liegt in der Kalibrierung, also darin, ob jemand weiß, wann er sich sicher sein kann. Bei Menschen stieg die Trefferquote von etwa 5 auf etwa 80 Prozent, je vorhersagbarer sie eine Frage einschätzten. Bei den Modellen blieb sie unabhängig von ihrer Zuversicht bei rund 20 Prozent. Eine Studie um Kevin Jablonka mit mehr als 25.000 Agentenläufen fand, dass Belege in 68 Prozent der Läufe ignoriert wurden. Nur in 26 Prozent revidierten die Agenten ihre Annahmen, nachdem ein Ergebnis ihnen widersprochen hatte. Ein Hacker-News-Kommentator mit nach eigener Aussage 45 Jahren Laborerfahrung erinnert zudem daran, dass schon Menschen am Labortisch sich mindestens um den Faktor zehn in ihrer Zuverlässigkeit unterscheiden.

Ein vierter Kandidat, Science's Last Exam, zählt noch nicht mit. Sein Nasslabor-Teil ist laut Website „im Aufbau“.

Unser Fazit

Unsere Einschätzung: Die Erfolge in Mathematik und die Misserfolge im Labor widersprechen sich nicht. Sie folgen derselben Logik. Wo ein Prüfprogramm Millionen Versuche in Sekunden bewerten kann, kann ein Modell suchen, scheitern und es erneut versuchen, bis es passt. Im Labor fehlt diese Rückmeldung oder sie ist teuer und verrauscht. Dann zählt, ob das Modell versteht, welcher Mechanismus eine Messung bestimmt, und genau das gelingt noch selten. Dass die höchste Denkstufe bei SPU nichts bringt, passt dazu. Wer falsch ansetzt, kommt mit mehr Rechenzeit nicht weiter.

Die Labortests haben allerdings Grenzen. Sie sind klein (16 private SPU-Aufgaben), teils noch nicht begutachtet, und bei AISLE fehlen die neuesten Modelle im Nasslabor. Wo das Labor schnell und billig Rückmeldung gibt, hilft KI schon heute. Laut ifeng testete GPT-5 mit Ginkgo Bioworks mehr als 36.000 Rezepturen für zellfreie Proteinherstellung und senkte die Kosten um etwa 40 Prozent. Das ist im Grunde wieder eine Suche mit Prüfinstanz, nur dass diesmal ein Roboter prüft.

Für Labore folgt daraus: KI-Agenten taugen als Datenauswerter und Ideengeber, aber nicht als unbeaufsichtigte Versuchsleiter. Das gilt vor allem, solange kein Modell den AISLE-Sicherheitsteil besteht.