Claude liest Proteine, GPT und Gemini nicht: Was ein Test mit 668 Proteinen zeigt
Zwei Forscher haben 22 Sprachmodelle gebeten, Proteine fortzusetzen, die kaum jemand erforscht hat. Nur die neuesten Claude-Modelle treffen die nächste Aminosäure – Claude Fable 5.2 sogar besser als spezialisierte Proteinmodelle. GPT, Gemini und sieben offene Modelle liegen beim Zufallswert. Das deutet darauf hin, dass Anthropic Proteindaten im großen Stil ins Training gegeben hat – während dieselbe Firma Biologie-Anfragen streng filtert.

Darum geht es
Ein Protein ist eine Kette aus Aminosäuren, und jede Aminosäure lässt sich mit einem Buchstaben schreiben. Ein Protein sieht dann aus wie ein sehr langes Wort aus 20 möglichen Buchstaben: MKTAYIAKQRQISFVK…. Die Frage, die sich die Forscher Xinming Tu und Leo Tianlai Chen gestellt haben, klingt simpel: Wenn man einem allgemeinen Chatbot den Anfang so einer Kette zeigt – kann er sagen, welcher Buchstabe als nächster kommt?
Für berühmte Proteine wie Hämoglobin ist das keine Kunst. Deren Sequenzen stehen in Lehrbüchern, Wikipedia-Artikeln und tausenden Papern, ein Sprachmodell kann sie einfach auswendig gelernt haben. Tu und Chen haben deshalb gezielt Proteine gesucht, über die es praktisch keine Literatur gibt. Das Ergebnis ihres Blogposts, der seit Montag auf Hacker News diskutiert wird: Von 22 getesteten Sprachmodellen können nur die beiden neuesten Claude-Modelle diese Aufgabe – und Claude Fable 5.2 ist dabei besser als die spezialisierten Proteinmodelle, die die Autoren selbst laufen lassen konnten. Ihre Schlussfolgerung: Anthropic muss Proteinsequenzen in großem Umfang ins Training gegeben haben. Code und Daten liegen auf GitHub unter XinmingTu/LLM-bioseq-probe, die gesamten API-Kosten lagen laut den Autoren bei rund 730 Dollar.
Wie der Test funktioniert – und was die durchmischten Sequenzen leisten
Die Auswahl der Testproteine ist der eigentliche Trick. Die Autoren nahmen 167 Pfam-Familien vom Typ „domain of unknown function“ – Proteinfamilien also, die man per Computer als verwandt erkennt, deren Funktion aber niemand kennt. Bedingung: keine gelöste 3D-Struktur in der Proteindatenbank PDB und höchstens drei Treffer in der Literaturdatenbank Europe PMC. Aus jeder Familie wählten sie vier Proteine aus Bakterien oder Archaeen, 120 bis 800 Aminosäuren lang, und zwar nur solche, zu denen es kein anderes Eiweiß in der Datenbank gibt, das zu 90 Prozent oder mehr identisch ist. Zusammen: 668 Proteine. Pro Protein wurden fünf Schnittstellen zufällig gesetzt, insgesamt 3.340 Fragen. Das Modell sollte jeweils die nächsten zehn Buchstaben schreiben; gezählt wurde nur der erste.
Damit fehlt aber noch ein Maßstab. Reine Trefferquoten täuschen, weil die Aminosäuren sehr unterschiedlich häufig vorkommen – wer immer die häufigsten rät und das seltene Tryptophan (W) meidet, liegt schon ohne jedes biologische Wissen überzufällig oft richtig. Deshalb gibt es die Kontrolle: Dieselbe Sequenz wird einmal durchgemischt. Die Buchstaben bleiben, ihre Reihenfolge ist zerstört. Die Autoren fragen an denselben Positionen noch einmal und ziehen das Ergebnis ab. Übrig bleibt nur, was das Modell über die Reihenfolge weiß – also über echte Biologie.
Auf Hacker News war genau diese Kontrolle der Hauptstreitpunkt. Nutzer octoberfranklin fragte, wie es bei einer durchmischten Sequenz überhaupt eine richtige Antwort geben könne. Die Antwort anderer Kommentatoren: Es geht nicht um Richtigkeit, sondern um den Nullpunkt. tstactplsignore erklärte, die durchmischte Fassung kontrolliere genau die Häufigkeitseffekte, gilleain fasste es so zusammen:
„Durchmischen behält die Buchstaben und zerstört ihre Ordnung.“
Die Zahlen
Angegeben ist jeweils der Abstand zwischen echter und durchmischter Sequenz in Prozentpunkten, gemittelt über die Familien.
| Modell | Abstand (Prozentpunkte) |
|---|---|
| Claude Fable 5.2 | +45,1 (54 % echt / 9 % durchmischt) |
| ESM-2 650M (sieht beide Seiten) | +34,6 |
| ProGen3-3B (Proteinmodell) | +32,5 |
| Claude Opus 5.5 | +27,4 (34,9 % / 7,5 %) |
| ProtGPT3-10B (Proteinmodell) | +27,7 |
| Claude Fable 5.1 | +14,9 |
| ESM C 600M | +13,0 |
| Claude Opus 5 | ca. +9,6 |
| Claude Opus 4.6 / 4.5 | ca. +1 bis +2 |
| GPT-6.2 Sol / Astra, GPT-5.5 | +2,4 / +1,1 / +2,1 |
| Gemini 4 Carbon | +0,9 |
| DeepSeek V4.1, Qwen 3.8, Kimi K3.1 Pro, GLM-5.3, MiniMax M3, gpt-oss-120b, Nemotron 3 Ultra | −0,0 bis +1,9 |
Zwei Dinge fallen auf. Erstens: Die Fähigkeit ist neu. Claude Opus 4.5 und 4.6 liegen praktisch bei Null, ab Opus 4.7 steigt der Wert, und bei den neuesten Modellen springt er. Zweitens: Alles außerhalb von Anthropic liegt im Rauschen – auch die sieben offenen Modelle, auch wenn man ihnen rohe FASTA-Dateien zum Fortschreiben gibt. Die Proteinmodelle ESM sehen im Test übrigens beide Seiten des Schnitts, haben also mehr Information als die Chatbots.
Warum es nicht einfach Auswendiglernen aus Papern ist
Die Autoren haben mehrere Erklärungen durchgespielt. In den 128 Familien, zu denen es überhaupt kein Paper gibt, sind die Abstände mit 45,9 (Fable 5.2) und 26,8 (Opus 5.5) praktisch so hoch wie im Gesamtset. Das Nachdenken des Modells erklärt es auch nicht: Fable 5.2 nutzte bei nur 9 Prozent der Antworten überhaupt Denkschritte, und ohne Denken waren die Ergebnisse ähnlich. Der Effekt ist zudem konsistent – bei Fable 5.2 in 98 Prozent der Familien positiv.
Besonders aussagekräftig ist ein Zusatzversuch von Leo Tianlai Chen: 56 Proteine aus 31 Familien, die erst zwischen dem 2. und 27. August 2026 öffentlich wurden, also nach dem angenommenen Trainingsstichtag 1. Juli 2026. Der nächste bekannte Verwandte war nur 34 bis 49 Prozent identisch. Auch hier bleibt Fable 5.2 mit +22,1 Punkten vorn, Opus 5.5 kommt auf +13,4, ProGen3-3B auf +12,0, GPT-6.2 Sol auf −0,4. Das Modell hat also nicht nur Sequenzen gespeichert, sondern Muster gelernt, die sich auf neue übertragen. Die Autoren schränken selbst ein: Bei 56 Proteinen sind nur Abstände ab etwa 14 Punkten zuverlässig messbar, und der Stichtag ist eine Annahme.
Ein weiterer Befund grenzt die Sache ein. Bei DNA sagt Opus 5.5 nur menschliche und Maus-Codiersequenzen vorher, nicht aber Promotoren, Introns oder Zwischenbereiche – und bakterielle Gene kaum. Die Autoren schließen: „Es hat Proteine gelernt, nicht Genome.“
Was eine solche Vorhersage bedeutet – und was nicht
Hier ist Nüchternheit angebracht. „Die nächste Aminosäure treffen“ ist eine enge Messgröße. Sie zeigt, dass das Modell statistische Regelmäßigkeiten von Proteinfamilien verinnerlicht hat – ungefähr so, wie ein Sprachmodell weiß, dass nach „Guten“ oft „Tag“ kommt. Bei Proteinmodellen ist dieses Training die Grundlage für mehr: Strukturvorhersage, Abschätzung, ob eine Mutation schädlich ist, Design neuer Bindeproteine. Dass Claude diese Dinge besser kann, ist mit dem Test aber nicht gezeigt. Die Autoren nennen Faltung und Variantenbewertung ausdrücklich als offene nächste Schritte.
Dazu passt eine Beobachtung aus der HN-Diskussion. pcrh hält die Aufgabe für praktisch wenig wertvoll: Jedes brauchbare Fragment lässse sich rückübersetzen und mit Werkzeugen wie tblastn in Gendatenbanken suchen – eine vorhergesagte Sequenz ohne Datenbanktreffer könne man gar nicht prüfen. tstactplsignore vermutet dagegen einen anderen Zweck: Anthropic wolle, dass Claude über Proteindesign nachdenken kann, etwa Probleme in Entwürfen klassischer Werkzeuge erkennen – nicht selbst Sequenzen erzeugen.
Dass Anthropic in diese Richtung arbeitet, ist belegt. In einem Forschungsbeitrag vom 17. September 2026 beschreibt die Firma, wie Claude über 30 offene Biologie-Modelle optimierte (im Schnitt rund 4-fach schneller) und mit einer H200-GPU in 24 Stunden Bindeprotein-Entwürfe erreichte, die früheren Kampagnen gleichwertig waren – bei etwa 150 Dollar Gesamtkosten. Das Labor Adaptyv Bio hat Claude-Entwürfe im Nasslabor getestet: 95 Prozent von 1.320 Entwürfen wurden exprimiert, 354 banden ihr Ziel (26,8 Prozent Trefferquote), 14 von 15 Zielen funktionierten. Adaptyv weist selbst darauf hin, dass Bindung nur der erste Schritt ist und die Studie vom Dienstleister selbst kommt.
Der Widerspruch: eingebaute Fähigkeit, verschlossene Tür
Der interessanteste Teil ist der Nebenbefund. Dieselbe Firma, die offenbar Proteinwissen ins Allzweckmodell einbaut, sperrt den Zugang dazu systematisch. Bei Claude Fable 5 blockierte der Filter 44 Prozent der Testfragen – eingeordnet als Cyber-Inhalt, nicht als Biologie. Fable 5.1 und 5.2 wurden nur in 2,5 beziehungsweise 0 Prozent der Fälle blockiert. Claude Sonnet 4.5 verweigerte 97 Prozent der Anfragen in einem bestimmten Format. Auch OpenAI wies Anfragen zurück, laut den Autoren „als möglicher biologischer Missbrauch“, und Gemini 4 Carbon blockierte rund 75 Prozent der DNA-Anfragen und fehlt deshalb in dieser Auswertung. Die Fable-Modelle liefen im Test über OpenRouter, weil Anthropics eigene API sie nur Arbeitsumgebungen mit Datenspeicherung ausliefert.
Anthropic filtert Biologie bewusst. Laut der Produktseite zu Fable 5.2 (Start: 9. November 2026) werden als Biologie markierte Anfragen an Opus 5 weitergeleitet, Cyber-Anfragen an Opus 4.8. Unite.ai berichtet, dass Fable 5.2 „die meisten forschungsbiologischen Aufgaben“ per Klassifikator blockiert, zugleich aber rund 40 Prozent weniger Biologie-Blockaden als Fable 5.1 auslöst; TNW nennt 55 Prozent weniger Blockaden insgesamt. Wer mehr will, braucht das Life Sciences Verification Program vom 17. September 2026: Prüfung von Qualifikation, Sicherheitsstandards und Ethikaufsicht; Einzelabos (Pro, Max) sind nicht vorgesehen. Für Hochrisiko-Projekte lassen sich Biologie-Sperren projektweise abschalten, mit Verlängerung alle sechs Monate. Das stärkere Modell Mythos 5.2 bleibt geprüften Organisationen vorbehalten.
Auf Hacker News kommt das nicht gut an. eddiewithzato berichtet, Claude blockiere „praktisch alles in diesem Feld“, selbst Arbeiten mit der eigenen DNA. DonsDiscountGas hält dagegen, das Modell könne gar nicht wissen, wessen DNA da vorliegt, und neuere Versionen lösten die Sperren deutlich seltener aus. chriskanan gibt eine Einschätzung aus Pharma und Life Sciences weiter, die Zugangsbeschränkung sei „nicht nur Sicherheit, sondern eher künstliche Marktsegmentierung“.
Einordnung
Die Studie ist ein Blogpost, nicht peer-reviewed – aber sie ist methodisch sauberer als viele Paper: offener Code, offene Rohdaten, eine Wiederholungsmessung (57,5 % gegen 57,5 %), eine Formatvariante mit identischem Ergebnis, eine Kontrolle auf Verweigerungen und ein Set nach dem Trainingsstichtag. Der Kernbefund – die neuesten Claude-Modelle können etwas, was 20 andere Modelle nicht können – ist robust.
Was nicht belegt ist: dass Anthropic Proteindaten absichtlich ins Pretraining gegeben hat. Die Autoren sagen es deutlich, das ist eine Schlussfolgerung aus dem Verhalten. Ihr Repository nennt als offene Fragen ausdrücklich, ob die Daten aus einem eigens zusammengestellten Datensatz oder aus gecrawlten Datenbankseiten stammen und in welcher Trainingsphase sie gesehen wurden. Ein HN-Kommentator (zodwick) fragt genau das: Pretraining-Korpus oder RL-Umgebung? Die System Cards helfen nicht weiter – die von Opus 5.5 beschreibt den Trainingsmix nur allgemein (Webinhalte, öffentliche und private Datensätze, Nutzer-Feedback, synthetische Daten) und nennt keine Sequenzdatenbanken. Anthropic hat sich bis Redaktionsschluss nicht geäußert.
Unsere Einschätzung: Der Befund ist für zwei Gruppen relevant. Für Forschende zeigt er, dass in einem Allzweckmodell Fähigkeiten stecken können, die niemand angekündigt hat – und die hinter einem Verifizierungsverfahren liegen. Für die Biosicherheitsdebatte ist er unangenehm konkret: Anthropic stuft seine Modelle in der eigenen Risikoskala bei CB-1 ein, unterhalb der Schwelle für neuartige Waffen, und schließt laut den Analysen von Zvi Mowshowitz, dass CB-2 nicht erreicht ist. Gleichzeitig wird im Pretraining eine Fähigkeit angelegt, die in den Bewertungen so nicht auftaucht – gemessen wurden Dinge wie RNA-Design und AAV-Kapsid-Vorhersage. Dass das GAO parallel gezeigt hat, wie leicht sich Filter umgehen lassen, und Anthropic mit Anvil selbst nachweist, dass automatisierte Angreifer menschliche Tester schlagen, macht die Logik „Fähigkeit einbauen, dann wegfiltern“ nicht überzeugender.
Offen bleibt auch der Nutzen. Nach jetzigem Stand ist „nächste Aminosäure treffen“ ein Hinweis auf Trainingsdaten, kein Werkzeug. Ob daraus bessere Strukturvorhersagen oder Mutationsbewertungen folgen, muss jemand messen. Die Autoren haben sich das selbst als nächsten Schritt vorgenommen – und da ihr Code offen liegt, kann es jeder nachprüfen.
Quellen
- Xinming Tu: Claude was trained on protein sequences at scale xinmingtu.cn
- GitHub: XinmingTu/LLM-bioseq-probe github.com
- Anthropic: Claude uplifts biomolecular modeling anthropic.com
- Anthropic: Life Sciences Verification Program anthropic.com
- Anthropic: Claude Fable 5.2 (Produktseite) anthropic.com
- Adaptyv Bio: Benchmarking Claude's protein design adaptyvbio.substack.com
- Unite.ai: Anthropic's Fable 5.2 Pairs 1M-Token Context With Faster Output unite.ai
- The Next Web: Anthropic launches Claude Fable 5.2 and Mythos 5.2 thenextweb.com
- Zvi Mowshowitz: Fable and Mythos 5.2 – The System Card thezvi.substack.com
- Zvi Mowshowitz: Claude Opus 5.5 – The System Card thezvi.substack.com
- Anthropic: Responsible Scaling Policy Updates anthropic.com
- GeekNews (KR) news.hada.io
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.