KI repariert KI-Gewichte: Was vom Sechsfach-Sprung in Mathe wirklich übrig bleibt

Darum geht es

Am 2. November haben Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab vom MIT CSAIL einen Blogpost mit dem Titel „Sparks of Weight-Space Programming“ veröffentlicht. Ihre These: Spitzenmodelle wie OpenAIs GPT-6 Astra können die Gewichte anderer neuronaler Netze lesen, verstehen und gezielt umschreiben, ganz ohne Training. Die Schlagzeile kam aus Experiment 8. Dort änderte Astra 0,016 % der Gewichte von Qwen3.5-0.8B, und der Wert im Mathe-Test MATH-500 stieg von 7,9 auf 48,1 %. Takehi schrieb auf X von „bis zu 6x“ besserer Mathematik.

Inzwischen liegen die ersten unabhängigen Nachprüfungen vor. Unser Fazit vorweg: Die Zahlen stimmen, aber sie messen etwas anderes, als die Schlagzeile nahelegt. Das Modell hat nicht rechnen gelernt. Es wurde von einer Endlosschleife befreit. Das ist trotzdem bemerkenswert, nur aus anderen Gründen.

Wie eine KI Gewichte „liest“

Bei kleinen Netzen ist das wörtlich gemeint. In Experiment 1 bekam Astra die 17.253 Gewichte eines Spiele-Agenten als Zahlenkolonnen in den Prompt, ohne Werkzeuge. Laut dem Replikationskit von HomoHabilis sind das pro Netz etwa 74.000 bis 100.000 Tokens. Daraus erkannte Astra, für welches von vier Atari-Spielen das Netz trainiert war. Simon Willison hat denselben Prompt mit einem lokalen Modell nachgestellt: Es erkannte Pac-Man, Pong und Breakout, scheiterte aber an Freeway.

Ein Modell mit 0,8 Milliarden Gewichten passt dagegen in keinen Kontext, also in kein Arbeitsgedächtnis eines Sprachmodells. Laut der README zu Experiment 8 bekam Astra deshalb zwei Werkzeuge:

• Einen Python-Kern über den Gewichten (nur CPU, kein Internet, höchstens 300 Läufe). Damit kann Astra Matrizen laden, verrechnen und Änderungen speichern.
• Ein Forward-Pass-Werkzeug. Ein Forward-Pass ist ein Durchlauf, bei dem das Modell tatsächlich Text verarbeitet. Es gab zwei Sorten. Bei der Generierung beantwortet das Modell bis zu 512 Übungsaufgaben. Astra bekommt die Trefferquote zurück und den Anteil der Antworten, die am Token-Limit abgeschnitten wurden. Beim Teacher-forced Read liest das Modell bis zu 1.024 vorgegebene Texte. Zurück kommen interne Messwerte: Wahrscheinlichkeiten, Zwischenzustände, MLP-Aktivierungen und Aufmerksamkeitsmuster.

„Lesen“ heißt hier also ungefähr das, was eine Ärztin mit Laborwerten und Röntgenbild macht. Astra lässt das Modell arbeiten, schaut in die Zwischenzustände und sucht eine Auffälligkeit, die mit dem Fehler zusammenhängt. Dann rechnet es zurück, welche Gewichte dieses Signal erzeugen. Im 50-Pass-Lauf war das eine einzelne „Richtung“, also ein bestimmtes Muster in den internen Zahlenvektoren, das die MLP-Blöcke der Schichten 15 und 19 schreiben. Astra zog diese Richtung aus jeweils 64 Ausgabespalten der Matrix down_proj heraus. Nachgerechnet: 2 × 64 × 1.024 ergibt die gemeldeten 131.072 Gewichte, das sind 0,0164 % von 0,8 Milliarden.

Der Lauf dauerte laut Logs 158 Gesprächsrunden, 80 Python-Läufe und 20,3 Stunden. 4,7 Stunden davon entfielen auf einen Ausfall des Dienstes. Die Kosten nennen die Autoren nicht.

Herstellerzahlen und Nachprüfungen im Vergleich

Drei Dinge fallen auf. Erstens lassen sich die Zahlen im Denkmodus reproduzieren, unabhängige Läufe liegen innerhalb von etwa zwei Punkten. Zweitens erzielen auch andere Editoren große Sprünge: Die Heimreplikation tdotlab mit Claude als Editor kommt auf 30 statt 5 von 100 Aufgaben, eine Kontrolle mit einer zufälligen Richtung blieb wirkungslos. Ein weiterer Lauf mit Opus 5.5 schaltete andere Bauteile ab, unter anderem Aufmerksamkeitskopf 7 in Schicht 15. Genau diesen Kopf hatte auch Astra in seinem 25-Pass-Lauf deaktiviert.

Drittens, und das ist entscheidend: Laut der Qwen-Modellkarte arbeitet Qwen3.5-0.8B standardmäßig ohne Denkmodus. Im Denkmodus gerät es nach eigener Warnung des Herstellers häufiger in Schleifen als die anderen Qwen3.5-Modelle. Schaltet man das Denken einfach ab, kommt das unveränderte Modell laut Coletti schon auf 45,8 %. Seine gepaarte Auswertung zeigt: Im Denkmodus schlägt das bearbeitete Modell diese beste Basis-Einstellung um 4,3 Punkte (95-%-Intervall 1,9 bis 6,8). Ohne Denkmodus ist es um 2,2 Punkte schlechter als das Original. Unsere Einordnung: Von den rund 40 Punkten Zuwachs lassen sich etwa 38 auch mit einem Schalter in der Chat-Vorlage erreichen. Ein kleiner, messbarer Rest bleibt.

Coletti selbst schreibt dazu:

„Das entfernt einen Fehlermodus, es fügt keine Fähigkeit hinzu.“

Die Autoren sagen das übrigens auch. Bei Gemma 3 270M, das nur in 8,5 % der Fälle bis zum Limit läuft, fand Astra lediglich verstreute Rechenfehler. MATH-500 bewegte sich von 6,8 auf höchstens 7,7 %. Außerdem hängt der Erfolg am Budget: Mit 10 oder 25 Forward-Passes kam Qwen nur auf 12,3 bzw. 14,1 %.

Die Gegenprobe aus der Klinik

Kristina Mruts, Produktmanagerin in einem MedTech-Forschungsteam, hat das Experiment auf Habr an einem ernsteren Fall wiederholt. Sie nahm OpenSpliceAI, ein Modell mit rund 699.000 Gewichten, das abschätzt, ob eine DNA-Mutation das Spleißen eines Gens stört. Solche Scores fließen laut Mruts über ClinGen-Leitlinien in echte Laborbefunde ein. Claude Opus 5.5 durfte Code schreiben, das Modell laufen lassen und Aktivierungen ansehen. Training und automatisches Durchprobieren von Werten waren verboten. Getestet wurde auf Chromosomen, die Claude nicht gesehen hatte.

AUPRC misst, wie gut ein Modell seltene Treffer findet, ohne zu viele Fehlalarme auszulösen. 1,0 wäre perfekt. Laut Mruts liegt der Unterschied zum Gradiententraining „im Rahmen der statistischen Unsicherheit“. 86 % des Gewinns stammen aus einer einzigen Änderung: Claude skalierte die letzte Schicht mit 0,35, was einer Temperatur-Korrektur entspricht. Eine simple Gittersuche über diesen einen Wert fand genau dieselbe Zahl. Der Trick hat außerdem eine Nebenwirkung: Bei einer strengen Schwelle von 0,8 findet das Modell danach nur noch 15 statt 49 % der gefährlichen Mutationen, die klinischen Schwellenwerte müssten also neu kalibriert werden. Ihr Fazit: Wertvoll sei „nicht die Korrektur, sondern die Erklärung“. Claude zeigte, dass das Netz intern sehr wohl merkt, wenn eine Spleißstelle beschädigt ist, dieses Wissen aber im Endscore kaum ankommt.

Es gibt auch ein Gegenbeispiel. Im Replikationskit von HomoHabilis schrieb Opus 5.5 dreißig erfundene Firmenfakten direkt in Qwen3.5-Gewichte. Bei 0,8B erreichte es 86 % auf Fragen in neuen Formulierungen, gegenüber 53 % mit LoRA (einem sparsamen Feintuning-Verfahren). Bei 9B waren es 96,7 gegenüber 47 %. Das ist allerdings ein einzelner Lauf mit einer erfundenen Firma, und die LoRA-Einstellungen sind kaum dokumentiert. Ein Beleg dafür, dass der Ansatz Feintuning ersetzen kann, ist das noch nicht.

Was daran wirklich neu ist

Gewichte direkt zu bearbeiten ist keine neue Idee. ROME (2022) und MEMIT (2023) schreiben gezielt Faktenwissen um. Bei der „Abliteration“ nach Arditi et al. (2024) wird die Verweigerungsrichtung eines Modells gemessen und per Rang-1-Projektion aus den Gewichtsmatrizen entfernt. Werkzeuge wie Heretic automatisieren das längst. Auf Hacker News sprach yurimo deshalb von „im Grunde einem Steering-Vektor“, GuB-42 von reproduzierter Abliteration, nur gegen Schleifen statt gegen Verweigerung. Die Rechenformel in Astras 10-Pass-Lauf (W′ = W − 1,5·u(uᵀW)) entspricht tatsächlich dem Muster der Abliteration.

Neu ist etwas anderes: Bisher wählte ein Mensch das Verfahren, das Kriterium und die Schicht aus. Hier tat das ein Sprachmodell selbst, ausgehend von der Aufgabe „mach es besser in Mathe“. Bei den kleinen Netzen kam es teils sogar ohne einen einzigen Testlauf aus. Ein Kommentator auf HN hielt dagegen, ROME könne nicht „Tausende ASCII-Zahlen anschauen“. Für die Interpretierbarkeitsforschung ist dieses automatisierte Diagnostizieren der eigentliche Fund. Gleichzeitig hat er Grenzen: Ob eine Gemma-Kopie auf Schmeichelei trainiert war, konnte Astra aus den Gewichten allein in vier Versuchen nicht erkennen. Erst mit Aufmerksamkeitsmustern auf selbst geschriebenen Texten gelang das.

Und die Selbstverbesserung?

Das Thema liegt in der Luft. Anthropic schreibt im Börsenprospekt, man könne „unmittelbar“ die eigene Schwelle für KI-getriebenen Fortschritt erreichen. OpenAI-Forscher Aidan Clark sagte zum Astra-Start, frühere Modelle hätten das Training des nächsten Modells maßgeblich überwacht. Auch die MIT-Autoren nennen rekursive Selbstverbesserung als Ausblick, also Modelle, die ihre eigenen Gewichte untersuchen und verbessern.

Gezeigt haben sie das nicht. Ein vermutlich riesiges Modell hat ein 0,8B-Modell repariert, wie HN-Nutzer Wheen anmerkte. Ob dieselbe Methode beim eigenen Modell funktioniert oder sich Verbesserungen aufschaukeln, wurde laut VentureBeat nicht untersucht. Maxime Fournes von PauseAI nannte die Forschungsrichtung dennoch „furchtbar leichtsinnig“. Matthew Honnibal, Autor von spaCy, hält den Post laut Simon Willison für irreführend, weil er das Lesen ohne Werkzeuge und das Bearbeiten mit Werkzeugen vermische.

Einordnung

Unsere Einschätzung: Belegt ist, dass aktuelle Spitzenmodelle in kleinen Netzen Strukturen erkennen und in größeren Modellen einen eng umgrenzten Defekt finden und herausschneiden können. Mehrere unabhängige Läufe haben das bestätigt, mit Astra wie mit Claude. Die Logs sind offen, das verdient Anerkennung.

Nicht belegt ist ein allgemeiner Mathe-Gewinn. Der Sechsfach-Sprung ist zum größten Teil ein Schleifenfix in einem Modus, den Qwen selbst nicht empfiehlt. Gegen die beste unveränderte Einstellung bleiben rund vier Punkte übrig. Ebenso wenig ist belegt, dass das Verfahren günstiger oder besser als Feintuning ist. Im Klinik-Test war es gleich gut, und ein einzelner Parameter erklärte fast alles. Mit Selbstverbesserung hat das ebenfalls nichts zu tun.

Praktisch ist „Weight-Space Programming“ damit vorerst ein Werkzeug zur Fehlersuche, das erklärt, warum ein Modell versagt. Das ist mehr, als Gradiententraining liefert. Offen bleibt, ob es bei Modellen mit mehreren Milliarden Parametern und bei verteilten Fehlern funktioniert. Der angekündigte Benchmark der Autoren wäre der nächste Prüfstein.