KI schreibt KI um: GPT-6 Astra repariert Qwen-Gewichte und verbessert Mathe stark

Worum es geht

In einem Blogpost vom 2. November 2026 beschreiben Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab, dass aktuelle Spitzen-Sprachmodelle erstaunlich gut darin sind, die Gewichte neuronaler Netze direkt zu lesen und zu schreiben. Als Werkzeug diente GPT-6 Astra von OpenAI. Die Autoren nennen das „Weight-Space Programming“: Ein Allzweck-Modell liest die Gewichte eines Netzes, entscheidet anhand einer Beschreibung in natürlicher Sprache, was geändert werden muss, und schreibt neue Werte, ausdrücklich nicht per Gradientenabstieg oder Trainingsschleife. Es handelt sich um frühe Ergebnisse, ein Peer-Review gibt es nicht. Cryptobriefing ordnet Takehi dem MIT zu.

Gewichte lesen

In den ersten Experimenten bekam Astra rohe Gewichte als Prompt.

• Spiel erkennen: Vier mit PPO (einem gängigen Reinforcement-Learning-Verfahren) trainierte Netze mit identischer Architektur. Astra nannte für alle vier das richtige Spiel, ohne die Optionen zu kennen. Hinweise waren etwa, wo die Eingabegewichte konzentriert sind (bei Breakout am unteren Rand, dem Schläger).
• Diffusionsmodell: Astra erkannte, ob ein DDPM Kreise, Dreiecke oder Quadrate erzeugt, und zeichnete sie als Umriss, obwohl die Modelle gefüllte Formen erzeugen. Das deutet laut den Autoren darauf hin, dass es die Geometrie der Gewichte las und nichts durchrechnete.
• Nur mittlere Schichten: Bei drei kleinen Sprachmodellen (7,2 Mio. Parameter) auf Python, Romaji und Englisch erhielt Astra nur die vier mittleren Transformer-Blöcke. Es nannte in beiden Versuchen die richtige Sprache und fand alle Induktionsköpfe (Aufmerksamkeitsköpfe, die früheren Text wiederholen), ohne falsche zu nennen. Dabei nutzte es eine Methode von Elhage et al., die ihm nicht genannt worden war.

Gewichte schreiben und reparieren

• Auto an der Rampe: Ein PPO-Netz fuhr in ein lokales Minimum und blieb an einer Rampe stecken. Astra änderte in einem Versuch ohne Werkzeuge 3,5 % der Gewichte, danach schaffte das Auto alle 1.024 Episoden. Es fügte einen kleinen Nebenpfad hinzu, der erst zurücksetzen lässt.
• Von Grund auf: In drei MinAtar-Spielen schrieb Astra Netze ohne Daten und ohne Rollouts:

• Go: Ein Netz mit 1,5 Mio. Parametern (243 → 512 × 6 → 82) schrieb Astra in einer Python-Sandbox. Ohne Vorwärtsdurchläufe gewann es über die Hälfte gegen zwei kleinere PPO-Netze, mit 50 Durchläufen schlug es ein gleich großes, mit 20 Mio. Partien trainiertes PPO-Netz.

Qwen3.5-0.8B repariert

Das Kernergebnis: Qwen3.5-0.8B gerät oft in Endlosschleifen, was die Modellkarte selbst warnt. 85 der ersten 96 Übungsantworten liefen bis ans Limit von 32.768 Tokens. Astra durfte 10, 25 oder 50 Vorwärtsdurchläufe auf Prompts aus GSM8K und MATH machen. Es führte die Schleifen auf eine Richtung zurück, die die MLPs der Layer 15 und 19 schreiben, und subtrahierte sie aus je 64 Ausgabespalten (131.072 Gewichte, 0,016 %).

Die Autoren betonen: Das behebt ein Hindernis, fügt aber keine Fähigkeit hinzu. Bei Gemma 3 270M, das nur in 8,5 % der Fälle das Limit erreicht, fand Astra gewöhnliche Rechenfehler ohne Einzelursache; MATH-500 bewegte sich nur von 6,8 auf maximal 7,7 %, laut Astra selbst nicht belegt.

Grenzen und Ausblick

Ein Experiment scheiterte: Zwei Gemma-3-270M-Kopien, eine davon auf Sycophancy (Schmeichelei, Zustimmung zum Nutzer) trainiert, konnte Astra aus den Gewichten allein nicht unterscheiden. Erst mit Aufmerksamkeitsmustern auf selbst geschriebenen Texten gelang das in allen drei Paaren; dort schauten mittlere Köpfe stärker auf den Vorschlag des Nutzers. Die Autoren sehen Engpässe bei Kontextlänge und Harness. Sie erwarten Audits ohne Evaluation (z. B. Backdoors), günstigere Optimierung, Fähigkeiten ohne Daten hinzufügen oder entfernen, rekursive Selbstverbesserung und Modell-Merging über Architekturen hinweg. Ein Benchmark ist in Arbeit; alle Logs liegen auf GitHub.

Cryptobriefing berichtet über die Arbeit mit der Schlagzeile „bis zu sechsfach“ und nennt offene Fragen: Replikation, Übertragbarkeit auf größere Modelle und Familien sowie Kontrolle und Nachvollziehbarkeit solcher Eingriffe. Qwen3.5-0.8B erschien laut dem Bericht im März 2026 unter Apache 2.0, GPT-6 Astra am 3. September 2026.

Einordnung

Die Arbeit ist ein Machbarkeitsnachweis: Dass ein Sprachmodell Gewichte semantisch versteht, wäre für Interpretierbarkeit und Modellpflege relevant. Der große Mathe-Sprung ist aber vor allem ein Schleifenfix bei einem kleinen, dafür bekannten Modell, kein generelles Mathe-Upgrade. Er hängt zudem an 50 Vorwärtsdurchläufen, bei 10 und 25 war der Effekt klein. Es ist ein einzelner Blogpost, die Ergebnisse sind nicht unabhängig reproduziert, und Astra ist nur über OpenAI nutzbar.