Google macht Harness² quelloffen: KI-Agenten verbessern sich ohne Neutraining

Worum es geht

Google Research hat Harness² (auch Harness2) als Open Source veröffentlicht, unter der Apache-2.0-Lizenz. Dazu gibt es ein Paper mit dem Titel „Harness²: Recursive Agent Harnessing for an Open World“ und eine Projektseite. Das Framework soll KI-Agenten verbessern, ohne das zugrunde liegende Sprachmodell neu zu trainieren. Statt der Modellgewichte schreibt es das Umfeld um das Modell um.

Was ein „Harness“ ist

Ein Harness (wörtlich „Geschirr“) ist alles, was ein Modell erst zum Agenten macht: Prompts (Anweisungen), Werkzeuge, Gedächtnis, Skills (wiederverwendbare Anleitungen) und die Orchestrierung. Heute stellen Teams das meist von Hand ein: Ein Entwickler sieht den Agenten scheitern, ändert den Prompt, fügt ein Werkzeug hinzu und probiert erneut. Das funktioniert bei vorhergesehenen Aufgaben, stößt aber laut Paper in einer „offenen Welt“ an Grenzen, in der Agenten auf unerwartete Aufgaben treffen.

Harness² automatisiert diese Feinarbeit, während die Modellgewichte fest bleiben. Es gibt kein Fine-Tuning und keine neuen Trainingsdaten. Veränderbar sind acht Komponenten:

Die ersten vier bilden laut README den Kontext des Modells, Tool-Hinweise und Skripte die Werkzeugschnittstelle, Subagenten die Delegation, Plugins die Middleware.

Zwei Schleifen

Die hochgestellte 2 steht für zwei Rekursionsebenen.

Schleife 1 (Aufgabenebene): Propose–Probe–Compose. Ein Editor schlägt allgemeine („invariante“) und fachspezifische Änderungen vor. Der Agent führt die Aufgabe mit jeder Variante erneut aus. Ein Composer vergleicht die Läufe und führt zusammen, was geholfen hat. Entscheidend: Das Lernen erfolgt aus Verhaltensunterschieden zwischen Läufen, ohne Musterlösung. Das ist praktisch, weil in der realen Welt niemand einen Antwortschlüssel liefert.

Schleife 2 (Harnessing-Ebene). Nach jeder Aufgabe speichert ein „Experience Reflector“ das übernommene Harness und belegte Lehren in einem dauerhaften Verbesserungs-Harness. Dieses steuert die nächste Runde. So wird nicht nur der Agent besser, sondern auch das Verfahren, Agenten zu verbessern.

Budget und Kosten

Schleife 1 läuft mit einem Budget k und einem Modus. Im parallelen Modus werden k invariante und k fachspezifische Kandidaten vorgeschlagen und anschließend k unabhängige Kompositionen gebildet – breitere Suche. Im sequenziellen Modus laufen k Propose-Probe-Compose-Schritte hintereinander, jeweils auf dem verfeinerten Harness – tiefere Verfeinerung. Pro Aufgabe fallen 4k Durchläufe des Agenten und 3k Verbesserungssitzungen an (über run_sweep.py); --k 3 bedeutet 12 Durchläufe und 9 Sitzungen. Der Benchmark LAB hat allein 1.143 Aufgaben, die Kosten summieren sich also schnell.

Ergebnisse

Google testete GLM-5 und Gemini 3.5 Flash in vier Modell-Harness-Kombinationen auf drei Benchmarks. Schon ein einziger Schritt (k = 1) verbesserte beide Modelle gegenüber ihrem ursprünglichen Harness.

Das sind Maximalwerte, keine Durchschnitte, und der LAB-Wert bezieht sich auf den Partial-Score, also den Anteil bestandener Bewertungskriterien. Laut README bringt ein höheres k weitere Gewinne; Details je Konfiguration stehen im Paper. Die Zahlen stammen von Google selbst, unabhängige Reproduktionen stehen aus.

Warum es praktisch interessant ist

Üblicherweise bräuchte man zum Verbessern Trainingsdaten, GPUs und Zugriff auf die Gewichte. Wer ein Modell nur per API nutzt, hat das meist nicht. Harness² legt jede Verbesserung in lesbaren Dateien ab: umgeschriebene Prompts, korrigierte Skripte, neue Guardrails. Man kann sie prüfen, mit dem Original vergleichen, und das Framework dokumentiert die Gründe. Agent („Executor“) und Verbesserer („Improver“) werden per Modell-ID in einer Konfigurationsdatei festgelegt. Die Veröffentlichung kombiniert GLM-5 oder Gemini 3.5 Flash als Agenten mit Vertex-Gemini oder Claude als Verbesserer.

Die kostenlose Demo

Die Demo läuft mit deterministischen Editoren und echten Python-Ausführungen, ohne Modellzugang. Nötig sind Linux (unter Windows WSL, unter macOS eine VM oder ein Container), Python 3.12 (3.13 wird laut pyproject.toml unterstützt), der Paketmanager uv von Astral und git. Ablauf: uv installieren, Repository von github.com/google-research/harness2 klonen, mit uv venv --python 3.12 .venv eine Umgebung anlegen, mit uv pip install -e '.[render]' installieren (das Extra bringt openpyxl und python-pptx mit) und harness2-demo --output runs/demo --k 2 starten. Ohne --mode laufen beide Modi. Im Test des KDnuggets-Autors dauerte das etwa zwei Sekunden.

Die Demo enthält zwei Buchhaltungsaufgaben (ledger-1, ledger-2). Das Start-Harness hat einen Fehler: Das Skript summarize.py addiert nur positive Beträge. Bei einem Kassenbuch mit 100,25, −20,10 und 5,00 liefert es 105,25. Das von Harness² übernommene Skript entfernt den Filter und gibt korrekt 85,15 aus – ohne den richtigen Wert je zu kennen. Zusätzlich schreibt das Framework eine Erfahrungsdatei (EXPERIENCE.md) mit übernommener Änderung (c1), Begründung, Beobachtung, übertragbarer Lehre, Beleg und hoher Konfidenz.

Einordnung

Harness² passt zu einem Trend: Statt Modelle neu zu trainieren, wird das Drumherum automatisch optimiert. Das interessiert vor allem Teams, die Modelle per API nutzen. Kritisch bleibt: Die Gewinne sind „bis zu“-Werte aus Googles eigenen Tests, die Demo mit gescripteten Editoren beweist nur den Mechanismus, nicht die Qualität echter Modelle, und höhere Budgets bedeuten deutlich mehr Modellaufrufe und damit Kosten. Ein Download von Modellgewichten ist nicht Teil der Veröffentlichung; es handelt sich um ein Framework.