Studie: Aufwendige Harnesses machen Coding-Agenten teurer, aber nicht besser

Worum es geht

Ein Coding-Agent besteht aus einem Sprachmodell und einem Harness. Gemeint sind System-Prompt (die Grundanweisung an das Modell), Werkzeuge und Kontextmanagement, die ein Chatmodell erst in einem Code-Repository arbeitsfähig machen. Jeden Tag erscheinen neue Harnesses, Anbieter werben mit höheren Erfolgsquoten, und Bestenlisten mischen sie beliebig.

Zwei Forschende der Shandong University (Liu und Han) haben in einem Preprint gemessen, wie viel der Harness bei festgehaltenem Modell wirklich ausmacht. Der Titel verrät das Ergebnis: „Was bringt ein Harness? Vor allem Token.“

Frühere Vergleiche maßen den Zufall mit

Bisherige Studien berichten Unterschiede von mehr als 20 Punkten zwischen Harnesses. Solche Zahlen stammen laut den Autoren fast immer aus einem einzigen Durchlauf. Schon reine Wiederholungen derselben Konfiguration streuen auf SWE-bench Verified (einem Benchmark mit echten Programmieraufgaben aus Open-Source-Projekten) um bis zu sechs Punkte. Zhipu AI wirbt etwa für seinen Harness mit 2,4 Punkten Vorsprung vor Claude Code – das liegt klar im Rauschbereich. Außerdem sind Harnesses oft unterschiedlich gut an den Benchmark angebunden.

Versuchsaufbau

Getestet wurden drei Harnesses in der ausgelieferten Fassung:

• Claude Code und OpenCode: spezialisierte Datei- und Suchwerkzeuge, lange System-Prompts, automatische Komprimierung des Verlaufs.
• mini-SWE-agent: nur ein Bash-Werkzeug, kein Kontextmanagement.

Als Modelle dienten Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash und HY4-Preview. Claude Opus 5 lief nur als Referenz in Claude Code. Verwendet wurden die 45 schwersten Aufgaben von SWE-bench Verified plus ein Pool von 447 weiteren; mehrere Konfigurationen liefen doppelt, um das Rauschen zu messen.

Alle Läufe fanden offline statt. In frühen Tests mit Webzugang holten sich 71 Prozent der Versuche von Deepseek- und Qwen-Modellen den korrekten Fix direkt von GitHub, Claude-Modelle taten das fast nie. Diese Ergebnisse wurden verworfen. Die Forscher unterstellen keinem Anbieter, mit Testdaten trainiert zu haben.

Harness-Wechsel wirkt wie ein Neustart

Auf den 447 Aufgaben liegen Claude Code und mini-SWE-agent – der schwerste und der leichteste Harness – bei beiden getesteten Modellen weniger als zwei Punkte auseinander. Innerhalb von fünf Punkten gelten sie statistisch als gleichwertig.

Auf den 45 schweren Aufgaben, wo die Forscher den größten Effekt erwartet hatten, trennen die Harnesses je Modell zwei bis fünf Aufgaben; eine bloße Wiederholung verschiebt das Ergebnis um bis zu drei. Mal führt mini-SWE-agent, mal Claude Code.

Die Harness-Lücke verhält sich laut den Autoren wie „ein neuer Zufallswert aus demselben Rauschen“. Kleine Stichproben begrenzen zudem die Aussagekraft: Mit 45 Aufgaben wird selbst eine Lücke von 13 Punkten nur in der Hälfte der Fälle entdeckt, mit 447 Aufgaben lassen sich etwa fünf Punkte zuverlässig auflösen. Zhipus 2,4 Punkte liegen unter beiden Schwellen.

OpenCode fällt zurück

Der einzige messbare Harness-Effekt ist ein konstanter Rückstand von OpenCode von bis zu neun Punkten auf dem großen Pool. Etwa die Hälfte geht auf ein Ausgabelimit zurück: Überschreitet das Modell beim Reasoning mitten im Schritt das Limit, fordert Claude Code es zum Weitermachen auf, OpenCode beendet den Schritt, und der Versuch scheitert meist. Ein Fortsetzungs-Prompt nach Claude-Code-Vorbild half nicht, weil das ausufernde Reasoning bei Wiederholungen selten erneut auftritt. Für den Rest fehlt eine Erklärung; beobachtet wurde nur, dass Modelle unter OpenCode deutlich früher aufhören zu arbeiten. Zudem hatte OpenCode auf lokal betriebenen Modellen ein deutlich knapperes Zeitlimit – ein unkontrollierter Faktor. mini-SWE-agent stößt ohne Kontextmanagement ans Kontextfenster, vor allem bei Aufgaben, die auch die anderen nicht lösen. OpenCodes Suchwerkzeuge laden beim ersten Aufruf eine Binärdatei herunter und versagen offline.

Die Rechnung macht der System-Prompt

Bei gleichem Modell, gleichen Aufgaben und gleicher Preisliste kostet eine Aufgabe je nach Harness bis zu dreimal so viel. Die Werkzeugausgaben erklären das kaum. Entscheidend sind System-Prompt und Tool-Beschreibungen, die bei jedem Schritt erneut mitgeschickt werden:

Claude Code behält laut Rekonstruktion der Forscher außerdem das Reasoning des Modells im Verlauf. Danach wächst der Kontext in allen Harnesses ähnlich schnell. Die Prompt-Größe bestimmt die Grundkosten, die Schrittzahl multipliziert sie. Bei GLM-5.3-Flash kostet Claude Code fast doppelt so viel wie mini-SWE-agent; bei Deepseek-V4-Flash braucht mini-SWE-agent so viele zusätzliche Schritte, dass beide gleichauf liegen. Günstigere gecachte Token dämpfen die Unterschiede, ändern aber die Reihenfolge kaum.

Kein Heimvorteil, offene Fragen beim Thinking

Deepseeks eigener Harness schneidet mit dem eigenen Modell nicht besser ab, kostet aber am meisten. Claude Opus 5 lieferte identische Ergebnisse, auch nachdem Werkzeuge aus Claude Code entfernt wurden. Eine ein Jahr alte Version löst ähnlich viele Aufgaben für weniger als die Hälfte der Kosten, weil Extended Thinking damals nicht standardmäßig aktiv war.

Beim Thinking fand sich die einzige Wechselwirkung: Ohne Thinking verliert mini-SWE-agent mit Qwen3.6 elf Punkte, während Claude Code und OpenCode im Rauschen bleiben. HY4-Preview verliert in Claude Code ohne Thinking ebenfalls elf Punkte. Eine Erklärung liefern die Autoren nicht; das Versuchsraster sei zu klein.

Einordnung

Die Studie mahnt zur Vorsicht bei Marketingzahlen zu Harnesses: Kleine Vorsprünge sind ohne Wiederholungsläufe nicht von Zufall zu unterscheiden. Die Autoren empfehlen, bei jedem Harness-Vergleich einen Wiederholungslauf derselben Konfiguration zu veröffentlichen. Ein Harness kaufe „weniger Wege, eine Aufgabe zu verlieren, und eine Rechnung, keine Erfolgsquote“. Einschränkungen: Die Studie stützt sich im Kern auf einen Benchmark (eine kleine Gegenprobe auf Terminal-Bench 2.1 zeigt dasselbe Bild), das geschlossene Spitzenmodell lief nur in einem Harness, und der OpenCode-Rückstand ist teils ungeklärt. Es handelt sich um einen Preprint; Daten und Skripte liegen auf GitHub. Passend dazu zeigten andere Untersuchungen, dass eine einfache Markdown-Datei ein komplexes Skill-System schlug und die Framework-Wahl die Kosten fast verdreifachen kann.