Vercels agent-desktop: KI-Agenten bedienen deinen ganzen Computer

Worum es geht

Vercel Labs hat am 31. Oktober 2026 agent-desktop vorgestellt, ein kostenloses Open-Source-Werkzeug, das KI-Coding-Agenten „Computer Use“ ermöglicht – also die Bedienung normaler Desktop-Programme. Es läuft unter macOS, Windows und Linux. Chris Tate von Vercel Labs, der auch agent-browser entwickelt hat, nannte es „agent-browser für deinen ganzen Computer“. Die Agenten arbeiten im Hintergrund, während du selbst weiter am Rechner arbeitest, und jeder Agent bekommt einen eigenen farbigen Cursor.

Das Projekt hat eine Vorgeschichte: Der Entwickler Lahfir startete es im Februar, mittlerweile liegt es bei Vercel Labs und hat mehr als 5.000 GitHub-Sterne. Version 1.0 (mit Linux-Support) erschien am 28. Oktober, Version 1.0.2 am 30. Oktober. Die Ankündigung ist also kein Erstrelease, sondern die offizielle Vorstellung eines bereits veröffentlichten Stands.

Wie es funktioniert: Struktur statt Screenshots

Die meisten Computer-Use-Systeme machen Screenshots und lassen ein Vision-Modell raten, wo Buttons sind. agent-desktop geht anders vor: Es liest den Accessibility-Tree des Betriebssystems – das ist die Struktur, die Screenreader nutzen, um Bedienelemente wie Buttons und Eingabefelder zu beschreiben. Dafür nutzt es unter macOS die AX API, unter Windows UI Automation und unter Linux AT-SPI.

Ein Snapshot liefert die Oberfläche einer App als JSON, wobei jedes bedienbare Element eine Referenz („ref“) erhält, etwa @s8f3k2p9:e8. Die Snapshot-ID steckt in der Referenz, eine nackte @e8 wird mit INVALID_ARGS abgelehnt. Der Agent klickt oder tippt über diese Referenz und macht danach einen neuen Snapshot, um die Wirkung zu prüfen. Hat sich die Oberfläche verändert, meldet das Tool STALE_REF oder AMBIGUOUS_TARGET, und der Agent muss neu beobachten. Jeder Fehler enthält zudem eine Angabe, ob ein erneuter Versuch sicher ist; die Auflösung der Referenzen ist streng und rät nicht.

Wichtig: agent-desktop ist kein Agent. Es bringt kein Sprachmodell und keine grafische Oberfläche mit. Jeder Befehl gibt einen JSON-Umschlag aus und beendet sich. Die Schleife aus Beobachten, Handeln und Prüfen liegt beim Agenten, etwa Claude Code, Codex oder jedem anderen, der Shell-Befehle ausführen kann. Laut MarkTechPost umfasst das Tool 60 Befehlsnamen, davon 56 operativ. Intern ruft die CLI oder C-Bibliothek einen Kern auf, der nur über ein PlatformAdapter-Interface mit der jeweiligen Plattform spricht; jede Binärdatei steuert genau ein Betriebssystem.

Hintergrundbetrieb und mehrere Agenten

Standardmäßig läuft alles „headless“: Der echte Mauszeiger bewegt sich nicht, das aktive Fenster wechselt nicht. Mit dem Flag --headed lassen sich echte Maus- und Tastatureingaben aktivieren, falls eine App das braucht. Jede Referenz-Aktion wartet automatisch bis zu 5.000 ms auf ein sichtbares, aktiviertes und stabiles Ziel.

Bei mehreren Subagenten bekommt jeder einen eigenen farbigen Overlay-Cursor (macOS, Windows und Linux mit X11). Laut Dokumentation können sich die Cursor gleichzeitig bewegen, Aktionen, die den einen physischen Zeiger benötigen, kommen nacheinander dran.

Skeleton-Modus und Tokenersparnis

Dichte Apps können tausende Accessibility-Knoten haben. Ein --skeleton-Snapshot liest deshalb nur drei Ebenen tief; abgeschnittene Container melden eine children_count und erhalten eine Drill-Referenz. Mit snapshot --root wird dann gezielt eine Region nachgeladen.

Der Entwickler nennt eine Reduktion um 78 bis 96 Prozent gegenüber vollständigen Baum-Dumps in Slack, VS Code und Notion. In Apple Maps sei der Verbrauch pro Blick von 3.811 auf 273 Tokens gesunken, eine simulierte Aufgabe mit 52 Schritten von 198.000 auf 31.000 Tokens. MarkTechPost betont, dass dies Eigenangaben und kein unabhängiger Benchmark sind.

Vergleich mit Screenshot-basiertem Computer Use

Laut MarkTechPost kostet bei Anthropic jeder Screenshot grob 1.000 bis 1.800 Eingabe-Tokens, dazu kommen etwa 4.500 Tokens für die Tool-Definition pro Anfrage. OpenAIs Tool liefert ebenfalls Klick-, Tipp- und Scroll-Aktionen, die der eigene Code ausführt. Microsofts UFO² nutzt zwar auch UI Automation, ist aber ein vollständiges Windows-Agenten-Framework.

Was du zum Ausprobieren brauchst

agent-desktop braucht keine GPU, es läuft auf normaler CPU, auf x64 und ARM64. Voraussetzungen: macOS 13 oder neuer mit Bedienungshilfen-Berechtigung (agent-desktop permissions --guide), Windows 10 Version 1809 oder neuer (oder Server 2019) beziehungsweise Ubuntu 24.04 oder neuer mit grafischer Sitzung und at-spi2-core. Installiert wird mit npm install -g agent-desktop (Bun, Yarn und pnpm gehen auch); die nativen Binärdateien sind enthalten. Du brauchst zusätzlich einen Agenten und damit meist ein Modell bzw. API-Zugang, dessen Kosten bleiben bestehen. Agenten lernen das Tool über agent-desktop skills get desktop. Über die C-Bibliothek können Python, Swift, Go, Ruby und Node es direkt einbinden; für Electron-Webinhalte öffnet launch --cdp einen DevTools-Port für agent-browser.

Grenzen und Datenschutz

Apps, die keinen Accessibility-Tree bereitstellen (etwa mit eigenem Rendering), kann agent-desktop nicht lesen. Webseiten automatisiert es nicht; dafür verweist Vercel auf agent-browser. Die Entwickler warnen, dass Snapshots, Zwischenablage-Inhalte und Screenshots private Daten enthalten können und nicht in öffentliche Logs gehören.

Ein japanischer Blogger auf note.com rät, mit kleinen, klar prüfbaren Aufgaben in einer Testumgebung mit Dummy-Daten zu starten, alte Referenzen nach Oberflächenänderungen nicht wiederzuverwenden und Fähigkeiten wie Senden, Veröffentlichen oder Löschen von der Freigabe zu trennen. Erfolg solle nicht „Button gedrückt“ heißen, sondern z. B. „Gespeichert-Anzeige bestätigt und erneut geöffneter Inhalt stimmt“. Eigene Vergleiche hat er nicht durchgeführt.

Einordnung

agent-desktop ist ein modellneutraler Zugang zu nativen Apps – im Gegensatz zu den an einzelne Anbieter gebundenen Computer-Use-Funktionen von OpenAI und Anthropic. Der strukturierte Ansatz verspricht weniger Tokens, deterministischere Aktionen und störungsfreies Arbeiten im Hintergrund. Offen bleibt, wie gut es in der Praxis abschneidet: Unabhängige Tests gegen Screenshot-Ansätze fehlen, die Zahlen stammen vom Entwickler. Zudem hängt die Qualität davon ab, wie gut Apps ihre Accessibility-Informationen pflegen. Für Entwickler, die Agenten Desktop-Aufgaben übertragen wollen, ist es ein interessanter, frei nutzbarer Baustein; Laien brauchen zusätzlich einen Agenten.

Am Rande: Eine Vercel-Pressemitteilung vom Juni 2026 (Ship-Konferenz) beschreibt andere Produkte wie das Agenten-Framework eve und gehört nicht direkt zu dieser Geschichte.