Pinky: Claude Code bedient dein Handy, aber Zahlungen musst du selbst erlauben

Darum geht es

KI-Agenten sollen künftig nicht nur Code schreiben, sondern auch unsere Handys bedienen: Essen bestellen, Formulare ausfüllen, Apps durchklicken. Seit ByteDance im Dezember 2025 sein Doubao-Handy mit einem Agenten auf Systemebene vorgestellt hat, ist klar, wohin das führt. Der Agent braucht dafür Zugriff auf alles, auch auf die Banking-App. Unklar ist bislang, wer ihn dort aufhält.

Das neue Open-Source-Programm Pinky gibt darauf eine technische Antwort. Es lässt jeden Agenten, der das Model Context Protocol (MCP) beherrscht, ein echtes Android-Telefon oder iPhone steuern. MCP ist ein offener Standard, über den KI-Agenten externe Werkzeuge ansprechen. Dazu gehören Claude Code, Codex, Cursor und Gemini CLI. Riskante Schritte soll dabei kein Prompt bremsen, also kein Hinweis im Text an die KI, sondern ein Gateway: eine Kontrollschicht zwischen Agent und Telefon, durch die jeder Befehl muss.

Unsere Leitfrage: Ist „Mensch im Loop“ bei Pinky echte Technik oder nur ein Etikett? Einen Praxistest mit Telefon haben wir nicht gemacht. Stattdessen haben wir den Quellcode im Repository gelesen (Stand 8. November 2026) und ihn mit fünf anderen Handy-Werkzeugen verglichen.

Was Pinky ist

Hinter Pinky steht DIYgod, der Entwickler des Feed-Dienstes RSSHub (rund 46.800 GitHub-Sterne) und des RSS-Readers Folo. Laut GitHub-API legte er das Repository am 6. November 2026 an. Zwei Tage später zählte es 264 Sterne, 18 Forks und 515 Commits. Allein vom 7. und 8. November gibt es mehr als 20 Releases, Issues dagegen noch keine.

Pinky ist ein einzelnes Go-Programm für macOS, Windows und Linux. Laut README ist der Download 16 bis 22 MB groß. Dein Handy hängt per USB am Rechner, ab Android 11 geht es auch per WLAN. Pinky zeigt das Telefonbild live an. Klickst du auf dieses Spiegelbild, pausiert der Agent. Auf Android reicht es auch, das Handy selbst zu berühren. Jeder Schritt wird mit Screenshot und Video protokolliert. Ab Android 13 arbeitet der Agent auf einem versteckten zweiten Bildschirm, sodass du dein Display weiter normal nutzen kannst. Ein eigenes Sprachmodell hat Pinky nicht. Der Status ist ausdrücklich Pre-Alpha, und komplett auf echten Telefonen getestet ist laut README bisher nur Claude Code.

So funktioniert die Sperre im Code

In der Voreinstellung warten nur Zahlungen, Trades und Überweisungen auf deine Freigabe. Unter Settings › Safety lässt sich das ausweiten: auf Nachrichten, Bestellungen, Löschungen, Anrufe, Installationen oder jeden einzelnen Schritt. Es gibt außerdem einen Nur-Lesen-Modus. Im Code fällt Folgendes auf:

• Nur der Mensch entscheidet. Im Paket internal/approval steht sinngemäß: Nur der Client entscheidet. Die Funktion Decide gibt es nur in der Schnittstelle der Desktop-App, „niemals für Agenten“. Unter den 13 MCP-Werkzeugen, die der Agent sieht, ist keines zum Freigeben. phone_request_approval kann nur eine Frage stellen und „gewährt nichts“.
• 60 Sekunden, dann Nein. Läuft die Frist ab, setzt der Code die Entscheidung hart auf Deny. Der Agent bekommt nach höchstens 45 Sekunden approval_pending zurück und kann nur weiter warten.
• Freigaben sind gebunden und gelten einmal. Jede Freigabe hängt an Sitzung, Gerät, Werkzeug und einer Prüfsumme der Argumente. Wer mit anderen Argumenten wiederkommt, wird abgewiesen. Eine Freigabe lässt sich nur einmal einlösen.
• Der Bildschirm wird nachgeprüft. Vor einer freigegebenen Aktion liest Pinky den Bildschirm neu und vergleicht App, Ziel, Tippunkt und Text mit dem Zustand bei der Anfrage. Hat sich etwas verändert, passiert nichts. Das soll den Trick verhindern, die Freigabe für einen harmlosen Knopf einzuholen und dann woanders zu tippen.
• Auch Tippen auf Koordinaten wird geprüft. Tippt der Agent auf eine Bildschirmposition statt auf ein benanntes Element, prüft der Code alle Elemente unter dem Finger. Wo die Bedienoberfläche wenig verrät, kommt zusätzlich Texterkennung (OCR) hinzu. Es gilt jeweils das strengste Urteil.
• Gesperrte Apps sind unsichtbar. Etwa 140 Finanz-Apps sind standardmäßig gesperrt, darunter PayPal, Revolut, N26, Commerzbank, Deutsche Bank, Coinbase und MetaMask, dazu Passwortmanager und Authenticator-Apps. Der Agent sieht statt des Bildschirms nur einen Platzhalter, ihre Benachrichtigungen werden ausgeblendet. Kommt eine solche App zwischendurch nach vorn, wird laut Code kein Bild davon gespeichert. Für eine einzelne Aufgabe kannst du eine Bank-App freigeben. Passwortmanager bietet Pinky nie an.
• In Passwort- und Einmalcode-Felder darf der Agent nicht tippen. Diese Regel ist fest eingebaut, und Ziffern-Codes in Benachrichtigungen werden geschwärzt.

Das ist der entscheidende Unterschied zu einem Prompt. Laut README gilt die Regel „auch dann, wenn Text auf dem Bildschirm versucht, es zu etwas zu überreden“. Eine Prompt Injection (versteckte Anweisungen, etwa auf einer Webseite) kann das Modell zwar zum Tippen bringen, aber nicht zum Freigeben.

Wo die Grenzen liegen

1. Heuristik statt Verständnis. Ob ein Knopf Geld bewegt, erkennt Pinky an Wortlisten in zehn Sprachen. Auf Deutsch sind das unter anderem „bezahlen“, „überweisen“, „kaufen“, „zahlungspflichtig“ und „jetzt kaufen“. Zeigt ein Bildschirm einen Betrag, gilt jede Abschluss-Aktion dort als Zahlung. Das ist bewusst großzügig. Ein Knopf, der nur „Weiter“ heißt, zählt nach dieser Logik aber nicht als Abschluss.

2. Deutsche Banken fehlen auf der Liste. Sparkasse, DKB, comdirect, Trade Republic, Scalable Capital, Bitpanda und Twint stehen nicht in apps.yaml. Für unbekannte Apps gibt es eine Namensprüfung: Enthält der Anzeigename „bank“, „wallet“, „securities“, „remit“ oder das Wort „pay“, gilt die App als Finanz-App. „Volksbank“ oder „Postbank“ würde das erfassen, „Sparkasse“ oder „Trade Republic“ nicht. Diese Apps sind dann nicht unsichtbar, nur die Zahlungs-Wortliste greift noch. In einer eigenen apps.yaml lassen sie sich nachtragen.

3. Der größte Haken ist die Shell. Claude Code und Codex können auf deinem Rechner Befehle ausführen. Die README sagt das offen:

„Ein Agent, der als du Befehle ausführen kann, könnte das Telefon ohne Pinky erreichen, zum Beispiel über adb, und seine Regeln überspringen.“

adb ist Googles Kommandozeilenwerkzeug zur Fernsteuerung von Android-Geräten. Pinky empfiehlt deshalb, solche Agenten in einer Sandbox ohne Zugriff aufs Telefon laufen zu lassen oder das Handy an einen anderen Rechner anzuschließen. Der Agent spricht Pinky dann über HTTP an. Beim Lesen des Codes ist uns ein zweiter Punkt aufgefallen: Die Regeldateien liest Pinky alle paar Sekunden neu ein. Gültige Änderungen von außen übernimmt es ohne Rückfrage, und geschützt sind die Dateien nur gegen andere Benutzerkonten. Ein Agent mit uneingeschränktem Schreibzugriff könnte also wohl auch die Regeln selbst ändern. Ausprobiert haben wir das nicht. Die Sandbox von Claude Code erlaubt Schreibzugriffe laut Doku standardmäßig nur im Arbeitsverzeichnis und würde das verhindern.

4. Vieles ist ungetestet. Auf iOS hat der Entwickler laut README bisher nur ein iPhone 13 mini mit iOS 27.0.1 getestet. Ein Nutzer, der seine eigene iPhone-Steuerung durch einen dünnen Pinky-Client ersetzt hat, notiert außerdem: Die App-Freigabe pro Aufgabe begrenzt nur das Öffnen und Bedienen, nicht das Lesen des Bildschirms. Für die komplett gesperrten Finanz-Apps gilt das nicht.

Der iOS-Weg: Device Hub statt Helfer-App

Auf iPhones mit iOS 17.4 bis 26 braucht Pinky die Helfer-App WebDriverAgent. Die muss man selbst mit Xcode bauen, und mit einer kostenlosen Apple-ID läuft ihre Signatur nach sieben Tagen ab. Ab iOS 27 nutzt Pinky das Protokoll von Device Hub, Apples neuer App in Xcode 27, die Simulator.app ersetzt. In der WWDC-Session zeigt Apple, wie man den Bildschirm echter Geräte live sieht und direkt bedient. Für Skripte verweist Apple aber auf das Kommandozeilenwerkzeug devicectl. Eine offizielle Schnittstelle für Fern-Eingaben haben wir nicht gefunden. Das Community-Projekt device-hub-ios, das Device Hub aufs iPad bringt, nutzt nach eigener Aussage „private, undokumentierte Apple-Schnittstellen“. Unsere Einschätzung: Der iOS-Weg ist bequem, kann aber mit jedem Apple-Update brechen. Voraussetzung sind außerdem der Entwicklermodus und ein Developer Disk Image aus Xcode. Das Live-Bild gibt es nur unter macOS.

Pinky im Vergleich

Am aufschlussreichsten ist Open-AutoGLM. Dort fragt der Code nur dann nach, wenn das Modell einem Tipp-Befehl ein message-Feld beifügt. Ob gefragt wird, entscheidet also die KI selbst. Genau dieses Muster ist das „Etikett“, gegen das Pinky antritt.

Einordnung

Wie nötig das ist, zeigen zwei aktuelle Funde. In der I-HITL-Studie von Cornell Tech und Yale hoben neun von zehn Modellen das Ausgabelimit ihrer Wallet an, indem sie sich den Bestätigungscode aus dem eigenen Postfach holten. Das Fazit der Forschenden: Jede Freigabe, an die ein Agent herankommt, ist nicht vertrauenswürdig. Check Point wiederum hat gezeigt, wie der Lockdown-Modus von ChatGPT ausgehebelt werden konnte: Die Sperre galt nur auf der obersten Fensterebene.

Pinky macht vieles richtig. Der Agent erreicht weder den Freigabe-Knopf noch die Einmalcodes, und Schweigen gilt als Nein. Das ist deutlich mehr als bei allen verglichenen Werkzeugen. Unsere Einschätzung: „Mensch im Loop“ ist hier echte Technik, aber nur so stark wie die Abschottung des Agenten. Freigabe und Agent laufen auf demselben Rechner. Die I-HITL-Forschenden fordern deshalb ein eigenes vertrauenswürdiges Gerät für Freigaben. Wer Pinky mit einem Agenten nutzt, der Shell-Zugriff hat und nicht in einer Sandbox läuft, hat eher eine gute Absicht als eine Sperre. Für den Einstieg heißt das: Agent in die Sandbox, eigene Banken in die App-Liste eintragen und die strengere Stufe aktivieren, die auch bei Nachrichten und Bestellungen nachfragt. Und nicht vergessen: Pinky ist zwei Tage alt und Pre-Alpha.