Microsoft Mage-VL-Cowork: 4B-Modell bedient Desktop per Klick und Shell

Worum es geht

Ein Forschungsteam von Microsoft hat Mage-VL-Cowork veröffentlicht, ein Modell mit 4 Milliarden Parametern (Parameter – grob gesagt die Stellschrauben, die das Modell beim Training gelernt hat). Es steuert einen Computer wie ein Mensch: Es schaut auf Screenshots, klickt und tippt. Es kann aber auch Shell-Befehle und Python-Skripte ausführen. Welches Werkzeug es nutzt, entscheidet das Modell selbst. Die Gewichte stehen auf Hugging Face unter der Apache-2.0-Lizenz. Der Dienst AI Tracker registrierte sie am 30. Oktober 2026 um 8:20 Uhr US-Ostküstenzeit. Das ist der Zeitpunkt der Entdeckung, nicht unbedingt der offiziellen Ankündigung.

Der Hintergrund: Agenten, die nur per Screenshot arbeiten, verbrauchen viele Tokens (die Textbausteine, in denen ein Modell rechnet). Schon eine Änderung in einer Tabellenzelle kann viele Schritte durch Menüs brauchen. Verzögerungen beim Bildaufbau und leicht falsche Koordinaten lassen Aufgaben scheitern. Reine Shell-Agenten dagegen kommen mit Layouts oder Zeichenflächen schlecht zurecht. Frühere Lösungen koppelten mehrere Agenten oder externe Router, was zusätzliche Aufrufe und Kontextverluste brachte.

Ein Modell, zwei Kanäle

Mage-VL-Cowork wählt pro Schritt zwischen zwei Kanälen:

Klick-Koordinaten werden auf einen Bereich von 0 bis 999 normalisiert und von der Umgebung auf die echte Auflösung (etwa 1920×1080) umgerechnet. Ein Beispiel: Um in einer Tabelle Zellen zu verbinden und eine Überschrift zu setzen, müsste ein reiner GUI-Agent LibreOffice Calc starten, warten und formatieren. Mage-VL-Cowork kann stattdessen ein Python-Skript mit openpyxl ausführen und die Datei direkt speichern. Das spart Schritte und umgeht Pop-ups.

In einer Demo auf der Projektseite brauchte das GUI-Modell Qwen3.6-27B für eine Calc-Aufgabe 39 Schritte und 9:56 Minuten, Mage-VL-Cowork 6 Schritte und 39 Sekunden (rund 15-mal schneller). Das ist laut Quelle ein einzelnes Beispiel und nicht auf jede Aufgabe übertragbar.

Training in fünf Stufen

Basis ist ein 4B-Zwischenstand namens „Mage-VL“. Statt beides gleichzeitig zu lehren, nutzt das Team ein Curriculum „Specialize-then-Unify“:

SFT (Supervised Fine-Tuning) heißt: Das Modell lernt aus Beispielen. RL (Reinforcement Learning) heißt: Es lernt durch Belohnung für erfolgreiche Ergebnisse.

Für die Trainingsdaten entwickelte das Team die Engine Mage-CUA-Forge. Sie bündelt wiederverwendbare Basisfähigkeiten und vorab definierte Aufgaben- und Umgebungsskripte, statt Agenten jedes Mal per Trial-and-Error suchen zu lassen. Laut Microsoft sank der Tokenverbrauch pro Aufgabe um 93,3 % (von 1.276.000 auf 85.000), die Kosten um 82,6 % (von 0,906 auf 0,158 US-Dollar). Erzeugt wurden 293.806 Aufgaben aus 6.915 Basisfähigkeiten und 318.837 geprüfte Hybrid-Verläufe.

Besonders interessant: Die Werkzeugumgebung des Lehrermodells GPT-5.4 beeinflusste das kleine Modell stark. In der schlanken Umgebung (ohne überlappende Mittel wie Accessibility-Tree und xdotool, dafür mit vorinstalliertem openpyxl und pandas) stieg der Lehrer-Erfolg von 89,6 auf 92,0 %, die Schrittzahl sank um 29,2 % (35,33 auf 25,00). Der Schüler, der mit den Daten aus der überladenen Umgebung trainiert wurde, erreichte 25,1 % bei 39,40 Schritten, der aus der schlanken 37,6 % bei 30,91 Schritten. Das sind 12,5 Punkte Unterschied. Ob das mit anderen Lehrern und Datensätzen genauso gilt, ist offen.

Benchmarks

Auf OSWorld-Verified erzielt das Modell 66,04 %. Gemessen wurde auf 361 Aufgaben ohne Google-Drive-Aufgaben, mit maximal 50 Schritten, als Mittel aus 65,33 % und 66,75 % zweier Läufe. Eingesetzt wurde der Agent „MAGEHybridAgent“ mit drei Screenshots, 1920×1080, Temperatur 0,7, top_p 0,8 und höchstens 4.096 generierten Tokens.

Bei den größeren Modellen nennt Microsofts Tabelle keine Details wie Schrittlimits, daher ist der Vergleich nicht zwingend fair. Die Trainingsstufen im Vergleich:

Das RL brachte also 10,2 Punkte, 13 % weniger Aufrufe und 25,4 % weniger Ausgabe-Tokens. Das Referenzmodell GPT-5.4-mini liegt mit 69,57 % höher, braucht aber mehr als doppelt so viele Ausgabe-Tokens.

Bei Web-Aufgaben ist das Modell schwächer als Spezialisten: Auf WebVoyager-Static kommt der SFT-Zwischenstand (vor dem RL) auf 58,6 %, das browserspezialisierte Fara1.5-4B auf 68,0 %. Fara1.5-4B schafft dafür auf OSWorld-Verified nur 13,9 %. Beide Zahlen betreffen verschiedene Trainingsstadien und Tests und sind nicht direkt vergleichbar.

Was du zum Ausprobieren brauchst

• Speicher: Die bfloat16-Gewichte sind 9,48 GB groß (zwei safetensors-Dateien). Dazu kommen KV-Cache, Vision-Encoder und System, der echte Bedarf liegt also höher. Eine GPU mit mindestens 12 bis 16 GB VRAM ist realistisch; quantisierte Varianten wurden in der Quelle nicht genannt.
• Software: Microsoft empfiehlt eine SGLang-Umgebung per offiziellem Docker-Image: SGLang 0.5.2, PyTorch 2.8.0+cu128, Transformers 5.7.0, FlashInfer 0.3.1 und SGLANG_MAX_PIXELS=4000000. Die Modellkarte nennt auch transformers>=4.57.3.
• Eigener Code: Die Architektur „llava_onevision2“ ist eigener Python-Code im Repository, daher ist trust_remote_code=True nötig. Prüfe diesen Code vorher.
• Kontext: 32.768 Tokens in Training und Inferenz; die Architektur soll bis 262.144 unterstützen. Alte Schritte werden als einzeilige „Action:“-Zusammenfassungen komprimiert, die letzten drei Screenshots und vier Antworten bleiben komplett.
• Sicherheit: Nur in Wegwerf-Containern oder VMs mit Snapshot testen, ohne Zugriff auf Host-Dateien, lokales Netz, SSH-Schlüssel, Tokens oder Cookies. Mac, CPU und Colab werden in der Quelle nicht behandelt.

Sicherheit

Der bash-Kanal führt beliebige Befehle aus. Falsche Entscheidungen oder eingeschleuste Anweisungen (indirekte Prompt Injection, also versteckte Befehle in Webseiten oder Dokumenten) können Dateien zerstören oder Daten abfließen lassen. Microsoft nennt die Modellfamilie auf GitHub „nur für Forschungszwecke“, nicht für kommerzielle Produkte. Für folgenreiche Aktionen wie Datenversand, Anmeldung, Zahlungen oder Rechteänderungen soll ein Mensch zustimmen, und ausgehende Verbindungen sollten auf erlaubte Adressen beschränkt werden.

Einordnung

Mage-VL-Cowork zeigt, dass bei Computer-Agenten nicht allein die Modellgröße zählt: Kanalwahl, saubere Lehrerdaten und effiziente Verlaufsverwaltung bringen viel. Mit 66 % auf OSWorld-Verified ist ein 4B-Modell konkurrenzfähig, schlägt aber nicht alle offenen Modelle (ScaleCUA-9B liegt vorn) und bleibt hinter GPT-5.4-mini zurück. Kritisch: Die Zahl hängt am speziellen Agenten-Setup, am 50-Schritte-Limit und an Microsofts eigener Messung; unabhängige Reproduktionen stehen aus. Die permissive Lizenz ändert nichts daran, dass Microsoft von Produktionseinsatz abrät. Zudem ist es nicht Microsofts Produkt „Copilot Cowork“, das als Cloud-Dienst für Microsoft 365 eigenständig läuft. Für Forschende und Bastler, die Agenten lokal untersuchen wollen, ist das Modell interessant, für den Alltag eher nicht.