„Vibe Robotics“: Google DeepMind lässt KI-Agenten Roboterarme programmieren

Google DeepMind hat ein Plugin für seine KI-Entwicklungsumgebung Antigravity veröffentlicht, mit dem ein KI-Agent Steuerungscode für Roboterarme schreibt, ihn in der Physiksimulation MuJoCo testet und dann auf echter Hardware ausführt. Man beschreibt in normaler Sprache, was der Roboter tun soll. Einen Roboter braucht man dafür nicht unbedingt, die Simulation allein reicht schon.

Tools 18. Nov. 2026 6 Min. Lesezeit Quelle: Show HN (neueste)
Symbolbild, KI-generiert

Worum es geht

Google DeepMind hat auf GitHub ein Plugin mit dem Namen Robotics veröffentlicht, im Repository google-deepmind/robotics-antigravity-plugin. Vorgestellt wurde es auf Hacker News als „Show HN: Try Vibe Robotics!“. Der Begriff spielt auf „Vibe Coding“ an: Dort beschreibt man einer KI in Alltagssprache, was ein Programm tun soll, und die KI schreibt den Code. Bei „Vibe Robotics“ funktioniert das genauso, nur steuert der Code am Ende einen Roboterarm.

Das Plugin ist für Google Antigravity gedacht. Das ist Googles Entwicklungsumgebung, in der KI-Agenten selbstständig Programmieraufgaben erledigen. Ein KI-Agent ist hier ein Sprachmodell, das mehrere Schritte nacheinander ausführt, Werkzeuge benutzt und seine Ergebnisse selbst überprüft. Mit dem Plugin schreibt so ein Agent den Controller, also das Steuerprogramm des Roboters. Er testet ihn in der Physiksimulation MuJoCo und schickt anschließend denselben Code an einen echten Roboterarm. Wer keine Roboter-Hardware hat, kann auch nur mit der Simulation arbeiten. Der Code steht unter der freien Apache-2.0-Lizenz.

Wie der Ablauf funktioniert

Die README beschreibt einen Kreislauf aus fünf Schritten: Bring-up, Wahrnehmen, Planen, Handeln und Überprüfen.

  • Bring-up heißt in der Robotik, neue Hardware zum ersten Mal in Betrieb zu nehmen: Verbindung herstellen, Gelenke ansprechen, prüfen, ob alles reagiert.
  • Wahrnehmen: Multimodale Gemini-Modelle werten Kamerabilder aus und erkennen zum Beispiel, wo auf dem Tisch ein blauer Stift liegt. „Multimodal“ bedeutet, dass ein Modell nicht nur Text, sondern auch Bilder verarbeitet.
  • Planen und Handeln: Der Agent erzeugt Code, der die Bewegungen berechnet und ausführt. DeepMind spricht von „räumlichem Denken auf Spitzenniveau“, das direkt in die Echtzeit-Steuerschleife des Roboters eingebunden wird.
  • Überprüfen: Das Ergebnis wird kontrolliert, etwa über mehrere Testläufe in der Simulation oder ein aufgezeichnetes Video.

Dahinter steht das Prinzip „Sim2Real“, also von der Simulation in die Realität. Man probiert ein Steuerprogramm zuerst gefahrlos in einer virtuellen Welt aus und überträgt es dann auf die echte Maschine. MuJoCo eignet sich dafür gut. Der Name steht für „Multi-Joint dynamics with Contact“. Die Software simuliert Gelenke, Kräfte und Kontakte zwischen Objekten sehr genau, und DeepMind entwickelt sie selbst als Open Source weiter.

Laut README erledigt das Plugin Wahrnehmung, Planung, Steuerung, Sim2Real, das Werkzeug „MuJoCo Studio“ und den Hardware-Bring-up. DeepMind schreibt, das mache Regelung im geschlossenen Kreis, schnelle Inbetriebnahme neuer Hardware und dauerhaft laufende Roboteranwendungen „schnell und günstig genug für den Alltag“. Das ist eine Herstellerangabe. Unabhängige Tests dazu gibt es bisher nicht.

Die Beispiele: Kekse, Kaffee und ein radelnder Pelikan

Das Vorzeigebeispiel ist eine Keksfabrik. Ein Roboterarm vom Typ I2RT YAM Pro nimmt Kekse von einem laufenden Förderband und sortiert sie nach Sorte in zwei Kisten. Im Repository sieht man Animationen derselben Aufgabe in der MuJoCo-Simulation und mit dem echten Arm. Der Prompt dafür ist bemerkenswert: Der Agent soll den Aufbau anhand von Fotos in der Simulation nachbauen, mit Arm, Förderband, zwei Keksarten und zwei Kisten. Danach soll er die Aufgabe über mehrere Durchläufe testen und ein Video zeigen.

Weitere Beispiel-Prompts, die nur die Simulation brauchen:

  • Eine MuJoCo-Simulation eines „Pelikans, der Fahrrad fährt“. Das ist eine Anspielung auf einen bekannten Test, bei dem Sprachmodelle genau dieses Motiv als Vektorgrafik zeichnen sollen.
  • Eine Lebensmittel-Sortieraufgabe mit dem günstigen Bastler-Arm LeRobot SO-101. Einkäufe in verschiedenen Formen und Größen sollen in Behälter sortiert werden, ohne Zerbrechliches zu zerdrücken oder etwas umzustoßen. Dazu kommen zufällig variierte Anordnungen.
  • Ein Café mit zwei Franka-Research-3-Armen, die zusammenarbeiten (bimanuell). Sie stellen eine leere Tasse unter die Espressomaschine und servieren das fertige Getränk auf einem Tablett. Die Vorgabe: Jede Bewegung eines Objekts muss durch den Kontakt mit dem Roboter entstehen, nichts darf einfach „teleportiert“ werden.

Für echte Roboter nennt DeepMind einfachere Aufgaben: mit einem SO-101 einen blauen Marker vom Tisch aufheben, mit einem YAM-Arm winken oder einen Stift mehrere Zentimeter tief in eine hohe Kiste stecken, ohne die Wände zu berühren. Jedes Mal soll ein Video aufgezeichnet werden.

Installation und Voraussetzungen

Der offizielle Weg führt über Google Antigravity. Man installiert die aktuelle Version und fügt das Plugin mit folgendem Befehl hinzu:

agy plugin install https://github.com/google-deepmind/robotics-antigravity-plugin

Alternativ klont man das Repository und kopiert die Plugin-Dateien nach ~/.gemini/config/plugins. Danach muss Antigravity neu gestartet werden. Wer das Plugin aus dem Antigravity-Marketplace installiert, bekommt sieben MuJoCo-Skills gleich mit: mujoco-python, mujoco-spec-editing, mujoco-rendering, mujoco-accelerated, mujoco-parity, mujoco-studio und mujoco-gui. Skills sind fertige Anleitungs- und Werkzeugpakete, die dem Agenten zeigen, wie er eine bestimmte Programmierschnittstelle richtig benutzt.

Ohne Antigravity geht es auch: Die Skills lassen sich einzeln per npx skills add google-deepmind/robotics-antigravity-plugin installieren. Die MuJoCo-Skills kommen dann mit npx skills add google-deepmind/mujoco dazu. Sie liegen außerdem im MuJoCo-Python-Paket bei. Damit lassen sie sich grundsätzlich auch mit anderen Agenten-Werkzeugen nutzen, die dieses Skill-Format verstehen.

Wichtig: Skills, die Gemini-Modelle zur Bilderkennung aufrufen, brauchen einen API-Schlüssel in der Umgebungsvariable GEMINI_API_KEY. Diese Teile laufen also nicht lokal, sondern über Googles Cloud, und können je nach Nutzung Geld kosten. Manche Skills laden außerdem Software und Robotermodelle von Drittanbietern herunter, für die deren eigene Lizenzen gelten.

Sicherheit am echten Roboter

Die README warnt ausdrücklich:

Ein sich bewegender Roboter kann Menschen verletzen und Geräte beschädigen. Bleib neben dem Roboter, halte den Arbeitsbereich frei und sorge dafür, dass du den Strom jederzeit abschalten kannst. Du bist für den sicheren Betrieb deines Roboters verantwortlich.

Dieser Hinweis wiegt hier besonders schwer, weil KI-generierter Code direkt in physische Bewegungen übersetzt wird. Ein Fehler, der in einer normalen App nur eine Fehlermeldung auslöst, kann am Roboterarm umgestoßene Gegenstände oder Schlimmeres zur Folge haben.

Einordnung

Das Plugin ist kein neues KI-Modell. Es ist eine Werkzeugsammlung, die vorhandene Bausteine verbindet: Gemini als Agent und für die Bildwahrnehmung, MuJoCo als Simulator und günstige Arme wie den SO-101 als Hardware. Spannend ist es trotzdem. Bisher musste man für Roboterprogrammierung Kinematik, Regelungstechnik und Simulator-Schnittstellen beherrschen. Jetzt soll ein Satz in normaler Sprache reichen, um eine Szene aufzubauen, einen Controller zu schreiben und ihn zu testen. Das senkt die Einstiegshürde für Bastler, Studierende und kleine Firmen deutlich, vor allem weil die Simulation ganz ohne Hardware läuft.

Mit dem Projekt bindet Google Entwickler zugleich an das eigene Ökosystem aus Antigravity, Gemini-API und Gemini Robotics. Mehr zu DeepMinds Robotik-Modellen findet man unter deepmind.google/models/gemini-robotics.

Einige Fragen sind noch offen:

  • Wie zuverlässig funktionieren die Agenten bei Aufgaben, die über die Vorzeigebeispiele hinausgehen?
  • Wie gut lässt sich das in der Simulation Gelernte tatsächlich auf die echte Hardware übertragen? Diese „Sim2Real-Lücke“ ist in der Robotik ein bekanntes Problem.
  • Welche Kosten entstehen durch die API-Aufrufe?

Die Animationen im Repository zeigen ausgewählte Erfolge. Erfolgsquoten oder unabhängige Tests fehlen bislang. Eigene Ergebnisse können Nutzer in den GitHub Discussions teilen, das dürfte bald ein realistischeres Bild liefern.

Quellen

#robotik#google deepmind#mujoco#ki-agenten#antigravity#open source
Originalquelle lesen

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.