Apple-Forscher lassen Humanoiden per Mac mini und Qwen-Modell durch fremde Räume laufen

Worum es geht

Ein Forschungsteam von Apple hat ein Steuersystem für humanoide Roboter vorgestellt, also für Roboter in Menschengestalt. Es heißt HALO. Am 4. November (Ortszeit) reichten die Forscher das Paper „Perceptive Humanoid Motion from Simulation“ auf der Plattform arXiv ein. Dort erscheinen wissenschaftliche Arbeiten als Vorabdruck, bevor andere Fachleute sie begutachtet haben. Laut dem Finanzportal BigGo Finance hat Apple gleichzeitig den Code für die Datenerzeugung, das Training der Modelle und den Einsatz auf dem Roboter veröffentlicht. Ob auch die fertig trainierten Modelle herunterladbar sind, geht aus den Quellen nicht hervor.

Als Testgerät diente der humanoide Roboter G1 des chinesischen Herstellers Unitree Robotics. Auffällig ist der Aufbau: Auf dem Roboter sitzt ein Mac mini, und darauf läuft ein Sprach- und Bildmodell aus der Qwen-Familie von Alibaba. Die Hauptquelle, ein Beitrag von Pasquale Pillitteri, liegt nur als Überschrift vor. Die technischen Details in diesem Artikel stammen aus dem Bericht von BigGo Finance.

Was der Roboter kann

Apple-Roboter sind hier nicht das Neue. Neu ist, dass der Roboter seine Umgebung nicht vorher kennen muss. Bisher wird ein Raum für viele solcher Systeme zuerst eingescannt und als Karte gespeichert. HALO lernt seine Bewegungen dagegen in Simulationen und überträgt sie direkt in echte Räume, die es noch nie gesehen hat. Fachleute nennen das „Sim-to-Real“-Transfer.

In sechs echten Räumen, die nicht vorab vermessen wurden, absolvierte der G1 insgesamt 360 Einzeltests. Die Erfolgsquote lag im Schnitt bei 91 Prozent. Auf Videos des Teams schiebt der Roboter Kisten, folgt Menschen und setzt sich auf Befehl auf einen Stuhl. Er dreht sich auch seitlich, um durch eine halb offene Tür zu kommen, oder bückt sich und kriecht unter einem Tisch hindurch. Laut Bericht sind diese Bewegungen nicht fest einprogrammiert. Der Roboter passt sie laufend an das an, was er sieht, wie er den Raum einschätzt und wie er gerade steht.

So ist das „Gehirn“ aufgebaut: drei Ebenen

HALO teilt die Steuerung in drei Schichten auf, die unterschiedlich schnell arbeiten:

Oben steht ein sogenanntes Vision-Language-Modell, also eine KI, die Bilder und Text gleichzeitig versteht. Standardmäßig ist das Qwen3.6-35B-A3B. Der Name verrät die Bauweise: 35 Milliarden Parameter insgesamt, von denen pro Rechenschritt nur etwa 3 Milliarden aktiv sind. Solche Mixture-of-Experts-Modelle („Mischung aus Experten“) nutzen für jede Aufgabe nur einen Teil ihres Netzes. Deshalb laufen sie auch auf einem kompakten Rechner wie dem Mac mini flüssig genug. Der Roboter braucht so kein Internet. Wer mehr Denkleistung will, kann über eine Programmierschnittstelle (API) auch ein stärkeres Modell in der Cloud ansprechen.

In der Mitte arbeitet das kleine Modell Qwen3.5-2B als „eingefrorener“ Encoder. Es wird also nicht weiter trainiert und übersetzt nur Kamerabilder und den aktuellen Teilschritt in eine Form, mit der das System rechnen kann. Ein DiT-Decoder macht daraus eine Bewegung. DiT steht für Diffusion Transformer, dieselbe Technik, mit der viele Bildgeneratoren arbeiten. Hier entstehen aber keine Bilder, sondern Bewegungsabläufe für den ganzen Körper.

Unten sitzt der Bewegungs-Tracker. Er wandelt die Pläne 50-mal pro Sekunde in konkrete Befehle für die Gelenkmotoren um. Trainiert wurde er mit Reinforcement Learning, also Lernen durch Versuch und Belohnung, und mit Policy Distillation. Dabei gibt ein großes, aufwendig trainiertes Steuerungsmodell sein Können an ein kleineres, schnelleres weiter.

Viel Rechenleistung für synthetische Daten

Das Training stützt sich fast vollständig auf künstlich erzeugte Daten. Das Team ließ 1.000 Wohnumgebungen automatisch generieren und erzeugte darin rund 300 Stunden Trainingsdaten. Das dauerte etwa 48 Stunden auf 250 Nvidia-H100-Grafikprozessoren. Den Bewegungsgenerator trainierte das Team per Imitationslernen, bei dem das Modell vorgegebene Beispiele nachahmt, auf 64 Nvidia-B200-Chips. Für den Bewegungs-Tracker reichten vier H100.

Dass Apple die Pipeline für die Datenerzeugung öffentlich macht, ist laut BigGo Finance bemerkenswert. Synthetische Trainingsdaten werden gerade zu einer Art Grundausstattung für die Roboterforschung, weil echte Daten von echten Robotern teuer und langsam zu sammeln sind.

Wo es noch hakt

Bei Einzelaufgaben liegt die Erfolgsquote hoch, bei Abläufen aus mehreren Schritten nicht. Die Forscher testeten drei zusammengesetzte Aufgaben je zehnmal, allerdings nur in einem einzigen echten Raum. Im Schnitt klappten 70 Prozent. Die Abfolge „unter einem Hindernis durchbücken, zu einem Ziel laufen und eine Kiste schieben“ gelang nur in 50 Prozent der Fälle. Mehrere Schritte sauber aneinanderzureihen, bleibt also schwierig.

Das Team nennt selbst zwei weitere Grenzen:

• Neue Aufgaben brauchen noch Handarbeit. Jemand muss Prompts schreiben und Schlüsselbilder (Keyframes) der Bewegung entwerfen. Manche Bewegungen beruhen zudem auf Videos von Menschen oder auf Motion-Capture-Aufnahmen, bei denen Bewegungen echter Personen mit Sensoren aufgezeichnet werden.
• Der Roboter ist fast nur auf seine Augen angewiesen. Ob er etwas berührt, kann er kaum direkt spüren. Aufgaben mit viel Körperkontakt gelingen deshalb schlechter, besonders wenn ein Gegenstand aus dem Kamerabild verschwindet oder verdeckt ist. Als nächsten Schritt nennen die Forscher Tastsensoren.

Reaktionen aus der Finanzwelt

BigGo Finance stellt das Paper in einen größeren Zusammenhang. Mehrere chinesische Wertpapierhäuser sehen die Branche der „Physical AI“, also KI, die in der physischen Welt handelt, an einem Wendepunkt. CITIC Securities spricht davon, dass globale Konzerne in den Markt einsteigen. Sinolink Securities stellt fest, dass große KI-Modelle vom Wahrnehmen und Verstehen zum Planen und Bewegen übergehen. China Securities erwartet, dass Roboter künftig über „Robot-Use Agents“ gesteuert werden. Gemeint sind große Modelle, die Steuerschnittstellen aufrufen und Fehler selbst korrigieren. Am chinesischen Aktienmarkt haben Werte rund um humanoide Roboter seit Anfang November deutlich zugelegt. Das ist allerdings Börsenstimmung und kein Beleg für die Technik.

Einordnung

HALO ist ein Forschungsprojekt und kein Produkt. Ob Apple einen eigenen Roboter plant, sagen die Quellen nicht. Interessant ist die Arbeit aus drei Gründen:

1. Ein frei verfügbares chinesisches Open-Weight-Modell steuert einen chinesischen Serienroboter, und das lokal auf gewöhnlicher Apple-Hardware. Leistungsfähige Robotersteuerung braucht damit nicht unbedingt ein Rechenzentrum.
2. Der Roboter bewegt sich in fremden Räumen ohne vorherige Kartierung. Das ist eine Voraussetzung für Einsätze in echten Wohnungen.
3. Apple veröffentlicht den Code. Für einen sonst eher verschlossenen Konzern ist das ungewöhnlich, und andere Teams können die Ergebnisse so nachprüfen.

Die Zahlen sollte man aber vorsichtig lesen. 91 Prozent bei Einzelaufgaben heißt auch, dass fast jeder zehnte Versuch scheitert. Für einen Haushaltsroboter ist das noch zu viel. Die Kombi-Aufgaben wurden nur in einem Raum mit je zehn Versuchen getestet, eine sehr kleine Stichprobe. Neue Fähigkeiten brauchen weiterhin von Hand geschriebene Vorgaben, und ohne Tastsinn bleibt der Roboter bei Kontaktaufgaben unsicher. Unabhängig nachgeprüft sind die Ergebnisse bisher nicht. Das Paper ist ein Vorabdruck ohne Begutachtung durch andere Fachleute.