Fingerspitzengefühl als Token: Warum Roboter so schwer fühlen lernen

Darum geht es

Für einen Menschen ist es leicht, einen Flaschendeckel aufzudrehen. Für einen Roboter, der nur über Kameras sieht, ist es schwer. Ob der Deckel sich löst oder die Finger bloß darüber rutschen, sieht auf dem Bild fast gleich aus. Genau mit diesem Beispiel begründet Ant Group, warum Roboter einen Tastsinn brauchen. Dass er fehlt, zeigt sich überall: Apples Forschungsteam schreibt über seinen Humanoiden HALO, er könne „kaum direkt spüren“, ob er etwas berührt. Der chinesische Tastsensor-Hersteller Qianjue nennt den Moment der Berührung im Interview mit 163.com die „letzte Zentimeter“-Hürde.

Inzwischen gibt es Hände mit Tastsensoren in den Fingerkuppen. Das eigentliche Problem liegt aber in der Software. Wer die Rohsignale einfach zusätzlich in ein fertiges Vision-Language-Action-Modell (VLA) speist, also in ein Modell, das Bilder sieht, Sprachbefehle versteht und Bewegungen ausgibt, gewinnt oft wenig oder verliert sogar Leistung. Am 10. November 2026 hat Robbyant, die Robotiksparte von Ant Group, mit LingBot-Touch ein offenes Tastmodell veröffentlicht, das dieses Problem lösen soll. Wir erklären, warum Tastsinn für KI so schwierig ist, wie der Ansatz funktioniert und wie belastbar die Zahlen sind.

Drei Gründe, warum ein zusätzlicher Sinn nicht automatisch hilft

1. Es gibt zu wenig Daten. Videos von Menschen gibt es in riesigen Mengen. Nvidia hat für GR00T 2 über 400.000 Stunden davon verwendet, Nature Will für Natura-1 laut eigenen Angaben mehr als eine Million Stunden. Tastdaten entstehen dagegen nur dort, wo jemand einen Sensorhandschuh trägt oder eine Sensorhand fernsteuert. Selbst der größte offene Datensatz, auf dem LingBot-Touch trainiert wurde, umfasst knapp 5.000 Stunden.

2. Jeder Sensor misst etwas anderes. Laut einem Überblick von 36Kr gibt es fünf Hauptbauarten: - Piezoresistive Sensoren ändern ihren Widerstand unter Druck. Sie sind billig, messen aber nur die senkrechte Kraft und reagieren empfindlich auf Temperatur und Feuchtigkeit. - Magnetische Sensoren registrieren, wie sich ein Magnetfeld verschiebt, wenn sich die Oberfläche verformt. Sie sind störanfällig und lösen nur begrenzt fein auf. - Kamerabasierte (visuotaktile) Sensoren filmen von innen eine Gelschicht, die sich bei Berührung eindrückt. Sie sind sehr genau, aber teuer. - Dazu kommen piezoelektrische und kapazitive Sensoren.

Forschende der National University of Singapore bringen das Ergebnis auf den Punkt: Ein Modell, das mit einem Sensor trainiert wurde, lässt sich nicht direkt mit einem anderen verwenden. Daten verschiedener Hersteller passen also nicht zusammen.

3. Ein fertiges Modell nimmt den neuen Sinn schlecht an. Ein vortrainiertes VLA hat gelernt, sich auf Bilder zu verlassen. Die Autoren von ResTacVLA nennen das „Modalitätskollaps“: Der breite, kontinuierliche Bildstrom überdeckt die seltenen, plötzlichen Tastereignisse, und das Modell lernt, sie zu ignorieren. Messungen bestätigen das. Im ReTouch-Paper vom August 2026 sank π0 mit zusätzlichen Tastdaten von 45,6 auf 43,8 Prozent Erfolg, π0.5 stieg nur von 51,5 auf 53,1 Prozent. Die Autoren sprechen von „uneinheitlichen Effekten“. Noch drastischer ist eine Zahl, die das chinesische Portal 机器人前瞻 im Juli zitierte: Bei einem klassischen Modell sei die Erfolgsquote durch einfach hinzugefügte Tastsignale von 17 auf 6 Prozent gefallen. Der Bericht schreibt das einer Studie mit Fei-Fei Li und Jim Fan zu, nennt aber keinen Titel. Wir konnten die Originalarbeit nicht finden. Die Zahl ist also unbelegt, passt aber zum Muster.

Der neue Ansatz: ein Grundmodell nur für den Tastsinn

Statt Rohsignale direkt einzuspeisen, wird ein eigenes taktiles Foundation-Modell vorgeschaltet, also ein Grundmodell, das vorab auf vielen Tastdaten lernt, was Berührung bedeutet. Es übersetzt Sensorwerte in Tokens, kompakte Zahlenpakete, mit denen ein Handlungsmodell rechnen kann. Ein Pionier war Metas Sparsh von 2024. Es wurde selbstüberwacht auf über 460.000 Bildern trainiert, lernte also ohne menschliche Beschriftung, und funktionierte nur mit kamerabasierten Sensoren wie DIGIT und GelSight Mini. Die Gewichte liegen auf Hugging Face, das GitHub-Repo ist seit April 2026 archiviert.

LingBot-Touch geht drei Schritte weiter:

• Gemeinsame Fingerkoordinaten. Jeder Messpunkt (Taxel) wird über feste Kalibrierwerte pro Finger in ein einheitliches Koordinatensystem der Fingerkuppe umgerechnet. Danach ist egal, wie ein Hersteller seine Punkte angeordnet hat. Auch die Signale werden normiert: Scherkräfte, also seitliche Kräfte, liegen zwischen −1 und 1, der Druck senkrecht zur Oberfläche zwischen 0 und 1.
• Sensorspezifische Tokenizer. Für jede Sensorart gibt es einen eigenen Eingang, der die Rohsignale aufbereitet. Danach verarbeitet ein gemeinsamer „Haptic Transformer“ alle Daten. Jedes Ausgabetoken trägt Zeitpunkt, Finger und Position. Die im Report genannte „5D RoPE“, eine Positionskodierung über fünf Dimensionen, bildet nach unserer Lesart genau diese Angaben ab: Zeit, Finger und drei Raumkoordinaten.
• JEPA-Vortraining. JEPA (Joint-Embedding Predictive Architecture) heißt: Das Modell sagt verdeckte Teile der Daten voraus, aber nicht als rohe Messwerte, sondern als abstrakte Beschreibung. Es soll so die Regeln von Kontakt lernen statt Sensorrauschen. Als Ziel dient eine langsam nachgeführte Kopie des Encoders (EMA-Encoder). Genau diese eingefrorene Kopie wird veröffentlicht.

Die Trainingsdaten laut Projektseite:

Das sind rund 1,33 Milliarden Einzelbilder aus Tasthandschuhen und Roboterhänden. Die kleinste Variante Tiny hat laut Projektseite 5,46 Millionen Parameter, chinesische Medien nennen etwa 5,3 Millionen. An LingBot-VLA, π0.5 oder T-Rex angehängt, wächst das Gesamtsystem damit nur um 0,13 bis 0,16 Prozent. Das heißt im Umkehrschluss, dass diese Handlungsmodelle rund 3,4 bis 4,2 Milliarden Parameter haben. Außerdem gibt es eine größere Variante Small.

Was die Zahlen zeigen und was nicht

Robbyant hat 26 Aufgaben mit echten Robotern getestet, 20 davon auf der Sharpa Wave und 6 auf der XHand, mit je 20 Versuchen. Dazu gehören Buchseiten umblättern, Deckel aufdrehen und Mahjong-Steine sortieren. Die Kernaussage: Die Erfolgsquote von vier Handlungsmodellen steigt im Schnitt um 14 bis 26 Prozentpunkte. Die Vergleichsbasis ist dabei aber ein Modell ganz ohne Tastsinn.

Aussagekräftiger ist die eigene Baseline mit rohen Sensordaten. Für sie nennen die Berichte nur ein Beispiel, T-Rex beim Deckel-Aufdrehen auf der Sharpa Wave:

In diesem Fall bringen rohe Daten 6 Punkte und das vortrainierte Modell 34 Punkte. Das passt zur These. Für die übrigen Aufgaben zeigt die Projektseite den Vergleich mit Rohdaten nur als Grafik ohne Zahlen. In der Simulation wurden laut Projektseite fünf Eingabevarianten verglichen, benannt sind aber nur drei: ohne Tastsinn, „Tactile CNN“ (ein klassisches kleines Bildnetz für Tastdaten) und LingBot-Touch. Eine Baseline mit bloßem binärem Kontakt („berührt ja/nein“) konnten wir in den öffentlich lesbaren Teilen nicht nachweisen. Den 18 MB großen Tech-Report konnten wir nicht vollständig auswerten. Zur Statistik: Bei 20 Versuchen pro Aufgabe verschiebt jeder einzelne Versuch das Ergebnis um 5 Prozentpunkte.

Am meisten überzeugt uns der Hardware-Transfer. Das magnetische Sensormodell der XHand kam im Vortraining nicht vor, das Wissen über magnetische Tastdaten stammte nur aus Handschuhaufnahmen. Der Encoder blieb eingefroren, trainiert wurde nur das Handlungsmodell.

Einschränkungen stehen in den eigenen Unterlagen: - Kamerabasierte Sensoren liefern nur einen Wert pro Punkt für Eindrückung oder Helligkeit, keine Rohbilder und keine Scherkraft. Der gemeinsame Nenner ist also kleiner, als die Hardware hergibt. - Der piezoresistive Pfad ist laut Daten-Leitfaden im veröffentlichten Paket „nur synthetisch geprüft“. - Veröffentlicht sind nur der Encoder und Code zum Ausführen. Trainingscode, Prädiktor und Datensatz fehlen. - Bei 16 Frames erzeugt Tiny für eine Sharpa-Hand 8.000 Tokens. Die Entwickler empfehlen deshalb, die Tokens per Attention auszulesen, also gezielt die relevanten herauszugreifen, statt sie zu mitteln.

Die anderen Ansätze im Vergleich

TouchWorld nutzt den Tastsinn zur Vorhersage. Ein Weltmodell auf Basis von Wan2.2 sagt voraus, wie sich Kontakt entwickeln wird. Laut Paper erreichte es 65,0 Prozent Erfolg gegen 40,7 Prozent bei π0.5 und 39,3 Prozent bei GR00T N1.7. DexTact zeigt, wo Tastsinn besonders hilft. Ohne Tastsinn sinkt die Greifquote bei unbekanntem Licht um 16,6 Punkte. Mit Tastsinn nennt die Zusammenfassung des Papers 4,2 Punkte, die Detailtabelle aber 1,6 Punkte. Außerdem lief alles nur in der Simulation. HTT aus Singapur verfolgt dieselbe Idee wie LingBot-Touch: An einer Sharpa-Hand mit einem unbekannten Sensor gelang das Schraubspielzeug in 90 Prozent der Fälle, mit rohen Kraftwerten in 45 Prozent.

Die Gegenposition vertritt Natura-1. Das MoE-Modell mit 50 Milliarden Parametern nimmt laut Nature Will nur Sprache und Bilder auf und steuert trotzdem Hände mit 20 Freiheitsgraden. Ein Mixture-of-Experts-Modell nutzt dabei pro Schritt nur einen Teil seines Netzes. Es kam auf 53,4 bzw. 59,1 Punkte, π0.5 auf 13,5 Punkte. Allerdings lief π0.5 auf einer anderen Plattform mit Zweifingergreifer, der Vergleich hinkt also. Nature Will selbst nennt bessere Sensorsysteme als offene Baustelle. Auch Nvidias GR00T 2 arbeitet nach den uns vorliegenden Berichten mit Kamerabildern, Gelenkstellungen und Text, ohne Tasteingabe.

Was die Hardware kostet

Die beiden Testhände liegen in sehr unterschiedlichen Preisklassen: - Sharpa Wave: 22 Freiheitsgrade, in jeder Fingerkuppe eine Minikamera mit über 1.000 Tastpixeln. Ein Händler listet sie für 50.000 US-Dollar, eine abgespeckte SE-Version laut Humanoid.Guide für 20.000 US-Dollar. - XHand1 von Robotera: 12 Freiheitsgrade, Fingerkuppen mit über 100 Messpunkten, die 270 Grad umschließen. Bei RobotShop kostet sie rund 16.750 US-Dollar.

Für Bastler ist das also noch nichts. LingBot-Touch selbst läuft zwar auch auf einer CPU, nützt aber nur mit einer solchen Hand etwas.

Einordnung

Chinesische Medien und die Branchenmesse WAIC nennen 2026 das „Jahr null des Tastsinns“. LingBot-Touch ist das erste große offene Modell, das drei Sensorarten in einer gemeinsamen Darstellung vereint. Die Idee überzeugt: Der Ansatz löst das Problem der vielen Sensorformate, indem er alle auf gemeinsame Fingerkoordinaten abbildet, statt für jede Hand neu zu trainieren.

Unsere Einschätzung: Die Herstellerangabe von 14 bis 26 Punkten ist gegen den schwächsten Vergleich gemessen. Der wichtige Vergleich mit rohen Tastdaten ist nur an einem Beispiel mit Zahlen belegt. Unabhängige Nachtests gibt es bisher nicht, und ohne Trainingscode und Datensatz kann niemand das Vortraining nachbauen. Offen bleibt außerdem, ob Tastsinn bei steigender Datenmenge ein eigenes Modell braucht oder ob Videomodelle wie Natura-1 die Lücke von der anderen Seite schließen. Die Forschung dieses Jahres spricht bisher eher dafür, dass ein separat vortrainierter Tastsinn mehr bringt, als die Rohdaten einfach mitzufüttern.