LingBot-Touch: Winziges Open-Source-Modell gibt Roboterhänden einen Tastsinn

Worum es geht

Roboter können heute erstaunlich gut sehen – aber sobald sie etwas anfassen, wird es oft schwierig. Genau hier setzt LingBot-Touch an. Das Modell stammt von Robbyant, einem auf verkörperte KI (also KI, die in Robotern steckt und physisch handelt) spezialisierten Unternehmen innerhalb der chinesischen Ant Group. Robbyant hat LingBot-Touch am 10. November 2026 in Shanghai als Open Source veröffentlicht; das zugehörige Fachpaper erschien bereits am 9. November auf arXiv und wurde einen Tag später in den „Daily Papers“ von Hugging Face vorgestellt.

LingBot-Touch ist ein sogenanntes Tactile Foundation Model – ein vortrainiertes Grundmodell für den Tastsinn, auf dem andere Systeme aufbauen können, statt jedes Mal bei null anzufangen. In Demos zeigt Robbyant Roboterhände, die Mahjong-Steine allein mit den Fingerspitzen erkennen, einen Strohhalm durch den versiegelten Deckel eines Bechers stechen, eine einzelne Buchseite umblättern, Flaschendeckel aufschrauben oder einen Becher von einem Stapel ziehen – laut den Beiträgen autonom.

Bemerkenswert ist die Größe: Laut den Reddit-Beiträgen, die die Projektseite verlinken, hat das Modell für den Tastteil gerade einmal 5,46 Millionen Parameter – ein Bruchteil dessen, was große Sprachmodelle mitbringen. Es ist ausdrücklich kein Sprachmodell.

Das Problem: Jeder Sensor spricht eine andere Sprache

Einen Roboter mit Tastsensoren auszustatten, heißt noch lange nicht, dass er sinnvoll fühlen kann. Laut Robbyants Pressemitteilung sind kommerzielle Tastsensoren noch in einem frühen Entwicklungsstadium, und drei technische Ansätze konkurrieren:

(Die Tabelle beschreibt laut shattered.io die allgemeinen Funktionsprinzipien, keine Messwerte von LingBot-Touch.)

Dieselbe Berührung erzeugt also je nach Sensor völlig unterschiedliche Signale – mal ein Bild, mal ein paar Magnetfeldwerte, mal ein Druckraster. Dazu kommt, dass die Messpunkte auf jeder Roboterhand anders angeordnet sind. Lernt ein Modell nur einen Sensortyp, ist sein „Taster-Wissen“ wertlos, sobald Sensor oder Hand gewechselt werden: Daten neu sammeln, neu trainieren, neu anpassen. Robbyant argumentiert, dass bei der schnellen Hardware-Entwicklung genau diese enge Kopplung Hardwareherstellern, Roboter-Integratoren und Modellentwicklern immer wieder doppelte Arbeit beschert. Da die Ansätze unterschiedliche Kosten und Einsatzgebiete haben, werden sie nach Einschätzung des Unternehmens auf absehbare Zeit nebeneinander existieren.

Wie LingBot-Touch funktioniert

Die Lösung ist eine gemeinsame Zwischenschicht. LingBot-Touch hat für jedes Sensorprinzip einen eigenen Eingangskanal (Encoder), der die jeweiligen Rohsignale verarbeitet. Die Kontaktpunkte der verschiedenen Sensor-Anordnungen werden dann in ein gemeinsames Fingerspitzen-Koordinatensystem übertragen – vergleichbar damit, Stadtpläne mit unterschiedlichen Maßstäben auf dieselbe Karte zu legen. Ein gemeinsames Modell lernt anschließend, wo ein Kontakt stattfindet, wie sich die Kraft verteilt und wie sich beides über die Zeit verändert. Heraus kommen einheitliche Tast-Tokens – kleine Datenpakete, wie sie auch Sprach- und Bildmodelle als „Währung“ verwenden.

Technisch basiert das Modell laut Paper auf einer JEPA-Architektur (Joint Embedding Predictive Architecture) mit einem gemeinsamen Transformer. Anders als Modelle, die ihre Eingaben Punkt für Punkt rekonstruieren, sagt ein JEPA-Modell abstrakte Repräsentationen fehlender oder künftiger Teile der Eingabe voraus – es lernt also die Bedeutung eines Kontakts, nicht jedes Rauschen im Signal. Shattered.io hält das für sinnvoll, weil Tastdaten durch Sensorrauschen, Temperaturschwankungen und Abnutzung der Sensorhaut sehr unsauber sind; das ist allerdings die Einschätzung des Portals, nicht eine Aussage von Robbyant. Als Rückgrat genügt laut Paper ein leichtgewichtiger Vision Transformer (ViT).

Die Tast-Tokens sind „Plug-and-Play“: Sie lassen sich in bestehende Steuerungsmodelle einstecken, etwa in eine Diffusion Policy (ein Verfahren, das Roboterbewegungen schrittweise aus Rauschen erzeugt) oder in VLA-Modelle (Vision-Language-Action – Modelle, die Bild, Sprache und Handlungen verbinden) wie π0.5 oder Robbyants eigenes LingBot-VLA. Wer schon ein solches System betreibt, legt die Tast-Tokens einfach neben die Kamerabilder und passt das Modell per Feintuning an.

Was das Modell können soll

Das Paper nennt vier Kerneigenschaften:

• Vereinheitlicht: Daten unterschiedlicher Sensoren verbessern sich beim Training gegenseitig.
• Übertragbar: Das Modell soll ohne zusätzliches Training auf neue Sensoren und Roboterplattformen übertragbar sein.
• Effizient: Auch mit kleinem ViT-Rückgrat ist schnelle Inferenz mit hoher Frequenz möglich – wichtig, weil Roboter in Echtzeit reagieren müssen.
• Skalierbar: Die Leistung steigt mit der Menge der Tast-Trainingsdaten.

Vortrainiert wurde auf fast 5.000 Stunden realer Tastdaten. Laut den Autoren zeigen Experimente in Simulation und auf echten Robotern, dass feinmotorische Aufgaben besser gelingen, ohne dass der Rechenaufwand explodiert. Konkrete Benchmark-Zahlen enthalten die vorliegenden Quellen allerdings nicht.

Verfügbarkeit

Veröffentlicht sind ein technischer Bericht, der Code und die Modellressourcen auf GitHub und Hugging Face. Es gibt zwei Varianten: LingBot-Touch-Tiny und LingBot-Touch-Small. Welche davon die genannten 5,46 Millionen Parameter hat, geht aus den Quellen nicht eindeutig hervor. Das GitHub-Repository trägt den Titel „Learning Heterogeneous Tactile Representation for General Dexterous Manipulation“, steht unter der freizügigen Apache-2.0-Lizenz (auch kommerzielle Nutzung erlaubt) und hatte laut blockchain.news zum Zeitpunkt des Berichts 103 Sterne. Kosten fallen keine an.

Was du zum Ausprobieren brauchst

Rechenleistung ist hier nicht das Problem: Ein Modell mit wenigen Millionen Parametern läuft auf praktisch jedem Rechner, auch ohne große Grafikkarte, und belegt nur wenige Megabyte Speicher. Das eigentliche Hindernis ist die Hardware drumherum: Sinnvoll nutzen kannst du LingBot-Touch nur mit echten Tastsensoren (magnetisch, visuotaktil oder piezoresistiv), idealerweise an einer Roboterhand, oder mit aufgezeichneten Tastdaten. Für Chat-Programme wie Ollama oder LM Studio ist es nicht gedacht. Wer keinen Roboter hat, kann immerhin Code und Paper studieren und mit den veröffentlichten Ressourcen experimentieren – das richtet sich klar an Forschende und Robotik-Entwickler, nicht an Hobby-Nutzer.

Einordnung

Der Tastsinn gilt als eine der großen Lücken der Robotik: Montage, Verpacken oder Haushaltsaufgaben scheitern oft genau in dem Moment, in dem Kontakt entsteht. LingBot-Touch versucht nicht, das beste Modell für einen bestimmten Sensor zu bauen, sondern eine gemeinsame Repräsentation, die Hardware-Wechsel überlebt – ähnlich wie vortrainierte Bild-Encoder einst die Computer Vision vereinfacht haben. Dass das Ganze offen unter Apache 2.0 erscheint, ist wichtig: In einem Feld mit kaum gemeinsamen Benchmarks können externe Labore die Behauptungen nun selbst prüfen und auf eigene Hardware portieren, statt sich auf Hersteller-Demos verlassen zu müssen.

Offen bleibt einiges. Die Aussage, das Modell lasse sich ohne zusätzliches Training auf neue Sensoren übertragen, ist bislang eine Herstellerangabe, die unabhängig bestätigt werden muss. Ob das Einstecken der Tast-Tokens in bestehende VLA-Modelle so reibungslos funktioniert wie versprochen, wird sich erst in der Praxis zeigen, wie auch shattered.io anmerkt. Und 5.000 Stunden Tastdaten sind für diesen Bereich viel, im Vergleich zu den Datenmengen bei Sprach- oder Bildmodellen aber noch wenig. Die Botschaft der Demos ist dennoch bemerkenswert: Für feinfühlige Handgriffe braucht es offenbar kein riesiges Sprachmodell, sondern ein spezialisiertes, sehr kleines Netz.