Hirnimplantat lässt Gelähmte über einen Avatar sprechen und gestikulieren

Worum es geht

Walter hat ALS (amyotrophe Lateralsklerose). Bei dieser fortschreitenden Nervenkrankheit sterben nach und nach die Nervenzellen ab, die die willkürlichen Muskeln steuern. Betroffene verlieren deshalb die Fähigkeit zu sprechen, zu schlucken, sich zu bewegen und irgendwann auch zu atmen. Denken und Verstehen bleiben dagegen meist erhalten. Bei Walter dauerte es etwa sechs Monate, bis aus leicht verwaschener Sprache völlig unverständliche wurde. Danach blieben ihm E-Mails, Text-to-Speech-Apps und Telefon-Vermittlungsdienste.

„Irgendwie versucht man, die Kommunikation aufrechtzuerhalten, und beschränkt sich dabei auf das Allerwichtigste. Für Gefühle und Gesten bleibt da überhaupt kein Raum.“

In einem Webinar der ALS Association hörte Walter von einer Studie des Neurochirurgen Edward Chang an der University of California, San Francisco (UCSF). Er meldete sich selbst beim Forschungsteam, obwohl dafür ein Eingriff am Gehirn nötig war. Er sah darin auch eine Chance, Technik voranzubringen, die künftigen Patienten helfen könnte, selbst wenn er eine fertige Version nicht mehr erleben sollte. Das Magazin Popular Mechanics hat seine Geschichte aufgeschrieben. Die Studie selbst ist in der Fachzeitschrift Nature Neuroscience erschienen.

Das Neue: Eine Gehirn-Computer-Schnittstelle (Brain-Computer Interface, kurz BCI, also ein System, das Hirnsignale direkt in Befehle für einen Computer übersetzt) liest über ein einziges Implantat gleichzeitig aus, was jemand sagen will und welche Geste er dazu machen möchte. Beides führt dann ein persönlicher virtueller Avatar aus. Walter nennt ihn seinen „digitalen Zwilling“.

Wie das System funktioniert

Grundlage ist die Elektrokortikografie (ECoG). Dabei liegt ein Feld aus Elektroden direkt auf der Hirnoberfläche und misst die elektrische Aktivität darunter. Das Implantat deckte einen großen Teil des sensomotorischen Kortex ab. Dieser Bereich der Hirnrinde steuert Bewegungen, auch die von Lippen, Zunge und Kehlkopf beim Sprechen. Für verschiedene Körperteile sind jeweils unterschiedliche Areale stärker zuständig. Genau daran können Machine-Learning-Modelle (Programme, die aus vielen Beispielen Muster lernen) erkennen, ob jemand gerade sprechen oder gestikulieren will.

Das Team begann im Frühsommer 2025 mit Walter. Zuerst lernte das System, versuchtes Sprechen und versuchte Bewegungen getrennt zu erkennen. Erst danach wurden beide zusammengeführt. Für Walter war das der entscheidende Moment, als der Avatar beides gleichzeitig richtig umsetzte: „Was für ein großer Meilenstein!“

Die Überraschung: Sprechen und Gestikulieren beeinflussen sich im Gehirn

Unterwegs stieß das Team auf ein unerwartetes Problem. Samantha Brosler, UCSF-Forscherin und eine der Erstautorinnen, sagt dazu:

„Uns hat überrascht, dass Modelle, die getrennt auf Sprache und Gesten trainiert wurden, schlechter funktionierten, wenn die Teilnehmenden beides gleichzeitig versuchten.“

Der Grund sind sich überlappende Signale. Manche Hirnregionen sind sowohl beim Sprechen als auch beim Gestikulieren aktiv, und ihr Aktivitätsmuster verändert sich, wenn beides zusammen passiert. Jennifer Collinger, Neuroprothetik-Forscherin an der University of Pittsburgh und nicht an der Studie beteiligt, spricht von kontextabhängiger neuronaler Aktivität: Die Hirnaktivität beim Winken kann anders aussehen, je nachdem, ob man dabei gleichzeitig spricht.

Das UCSF-Team trainierte deshalb zwei Decoder parallel, also zwei Modelle, die Hirnsignale in eine Ausgabe übersetzen: einen für Sprache und einen für Gesten. Als Trainingsdaten dienten Aufnahmen, in denen die Teilnehmenden Sprechen und Gesten erst einzeln und dann kombiniert versuchten. Sagt jemand „Hallo“ und winkt dabei, liefert das Daten für beide Modelle: Das eine lernt den Satz, das andere die Bewegung. Mit diesem gemeinsamen Training wurde die Erkennung besser. Außerdem erkannten die Modelle teilweise Kombinationen, die im Training gar nicht vorkamen. Das ist wichtig, denn man kann einem System unmöglich jede denkbare Verbindung aus Worten und Bewegungen beibringen.

Zahlen und Grenzen der Studie

Zu den 100 getesteten Kombinationen gehörten auch solche, die im echten Gespräch kaum vorkommen. So wollten die Forschenden prüfen, wie zuverlässig das System beides gleichzeitig erkennt. Für Teilnehmende, die nach einem Schlaganfall im Hirnstamm gelähmt sind, gab es zusätzlich Offline-Tests, also Auswertungen bereits aufgezeichneter Daten statt Live-Betrieb. Laut dem Bericht lieferten auch sie brauchbare Ergebnisse.

Collinger findet die Ergebnisse ermutigend, betont aber die Grenzen. Das System führt keine freien Gespräche. Es erkennt nur vorher festgelegte Sätze, zeigt die erkannte Sprache als Text an und startet beim Erkennen einer Geste die passende Animation des Avatars.

Was Fehler bedeuten können, zeigt eine Szene aus dem Labor. Als Walter gefragt wurde, ob er Kaffee möchte, winkte sein Avatar zum Abschied, statt zu nicken oder den Daumen zu heben. In diesem Fall war das lustig. In anderen Situationen kann eine falsche Geste aber die Bedeutung eines ganzen Gesprächs verändern. Collinger hält Rückmeldung durch die Nutzer deshalb für unverzichtbar. Brosler kann sich vorstellen, dass künftige Versionen erkannte Ausgaben vorher bestätigen oder korrigieren lassen, zum Beispiel per Eye-Tracking, also Steuerung über die Blickrichtung.

Bis zum Alltag ist es noch weit

Noch hängt das Implantat per Kabel an externen Computern. Für den Alltag bräuchte es laut Brosler drahtlose Übertragung, ein tragbares Gerät und kürzere Verzögerungen. Dafür müssen mehrere technische Probleme gelöst werden: Bauteile müssen kleiner werden, die Hirnsignale müssen dauerhaft zuverlässig aufgezeichnet werden, und das Gerät muss weniger Strom verbrauchen und weniger Wärme erzeugen.

Walter beschreibt die Arbeit als „Lernkurve auf beiden Seiten, für den Avatar und für den Patienten“. Ideal wäre für ihn ein System, das seine Signale zuverlässig liest. Drahtlos und weniger invasiv würde es für Betroffene deutlich attraktiver werden. Einmal entschlüsselte das System in einem Testdialog Sprache und Gesten völlig fehlerfrei:

„Die Reaktion des Avatars auf meine ‚Gedanken‘ hat mich zutiefst bewegt. Ich musste vor lauter Freude unkontrolliert lachen.“

Einordnung

Changs Gruppe an der UCSF gehört zu den führenden Teams bei Sprach-Neuroprothesen. Bisher ging es in diesem Feld vor allem darum, Wörter möglichst schnell und genau aus Hirnsignalen zu gewinnen. Neu an dieser Studie ist der Blick auf alles, was über Worte hinausgeht: Gesten, Mimik, Körpersprache. Wissenschaftlich am interessantesten ist wohl der Befund, dass Sprechen und Gestikulieren im Gehirn enger zusammenhängen als angenommen. Decoder, die beides getrennt lernen, reichen deshalb nicht aus.

Man sollte die Ergebnisse aber nicht überschätzen. Die Studie hatte nur drei Teilnehmende, nur 20 vorgegebene Ausdrücke, und rund jede dritte Ausgabe war im Echtzeittest falsch. Hinzu kommen der operative Eingriff und die Kabelverbindung. Ein Produkt für Betroffene ist das noch lange nicht. Collinger fasst zusammen, worum es eigentlich geht:

„Die Fähigkeit zur Kommunikation wiederherzustellen, misst sich nicht nur in Wörtern pro Minute.“

Genauso wichtig sind ihr zufolge Unabhängigkeit, Beziehungen, Teilhabe am Leben in der Gemeinschaft und die Möglichkeit, die eigene Persönlichkeit auszudrücken. Ungeklärt ist bisher, wie viel Kontrolle Nutzer darüber bekommen, was ihr digitaler Zwilling in ihrem Namen sagt und tut.