miHoYo stellt KI „Gamer“ vor: Sie spielt Honkai: Star Rail mit Maus und Tastatur

Das KI-Team hinter der Honkai-Spielereihe von miHoYo hat ein Modell gezeigt, das Videospiele wie ein Mensch spielt: Es schaut nur auf den Bildschirm und steuert Maus und Tastatur. In 40 unbekannten Minispielen hat es im Schnitt knapp die Hälfte der Aufgaben geschafft. Die Forscher betonen, dass es nicht als Cheat-Werkzeug gedacht ist.

Forschung 17. Nov. 2026 5 Min. Lesezeit Quelle: ITHome (CN)
Symbolbild, KI-generiert

Worum es geht

miHoYo, der chinesische Spieleentwickler hinter Genshin Impact und der Honkai-Reihe, hat ein KI-Modell namens „Gamer“ vorgestellt. Entwickelt hat es das KI-Forschungsteam der Honkai-Reihe. Laut dem chinesischen Techportal ITHome soll das Modell 3D- und 2D-Spiele selbstständig spielen können, und zwar so wie ein Mensch: Es sieht nur das Bild auf dem Monitor und bedient Tastatur und Maus. Gezeigt wurde das am Beispiel von Honkai: Star Rail, einem der erfolgreichsten Spiele des Unternehmens. Es gibt ein Forschungspapier und eine Projektseite. Die Ergebnisse stammen bisher allein von miHoYo, unabhängige Tests liegen noch nicht vor.

Technisch ist Gamer ein sogenanntes Vision-Language-Action-Modell (VLA). Das ist eine KI, die Bilder versteht, Sprache verarbeitet und daraus Handlungen ableitet. Solche Modelle kennt man vor allem aus der Robotik. Dort steuern sie anhand von Kamerabildern einen Greifarm. Bei Gamer kommt das Bild aus dem Spiel, und die „Arme“ sind Maus und Tastatur.

Wie Gamer spielt

Das Modell braucht keinen Einblick in das Innere des Spiels. Es liest weder Speicherinhalte noch Spielzustände aus und nutzt keine spielspezifische API, also keine Programmierschnittstelle, über die eine Software direkt mit dem Spiel reden könnte. Gamer sieht nur das, was auch ein menschlicher Spieler sieht.

Das Spielbild nimmt Gamer fünfmal pro Sekunde (5 Hz) auf. Daraus erzeugt es Steuerbefehle in einer Auflösung, die 30 Hz entspricht. Gemeint sind echte Tastenzustände (gedrückt oder nicht gedrückt) und Mausbewegungen. Das Modell plant also zwischen zwei Bildern mehrere kleine Eingaben voraus, ähnlich wie ein Mensch, der nicht nach jedem Blinzeln neu entscheidet, sondern Bewegungen flüssig ausführt.

Weil dieser Ansatz auf Bildschirm, Maus und Tastatur beschränkt ist, lässt er sich im Prinzip auf viele Spiele übertragen. Darin liegt der Unterschied zu klassischen Spiel-Bots, die meist für genau ein Spiel gebaut werden und dessen interne Daten nutzen.

Training und Technik

Lange Spielsitzungen sind für KI-Modelle schwierig. Je länger eine Aufgabe dauert, desto mehr Bildverlauf muss das Modell im Speicher halten, und desto langsamer antwortet es. Spiele verlangen aber schnelle Reaktionen. Für beide Probleme, den begrenzten Speicher und die Verzögerung, hat das Team laut ITHome mehrere Bausteine kombiniert:

  • Fortgesetztes Vortraining mit mehr als 10.000 Stunden aufgezeichneter Maus- und Tastatureingaben aus verschiedenen Spielen. Das Modell sieht dabei, welche Eingaben Menschen in welcher Situation machen.
  • Feinabstimmung mit „spärlichen Denkanweisungen“ (Sparse Thinking Instruction Fine-Tuning). Das Modell lernt, nur gelegentlich ausdrücklich „nachzudenken“ und nicht vor jeder Eingabe lange zu überlegen. Das spart Rechenzeit.
  • Zeitbewusstes Reinforcement Learning, also Lernen durch Belohnung: Das Modell probiert Dinge aus und wird für Erfolge belohnt. „Zeitbewusst“ bedeutet hier, dass dabei auch der zeitliche Ablauf der Handlungen berücksichtigt wird.

Dazu kommt eine eigens entwickelte Inferenz-Engine namens „Streaming-vLLM“. Inferenz-Engines sind die Software, die ein fertiges Modell ausführt. Der Name verweist auf vLLM, ein verbreitetes Open-Source-Programm dafür, das hier für den laufenden Bildstrom angepasst wurde. Auf einer Nvidia H200, einer Rechenzentrums-GPU, sinkt die Verzögerung zwischen Anfrage und Antwort damit laut Team von 1306 auf 65,12 Millisekunden. Das ist etwa ein Zwanzigstel. Erst mit dieser Geschwindigkeit wird flüssiges Spielen in Echtzeit überhaupt möglich.

Was das Modell schafft

In Demo-Videos aus Honkai: Star Rail erledigt Gamer Hauptmissionen, erkundet die Umgebung und löst Rätsel. Messbare Zahlen gibt es aus einem anderen Test: Die mit Reinforcement Learning trainierte Variante Gamer-RL kam bei 40 Minispiel-Aufgaben, die sie vorher nie gesehen hatte, auf eine durchschnittliche Erfolgsquote von 49,7 Prozent. Laut Team liegt sie damit vor allgemeinen Modellen, die nicht speziell feinabgestimmt wurden.

Kennzahl Wert
Bildeingabe 5 Hz
Ausgabe (Tastatur/Maus) entspricht 30 Hz
Trainingsdaten über 10.000 Stunden Maus- und Tastaturaufzeichnungen
Antwortzeit ohne / mit Streaming-vLLM (H200) 1306 ms / 65,12 ms
Erfolgsquote Gamer-RL (40 unbekannte Minispiele) 49,7 %

Die Quelle nennt weder die Größe des Modells noch die genauen Vergleichsmodelle oder die Art der Minispiele. Knapp 50 Prozent heißt auch: Etwa jede zweite unbekannte Aufgabe scheitert noch.

Sorge vor Cheats und was veröffentlicht wird

Eine KI, die Spiele über Bildschirm, Maus und Tastatur steuert, lässt sich auf den ersten Blick kaum von einem Menschen unterscheiden. Das hat die Sorge ausgelöst, die Technik könnte für Cheats und automatisierte Bots missbraucht werden, etwa zum „Farmen“ von Ressourcen. Die Forscher stellen Gamer deshalb ausdrücklich als akademisches Forschungsprojekt zu allgemeinen KI-Agenten in interaktiven Umgebungen dar. Als mögliche Einsatzgebiete nennen sie:

  • Spieletests: Die KI spielt Levels automatisch durch und findet Fehler.
  • Barrierefreiheit: Menschen, die Maus und Tastatur nicht gut bedienen können, bekommen Unterstützung.
  • Forschung zur Mensch-Computer-Interaktion.

Das Team schreibt, es unterstütze den Einsatz für Cheats, unbefugten Zugriff, das Ausnutzen von Sicherheitslücken und alles, was Nutzern schadet oder die Fairness im Spiel untergräbt, ausdrücklich nicht.

Aus Gründen der Datensicherheit veröffentlicht miHoYo zunächst nur allgemeine Dateien aus der frühen Phase des Vortrainings. Trainingsdaten aus Honkai: Star Rail gibt es nicht, und auch keine Modellgewichte, die mit Daten aus dem Spiel trainiert oder feinabgestimmt wurden. Das Modell aus den Star-Rail-Demos kann man also nicht herunterladen und selbst ausführen.

Einordnung

Gamer gehört zu einem wachsenden Forschungsfeld: allgemeine Agenten, die Software so bedienen wie Menschen, also nur mit Bildschirm, Maus und Tastatur. Ähnliche Ansätze gibt es bei Computer-Use-Agenten für Büroanwendungen und bei Spiele-Agenten anderer Labore. Bemerkenswert ist hier, dass ein großer Spielehersteller mit eigenen Spieldaten forscht und dass das Team die Verzögerung so stark gedrückt hat. 65 Millisekunden liegen im Bereich menschlicher Reaktionszeiten, allerdings auf teurer Rechenzentrumshardware.

Für miHoYo selbst liegt automatisiertes Testen nahe. Große Live-Service-Spiele wie Star Rail bekommen ständig neue Inhalte, und jede neue Mission muss jemand durchspielen. Eine KI, die das erledigt, würde Kosten sparen.

Vorsichtig sollte man mit den Zahlen sein. Alle Werte stammen vom Hersteller. Die Erfolgsquote von 49,7 Prozent zeigt, dass das Modell bei neuen Aufgaben noch oft scheitert. Und weil die Star-Rail-Gewichte unter Verschluss bleiben, können Außenstehende die Demos kaum überprüfen. Die Missbrauchsgefahr bleibt trotz der Distanzierung ein Thema: Je besser solche Agenten werden, desto schwerer lassen sie sich mit klassischen Anti-Cheat-Methoden erkennen, die oft auf Eingriffe in den Spielspeicher achten.

Quellen

#mihoyo#ki-agenten#gaming#vla#reinforcement learning
Originalquelle lesen

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.