Runway gibt Roboter-KI Praxis-1 frei: 27 Milliarden Parameter, Apache-2.0-Lizenz
Der Videospezialist Runway veröffentlicht sein Robotermodell Praxis-1 mit offenen Gewichten. Gelernt hat es vor allem aus gewöhnlichen Videos statt aus teuren Roboterdaten, und laut Runway schlägt es auf einer NVIDIA-Rangliste alle anderen offenen Modelle.
Worum es geht
Runway ist vor allem für KI-Videogeneratoren wie Gen-4.5 bekannt. Jetzt hat das Unternehmen sein erstes Robotermodell Praxis-1 für alle freigegeben. Vorgestellt hatte Runway das Modell im Herbst (laut eigener Angabe im September) als ersten sogenannten „World Action Model“. Gemeint ist ein Modell, das nicht nur vorhersagt, wie sich eine Szene verändert, sondern auch, welche Bewegungen ein Roboter ausführen soll. Seit dem 11. November 2026 stehen die Gewichte unter der Apache-2.0-Lizenz zum Download bereit, und zwar auf Hugging Face und GitHub. Zusätzlich gibt es eine gehostete Version über Runway Dev bzw. den Inferenzdienst Reactor.
Vor der Freigabe haben drei Partnerfirmen das Modell auf eigener Hardware getestet: Noble Machines auf einem laufenden Humanoiden bzw. für zweiarmige Manipulation, Standard Bots auf seinem sechsachsigen Industriearm RO1 und Ultra auf einem zweiarmigen Lagerroboter, der sich auch fortbewegen kann.
Wie Praxis-1 funktioniert
Praxis-1 ist ein Mixture-of-Experts-Diffusion-Transformer mit 27 Milliarden Parametern. Hinter dem Begriff stecken zwei Ideen. Bei Mixture of Experts (MoE) ist das Modell in viele Teilnetze („Experten“) aufgeteilt, und für jede Berechnung wird nur ein Teil davon aktiv. Wie viele Parameter pro Schritt tatsächlich rechnen, sagt Runway nicht. Diffusion heißt, dass das Modell seine Ausgabe schrittweise aus Rauschen herausarbeitet, so wie es auch Bild- und Videogeneratoren tun. Praxis-1 erzeugt dabei zwei Dinge zugleich: ein vorhergesagtes Video der nächsten Momente und die passenden Roboteraktionen.
Die Grundlage ist dasselbe großangelegte Video-Vortraining wie bei Runways allgemeinen Weltmodellen. Dazu gehören GWM-1 sowie die interaktiven Echtzeit-Modelle Solaris und GWM Worlds 2. Ein Weltmodell ist eine KI, die intern simuliert, wie sich Objekte und Umgebungen über die Zeit verhalten, etwa wie eine Hand greift oder wie eine Aufgabe auf halbem Weg aussieht.
Videos statt teurer Roboterdaten
Der Kern von Runways Ansatz: Roboter sollen nicht hauptsächlich aus Roboterdaten lernen. Solche Daten entstehen meist per Teleoperation, bei der ein Mensch den Roboter fernsteuert und jede Bewegung aufgezeichnet wird. Das ist teuer und langsam. Videos aus dem Alltag gibt es dagegen in riesigen Mengen. Runways Technikchef Kamil Sindi sagte gegenüber The Robot Report:
„Die meisten Robotersteuerungen sind durch Roboterdaten ausgebremst, die knapp und teuer zu sammeln sind. Praxis-1 lernt überwiegend aus Videos in der Außenperspektive und versteht deshalb schon, wie sich Objekte verhalten und wie Aufgaben ablaufen.“
Die Leistung steige mit der Menge an Video. Die Obergrenze hänge daher davon ab, wie viel Video das Modell sehen kann, und nicht davon, wie viele Roboter-Demonstrationen es gibt. Runway vergleicht das mit Sprachmodellen, die erst aus großen Textmengen ein allgemeines Verständnis lernen und dann spezialisiert werden.
Als Beleg nennt Runway ein Experiment, über das Robotics & Automation News berichtet. Eine Steuerung wurde mit gewöhnlichem Webvideo vortrainiert, eine andere mit teleoperierten Roboteraufnahmen. Nach dem Fine-Tuning lag der Platzierungsfehler bei 16,1 cm bzw. 16,0 cm. Laut Runway ist der Unterschied statistisch nicht signifikant. Außerdem sagten Simulationen von Robotersteuerungen im Weltmodell die realen Ergebnisse mit einer Korrelation von 0,95 voraus. Das sei günstiger als aufwendige 3D-Rekonstruktionen. Beides sind Angaben des Herstellers.
Trainiert wurde Praxis-1 laut Sindi auf Aufgaben, die vom einfachen Greifen und Ablegen, etwa einer Getränkedose, bis zu Arbeiten mit verformbaren Objekten wie dem Packen von Geschenktüten reichen. Getestet wurde es auch in unordentlichen Umgebungen, mit durchsichtigen Gegenständen und mit Gruppen ähnlich aussehender Objekte. In einer Demo läuft dieselbe Steuerung ohne neues Training sowohl in einem Studio als auch in einer normalen Küche.
Zahlen und Benchmarks
Auf NVIDIAs Rangliste RoboLab-120 ist Praxis-1 laut Runway das beste World Action Model. Es soll außerdem jedes offene VLA (Vision-Language-Action-Modell, also ein Modell, das Kamerabild und Sprachanweisung in Roboterbewegungen übersetzt) übertreffen.
| Modell | Erfolgsquote RoboLab-120 |
|---|---|
| Praxis-1 | 46,2 % |
| FLUX 3 Action | 42,9 % |
| Cosmos3 Nano | 36,8 % |
| π0.5 | 28,0 % |
Gemessen wurde über 1.200 Durchläufe. Eine Erfolgsquote von 46 % zeigt auch, dass solche Generalisten-Modelle noch weit von zuverlässiger Alltagstauglichkeit entfernt sind.
Aufschlussreicher für die Praxis ist ein zweiter Test. Runway hat Praxis-1 auf Googles Roboter RT-1 angepasst, der in den Trainingsdaten nicht vorkam. Danach erreichte es im Simulations-Benchmark SimplerEnv 80,0 % Erfolg, während die ursprüngliche RT-1-Steuerung auf 52,4 % kommt. Eine Embodiment (der konkrete Roboterkörper mit seinen Armen, Gelenken und Kameras) lässt sich laut Runway mit leichtem Fine-Tuning erschließen.
Was du zum Ausprobieren brauchst
Praxis-1 ist kein Chatbot, sondern ein Modell zur Robotersteuerung. Um es sinnvoll zu nutzen, brauchst du einen Roboter oder eine Simulationsumgebung. Runway liefert den Inferenz- und Fine-Tuning-Code mit. Auf Hugging Face wird das Modell direkt von LeRobot unterstützt, der offenen Robotik-Bibliothek von Hugging Face. Es ist außerdem in vLLM-Omni integriert. Für das Nachtrainieren gibt es Tutorials für NVIDIAs NeMo Automodel. Neben vollem Fine-Tuning wird LoRA unterstützt. Dabei werden nur kleine Zusatzmodule trainiert statt des ganzen Modells, was viel weniger Speicher und Rechenzeit braucht.
Offiziell unterstützt ist NVIDIA-Hardware: Rechenzentrums-GPUs wie H100 und B200, Workstation-Karten wie RTX 5090 (32 GB) und RTX PRO 6000 sowie das Robotermodul Jetson Thor direkt im Roboter. Konkrete Speicherangaben nennt Runway nicht. Als grobe Schätzung bräuchten die 27 Milliarden Parameter in 4-Bit-Form rund 18 GB Grafikspeicher. Offizielle quantisierte Fassungen erwähnt Runway aber nicht. Mit voller Genauigkeit ist deutlich mehr nötig, weshalb eine RTX 5090 die realistische Untergrenze ist. Zu Apple Silicon oder reinem CPU-Betrieb macht Runway keine Angaben. Wer keine passende Hardware hat, kann das Modell über Runway Dev im Browser testen.
Warum offen?
Runway hatte schon bei der Ankündigung versprochen, Praxis-1 offen zu veröffentlichen. Die Begründung ist auch politisch. Die USA bräuchten für eine Führungsrolle bei „Physical AI“, also KI, die in der physischen Welt handelt, offene amerikanische Modelle und mehr Austauschbarkeit zwischen Software und Roboterhardware. Sindi sagte, das sei entscheidend, um die Führung in der Fertigung zurückzugewinnen. Runway ist Gründungsmitglied der „Cosmos Coalition“ rund um NVIDIA, die offene Weltmodelle für Robotik voranbringen will.
Einordnung
Praxis-1 ist eines der größten frei nutzbaren Robotermodelle. Die Apache-2.0-Lizenz ist besonders großzügig und erlaubt die kommerzielle Nutzung ohne Einschränkungen. Konkurrenzmodelle wie NVIDIAs Cosmos-Reihe oder π0.5 von Physical Intelligence liegen in Runways eigener Tabelle deutlich zurück. Unabhängige Nachmessungen gibt es allerdings noch nicht, und alle Zahlen stammen vom Hersteller. Spannend ist vor allem die These, dass gewöhnliche Videos ähnlich gutes Vortraining liefern wie teure Roboterdaten. Bestätigt sie sich, würde das einen der größten Engpässe der Robotik lockern. Offen bleibt, wie sicher und zuverlässig das Modell außerhalb von Benchmarks arbeitet. Runway selbst hatte angekündigt, Wirksamkeit und Sicherheit über verschiedene Roboter hinweg zu prüfen, hat dazu aber keine Ergebnisse veröffentlicht. Für Privatanwender ohne Roboter ist das Modell vor allem ein Forschungs- und Bastelobjekt. Für Robotikfirmen und Labore ist es dagegen eine ernstzunehmende, frei anpassbare Grundlage.
Videos zum Thema
Quellen
- Google News (US) runway.com
- finance.yahoo.com finance.yahoo.com
- therobotreport.com therobotreport.com
- roboticsandautomationnews.com roboticsandautomationnews.com
Selbst ausprobieren: Praxis-1
Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.
Was kann ich damit machen?
Praxis-1 steuert Roboterarme, zweiarmige Roboter und Humanoide. Aus Kamerabildern sagt es voraus, wie sich die Szene entwickelt, und erzeugt dazu die passenden Bewegungsbefehle. Weil es vor allem aus normalen Videos gelernt hat, bringt es Vorwissen über Objekte und Abläufe mit, etwa über das Greifen einer Dose oder das Packen einer Tüte. Auf einen neuen Roboter lässt es sich per LoRA-Fine-Tuning mit vergleichsweise wenig eigenen Daten anpassen. Auf NVIDIAs RoboLab-120 liegt es laut Runway mit 46,2 % Erfolg vor FLUX 3 Action, Cosmos3 Nano und π0.5. Das heißt aber auch, dass mehr als die Hälfte der Aufgaben noch scheitert. Ohne Roboter oder Simulationsumgebung kannst du damit wenig anfangen, denn es ist kein Chat- oder Videomodell für Endnutzer.
Für wen lohnt es sich?
Lohnend ist es für Robotik-Entwickler, Forschungslabore, Hochschulen und ambitionierte Bastler mit einem Roboterarm (etwa einem LeRobot-kompatiblen Arm) oder einer Simulationsumgebung und einer starken NVIDIA-Grafikkarte. Wer nur chatten oder Videos erzeugen will oder keine NVIDIA-GPU mit viel Speicher hat, sollte das Modell höchstens über Runway Dev im Browser anschauen.
Ideen: Was du damit anstellen kannst
Bastler mit einem LeRobot-kompatiblen Arm zeichnen einige Dutzend Demonstrationen auf, etwa Bauklötze sortieren, und trainieren Praxis-1 per LoRA nach. Danach erledigt der Arm die Aufgabe auch bei leicht veränderter Anordnung.
Kleine Betriebe mit einem Industriearm können das Modell auf das Greifen und Ablegen von Bauteilen anpassen. Die Apache-2.0-Lizenz erlaubt den kommerziellen Einsatz ohne Lizenzgebühren.
Labore können Praxis-1 als Ausgangspunkt nehmen und mit eigenen Robotern vergleichen, wie gut Video-Vortraining gegenüber reinem Roboterdaten-Training abschneidet. Code und Gewichte sind vollständig offen.
In Robotik-Kursen lässt sich an Simulationsumgebungen zeigen, wie ein großes Modell auf einen fremden Roboter angepasst wird. Das Beispiel RT-1 mit 80 % Erfolg nach Fine-Tuning dient dabei als Referenz.
Entwickler von Logistikrobotern können ausprobieren, wie gut das Modell mit verformbaren Materialien wie Tüten oder Tüchern umgeht. Laut Runway ist das ein Schwerpunkt im Training.
Was dein Rechner braucht
Runway veröffentlicht einen einzelnen Checkpoint mit 27 Milliarden Parametern (MoE). Kleinere Varianten oder offizielle quantisierte Fassungen nennt die Quelle nicht. Für die Inferenz auf dem eigenen Rechner ist eine Workstation-Karte wie die RTX 5090 oder RTX PRO 6000 die vorgesehene Einstiegsklasse. Fürs Training empfehlen sich H100 oder B200 im Rechenzentrum. Direkt im Roboter läuft es auf dem Jetson Thor. Zum Anpassen auf eigene Hardware ist LoRA die sparsame Wahl, volles Fine-Tuning lohnt sich nur mit Rechenzentrums-GPUs.
- Offiziell unterstützt ist nur NVIDIA-Hardware: H100, B200, RTX 5090, RTX PRO 6000 und Jetson Thor.
- Grobe Schätzung: In 4-Bit-Form bräuchte das Modell rund 18 GB Grafikspeicher. Runway nennt aber keine offizielle quantisierte Version, mit voller Genauigkeit ist deutlich mehr nötig.
- Zu Apple Silicon, AMD-Karten oder reinem CPU-Betrieb macht Runway keine Angaben. Rechne nicht damit, dass das funktioniert.
- Ohne eigene GPU kannst du das Modell über Runway Dev oder den gehosteten Inferenzdienst Reactor ausprobieren.
- Volles Fine-Tuning eines 27-Milliarden-Modells braucht Rechenzentrums-GPUs. Mit LoRA kommst du mit deutlich weniger Speicher aus.
Wie finde ich heraus, was mein Rechner hat?
- Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
- Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
- Linux: Im Terminal
nvidia-smieingeben (zeigt Grafikkarte und Speicher) undfree -hfür den Arbeitsspeicher.
Anleitung
Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (runwayml/praxis-1-oss auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.
Windows 10 / 11
Windows 10 / 11: nicht offiziell getestet. Die Quelle beschreibt nur Linux mit CUDA 13.0. Windows wird nicht erwähnt. Teile wie der Bau von causal-conv1d, sha256sum und MUJOCO_GL=egl sind auf Linux ausgelegt. Am sichersten nutzt du WSL2 (ein Linux in Windows) mit einer NVIDIA-Karte mit 80 GB und folgst dort der Linux-Anleitung.
- Voraussetzungen prüfen. Du brauchst eine NVIDIA-Grafikkarte mit mindestens 80 GB Grafikspeicher und den Treiber für CUDA 13.0. Außerdem brauchst du das CUDA-Toolkit mit nvcc, Python 3.12, Git und gut 130 GB freien Platz. Zum Bauen von Paketen sind unter Windows meist auch die Visual-Studio-Build-Tools nötig. Öffne die PowerShell und installiere uv.
nvidia-smi nvcc --version pip install uv - Programm herunterladen. Damit lädst du den Code herunter und wechselst in den Ordner praxis-1.
git clone https://github.com/runwayml/praxis-1-oss.git praxis-1 cd praxis-1 - Umgebung anlegen. Damit legst du eine abgetrennte Python-Umgebung an und aktivierst sie. Danach steht (.venv) vor der Eingabezeile. Meldet PowerShell, dass Skripte gesperrt sind, gib vorher Set-ExecutionPolicy -Scope CurrentUser RemoteSigned ein.
uv venv --python 3.12 .venv .venv\Scripts\Activate.ps1 - PyTorch installieren. PyTorch passend zu CUDA 13.0. Der Download ist mehrere GB groß.
uv pip install torch==2.13.0 torchvision==0.28.0 --index-url https://download.pytorch.org/whl/cu130 uv pip install packaging ninja wheel - causal-conv1d bauen. Dieses Paket wird aus dem Quellcode gebaut. Unter Windows kann das scheitern. Klappt es nicht, wechsle zu WSL2.
$env:CAUSAL_CONV1D_FORCE_BUILD="TRUE"; $env:MAX_JOBS="16" uv pip install --no-build-isolation --no-cache causal-conv1d==1.6.1 - Praxis und Zusatzpakete installieren. Damit installierst du Praxis, die Simulation, FlashAttention und die feste cuDNN-Version. Der Test am Ende sollte „causal-conv1d OK“ ausgeben.
uv pip install -e packages/praxis-sim -e ".[kernels]" "imageio>=2.30" "imageio-ffmpeg>=0.4" uv pip install "flash-attn-4[cu13]==4.0.0b36" uv pip install --no-deps nvidia-cudnn-cu13==9.24.0.43 python -c "import torch, causal_conv1d_cuda; print('causal-conv1d OK')" - Anmelden und Modelle herunterladen. Melde dich mit deinem Hugging-Face-Token an. Lade dann den VAE, den Text-Encoder und die YAM-Gewichte (54,4 GB). Die Prüfsummen-Kontrolle mit sha256sum gibt es unter Windows nicht von Haus aus. In WSL2 funktioniert sie.
hf auth login hf download Wan-AI/Wan2.2-TI2V-5B Wan2.2_VAE.pth --local-dir weights hf download Qwen/Qwen3.5-2B --local-dir weights/Qwen3.5-2B hf download runwayml/praxis-1-yam --local-dir checkpoints/praxis-1-yam - Test in der Simulation. Zum Testen dient das Einarm-Modell praxis-1-droid in der Simulation. Die Einstellung MUJOCO_GL=egl ist für Linux gedacht und läuft unter Windows eventuell nicht. Klappt es, öffnest du http://localhost:8000 im Browser.
hf download runwayml/praxis-1-droid --local-dir checkpoints/praxis-1-droid $env:MUJOCO_GL="egl" python scripts/run_sim.py --config configs/sim_droid.yaml --set task.name=block_in_bowl --set task.prompt=null --set viewer.host=0.0.0.0 - Ergebnis. Die Simulation spielt drei Durchläufe der Aufgabe „block_in_bowl“ ab, die du live auf einer Webseite an Port 8000 siehst. Die Videos landen im Ordner outputs/sim_droid. Die YAM-Gewichte liegen geprüft in checkpoints/praxis-1-yam und sind bereit für den Roboter-Server.
macOS
macOS: nicht unterstützt. Laut Quelle braucht Praxis-1 eine CUDA-Grafikkarte von NVIDIA mit mindestens 80 GB. Macs haben kein CUDA. Als Ausweg bleibt ein gemieteter Cloud-Rechner mit H100 unter Linux.
Linux
Linux: unterstützt. Linux mit einer NVIDIA-Grafikkarte mit 80 GB (z. B. H100) und CUDA 13.0 ist der offiziell beschriebene Weg. Praxis-1-YAM steuert einen echten Roboter mit zwei YAM-Armen. Ohne diesen Aufbau kannst du die Installation nur mit der DROID-Simulation aus dem Quick Start testen.
- Voraussetzungen prüfen. Du brauchst Linux und eine NVIDIA-Grafikkarte mit mindestens 80 GB Grafikspeicher. Außerdem brauchst du den NVIDIA-Treiber für CUDA 13.0 und das CUDA-Toolkit mit dem Compiler nvcc, denn ein Paket wird aus dem Quellcode gebaut. Dazu kommen Python 3.12, Git und gut 130 GB freier Speicherplatz für alle Gewichte. Das Werkzeug uv installiert Python-Pakete schnell; du holst es mit dem Befehl unten.
nvidia-smi nvcc --version pip install uv - Programm herunterladen. Damit lädst du den offiziellen Code von Runway herunter und wechselst in den neuen Ordner praxis-1. Alle weiteren Befehle führst du in diesem Ordner aus.
git clone https://github.com/runwayml/praxis-1-oss.git praxis-1 && cd praxis-1 - Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Ordner nur für die Pakete dieses Projekts. Vor deiner Eingabezeile steht danach (.venv). Wenn du ein neues Terminal öffnest, musst du sie mit der zweiten Zeile wieder aktivieren.
uv venv --python 3.12 .venv . .venv/bin/activate - PyTorch installieren. PyTorch ist die Grundlage für KI-Modelle. Diese Version ist genau auf CUDA 13.0 abgestimmt. Der Download ist mehrere GB groß.
uv pip install torch==2.13.0 torchvision==0.28.0 --index-url https://download.pytorch.org/whl/cu130 uv pip install packaging ninja wheel - causal-conv1d bauen. Für dieses Paket gibt es keine fertige Version, deshalb wird es mit nvcc auf deinem Rechner gebaut. Das kann eine Weile dauern. MAX_JOBS=16 heißt: 16 Teile werden gleichzeitig gebaut, und jeder braucht etwa 1 GB Arbeitsspeicher. Hast du wenig RAM, nimm eine kleinere Zahl.
CAUSAL_CONV1D_FORCE_BUILD=TRUE MAX_JOBS=16 \ uv pip install --no-build-isolation --no-cache causal-conv1d==1.6.1 - Praxis und Zusatzpakete installieren. Diese Befehle installieren Praxis selbst, die Simulation, FlashAttention und die passende cuDNN-Version. Die cuDNN-Zeile musst du nach jeder Installation wiederholen, die PyTorch neu auflöst. Der letzte Befehl ist ein Test: Steht dort „causal-conv1d OK“, hat alles geklappt.
uv pip install -e packages/praxis-sim -e ".[kernels]" "imageio>=2.30" "imageio-ffmpeg>=0.4" uv pip install "flash-attn-4[cu13]==4.0.0b36" uv pip install --no-deps nvidia-cudnn-cu13==9.24.0.43 python -c "import torch, causal_conv1d_cuda; print('causal-conv1d OK')" - Bei Hugging Face anmelden. Die Gewichte kommen von Hugging Face. Dafür brauchst du ein kostenloses Konto und einen Zugangsschlüssel (Token), den du in deinen Kontoeinstellungen erzeugst. Den Token fügst du einmal ein, wenn der Befehl danach fragt.
hf auth login - Modelle herunterladen. Zuerst holst du den Video-Autoencoder (VAE) und den Text-Encoder Qwen3.5-2B. Beide werden immer gebraucht. Danach lädst du die YAM-Gewichte (54,4 GB). Am Ende prüfst du die Prüfsummen. Steht dort „checkpoint OK“, sind die Dateien vollständig.
hf download Wan-AI/Wan2.2-TI2V-5B Wan2.2_VAE.pth --local-dir weights hf download Qwen/Qwen3.5-2B --local-dir weights/Qwen3.5-2B hf download runwayml/praxis-1-yam --local-dir checkpoints/praxis-1-yam (cd checkpoints/praxis-1-yam && sha256sum -c --quiet SHA256SUMS && echo "checkpoint OK") - Test in der Simulation. Für YAM gibt es keine Simulation, nur einen echten Roboter. Zum Testen nimmst du daher das Einarm-Modell praxis-1-droid aus dem offiziellen Quick Start. Es ist noch einmal etwa 54 GB groß. Danach öffnest du im Browser http://localhost:8000 und siehst die drei Durchläufe live. Die Videos landen in outputs/sim_droid.
hf download runwayml/praxis-1-droid --local-dir checkpoints/praxis-1-droid (cd checkpoints/praxis-1-droid && sha256sum -c --quiet SHA256SUMS && echo "checkpoint OK") MUJOCO_GL=egl python scripts/run_sim.py --config configs/sim_droid.yaml \ --set task.name=block_in_bowl --set task.prompt=null --set viewer.host=0.0.0.0 - Ergebnis. Die Simulation spielt drei Durchläufe der Aufgabe „block_in_bowl“ ab, die du live auf einer Webseite an Port 8000 siehst. Die Videos landen im Ordner outputs/sim_droid. Die YAM-Gewichte liegen geprüft in checkpoints/praxis-1-yam und sind bereit für den Roboter-Server.
So geht es nach dem ersten Ergebnis weiter
- Für den echten YAM-Roboter (zwei YAM-Arme, eine Top-Kamera, zwei Handgelenk-Kameras) startest du den Policy-Server mit configs/serve_yam.yaml. Die genauen Schritte stehen im Abschnitt „Bimanual rig“ der README und in praxis/serve/README.md. Dafür brauchst du zusätzlich das Extra „serve“.
- Schreib Aufgaben so, wie das Modell trainiert wurde: auf Englisch und ohne Schlusspunkt, z. B. „Pick up the pen from the center of the table, then place the pen in the bag“.
- Mit --set task.name=… kannst du in der Simulation andere Aufgaben ausprobieren. Wie du ein Modell auf den simulierten Aufgaben bewertest, steht in praxis/sim/EVAL.md.
- Hast du eine RTX 5090 oder RTX PRO 6000 Blackwell, kannst du den experimentellen Modus --set model.routed_precision=nvfp4 testen (Extra „nvfp4“). Er ist noch nicht gründlich geprüft und verändert die Aktionen.
Das kannst du ausprobieren
Greif die Getränkedose auf dem Tisch und stell sie in die Kiste rechts.Leg den roten Würfel auf den blauen Würfel.Nimm das durchsichtige Glas vorsichtig vom Regal und stell es neben das Waschbecken.Sortier die drei gleich aussehenden Becher nach Größe von links nach rechts.Falte das Handtuch einmal und pack es zusammen mit der Flasche in die Geschenktüte.Tipps für bessere Ergebnisse
- Starte mit LoRA statt mit vollem Fine-Tuning. Laut Runway reicht leichtes Nachtrainieren, um das Modell an neue Roboter anzupassen.
- Nutze die NeMo-Automodel-Tutorials von NVIDIA als Vorlage für das Nachtrainieren auf eigene Aufgaben.
- Teste neue Aufgaben zuerst in der Simulation (etwa SimplerEnv), bevor du einen echten Roboter fahren lässt.
- Fange mit einfachen Greif-und-Ablege-Aufgaben an und steigere dich erst danach zu verformbaren oder durchsichtigen Objekten.
- Achte auf gleichbleibende Kamerapositionen zwischen Trainingsdaten und Einsatz, denn das Modell wird auf deine Kameras angepasst.
Wenn es hakt
Ohne Roboter oder Simulationsumgebung bringt das Modell wenig. Plane vorher eine LeRobot- oder SimplerEnv-Umgebung ein.
Ob und wie das Modell Sprachanweisungen entgegennimmt, beschreibt Runway nicht im Detail. Prüfe das Format der Eingaben im GitHub-Code und auf der Hugging-Face-Modellseite.
Auf einem neuen Roboterkörper (andere Arme, Kameras, Gelenke) funktioniert das Modell erst nach einem Fine-Tuning zuverlässig. Plane dafür eigene Demonstrationsdaten ein.
Für die Nutzung mit LeRobot oder vLLM-Omni brauchst du aktuelle Versionen dieser Bibliotheken, da die Unterstützung neu ist.
Sicherheit: Eine Erfolgsquote von rund 46 % im Benchmark bedeutet viele Fehlversuche. Teste echte Roboter nur mit Not-Aus, langsamen Geschwindigkeiten und ohne Menschen im Arbeitsbereich.
„out of memory“, Absturz oder der Rechner hängt
Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.
Es läuft, aber extrem langsam
Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.
„ollama“ bzw. „python“ wird nicht gefunden
Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.
Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“
Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.
Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)
Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.
Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.