Ripple-65B: US-Startup trainiert offenes Coding-Modell für 32 Millionen Dollar

Das US-Unternehmen Ricursive Intelligence hat Ripple-65B Preview veröffentlicht, ein von Grund auf selbst trainiertes Sprachmodell mit 65 Milliarden Parametern unter der freien Apache-2.0-Lizenz. Beim Programmieren mit KI-Agenten soll es laut Hersteller US-Modelle schlagen, die bis zu 15-mal größer sind. Gekostet hat das nach eigenen Angaben nur 32 Millionen Dollar.

Modell-Releases Selbst ausprobieren 4. Nov. 2026 7 Min. Lesezeit Quelle: Reddit r/SillyTavernAI
Symbolbild, KI-generiert

Worum es geht

Das US-Unternehmen Ricursive Intelligence hat am 4. November 2026 Ripple-65B Preview veröffentlicht. Das Sprachmodell hat 65 Milliarden Parameter und wurde laut Hersteller komplett selbst trainiert. Es baut also nicht auf einem Modell von Meta, Alibaba oder einem anderen Anbieter auf. Die Gewichte liegen frei auf Hugging Face unter ricursiveAI/Ripple-65B-Preview, und zwar unter der Apache-2.0-Lizenz. Das ist eine der freizügigsten Lizenzen überhaupt: Man darf das Modell kommerziell nutzen, verändern und weitergeben. Per Programmierschnittstelle (API) ist Ripple außerdem bei Together AI, GMI Cloud und OpenRouter verfügbar. Laut dem Startup-Portal ecosistemastartup.com kam Fireworks noch am selben Tag dazu.

Ricursive sieht sich nicht als klassisches Modell-Labor. Das Unternehmen beschreibt sich als „Full-Stack-Labor“, das Hardware, Software und Modell gemeinsam optimiert und daraus sich selbst verbessernde Systeme bauen will. Ripple ist laut Ricursive die allgemeine Variante eines hauseigenen, nicht veröffentlichten Modells. Dieses steckt in einer Plattform des Unternehmens für Chipdesign.

Die Behauptung: Klein schlägt Groß beim Agenten-Coding

Ricursive bewirbt Ripple als neuen Spitzenreiter unter den offenen US-Modellen für agentisches Programmieren. Gemeint ist, dass die KI selbstständig im Terminal arbeitet, Befehle ausführt, Dateien bearbeitet und mehrstufige Aufgaben löst. Gemessen wurde das vor allem mit TerminalBench 2.1. Die vom Hersteller veröffentlichte Tabelle:

Modell Parameter TerminalBench 2.1
Ripple-65B Preview 65 Mrd. (dicht) 80,52
Reflection Beam 501 Mrd. 80,1
Meta Muse Spark Open 816 Mrd. 76,4
Thinking Machines Inkling 975 Mrd. 63,8
NVIDIA Nemotron 3 Ultra 550 Mrd. 56,4

Weitere Werte aus der Modellkarte: 79,1 auf SWE-bench Pro v2.0 Hard, 76,5 auf SWE-bench Verified und 44,3 auf DeepSWE 1.1. Alle Zahlen stammen von Ricursive selbst. Laut OrcaRouter steht in der Modellkarte eher leise der Hinweis, dass sich die Benchmark-Werte „nur schwer reproduzieren ließen“. Gemessen wurde mit maximalem Aufwand und in voller BF16-Genauigkeit. Unabhängige Nachmessungen gibt es bisher nicht.

Wie das Modell gebaut ist

Die meisten Labore setzen auf Mixture-of-Experts (MoE). Dabei rechnet pro Wort nur ein kleiner Teil des Modells, ähnlich wie in einer großen Klinik, in der nur die zuständigen Fachärzte einen Patienten sehen. Ricursive hat sich bewusst dagegen entschieden. Ripple ist ein dichtes Modell: Bei jedem Token sind alle 65 Milliarden Parameter aktiv. Als Grund nennt das Unternehmen, dass Training und Betrieb dadurch einfacher werden. So sei eine Rechenauslastung (MFU) von dauerhaft 40 Prozent möglich gewesen, mit einfacher Verteilung auf die Chips, ohne eigene Spezialprogramme für die GPUs (Kernels) und ohne Quantisierung.

Die Architektur ist „dünn und tief“: 80 Schichten bei einer Breite von 5.120. Ricursive beschreibt das Design als Schritt weg vom offenen Olmo 3 des Allen Institute for AI und hin zu einem Aufbau ähnlich wie Googles Gemma 3N. Dazu gehören:

  • mehr Attention-Köpfe als üblich. Attention ist der Mechanismus, mit dem das Modell entscheidet, welche früheren Textstellen gerade wichtig sind.
  • ein höherer Anteil an Sliding-Window-Attention. Diese Schichten schauen nur auf einen begrenzten Ausschnitt des Textes, wie ein Leser, der nur die letzten Seiten im Kopf behält. Sie sind deutlich billiger als globale Attention, die den ganzen Text betrachtet.
  • „Gated Attention“, globales NoPE (Schichten ohne Positionskodierung), Value-Residuals und eine Begrenzung von Extremwerten in den Feed-Forward-Schichten.

Vortrainiert wurde in 877.500 Schritten mit 8.000 Tokens langen Textstücken, insgesamt auf 12 Billionen Tokens. Die Daten sind fast nur englischer Text und Programmcode. Danach folgten ein Mid-Training, eine Phase für lange Texte und ein leichtes Reinforcement Learning (RL), bei dem das Modell durch Belohnung für gelöste Aufgaben lernt. Diese Phase konzentrierte sich auf agentisches Programmieren. Das Modell versteht nur Text, keine Bilder.

Billig und effizient trainiert, sagt der Hersteller

Die zweite Schlagzeile ist der Preis. Laut Ricursive hat die gesamte Entwicklung etwa 32 Millionen Dollar gekostet. Darin enthalten seien Vorversuche, Datenmischung, Evaluierung, Fehlersuche, synthetische Trainingsdaten und die finalen Trainingsläufe. Das sei rund ein Zehntel dessen, was der bisherige Spitzenreiter gekostet habe. Zum Vergleich verweist das Unternehmen auf Sam Altman, der 2023 sagte, GPT-4 habe über 100 Millionen Dollar gekostet. Über den Konkurrenten Reflection schreibt Ricursive, dieser habe laut Berichten 150 Millionen Dollar pro Monat für Rechenzeit zugesagt. TNW berichtete zudem von Compute-Deals über 6,3 Milliarden Dollar mit SpaceX und 1 Milliarde mit Nebius.

Beim RL kam Ripple nach eigenen Angaben mit 1,4 Millionen Rollouts aus, also Übungsdurchläufen, in denen das Modell eine Aufgabe versucht und bewertet wird. Das seien etwa 70-mal weniger als bei Reflection Beam. Trainingsdaten wurden nicht eingekauft, sondern mit eigenen Pipelines synthetisch erzeugt und gefiltert. Ausgangspunkt war die Versuchsreihe („Ladder“) von Olmo 3. In sechs Iterationen (v1.0 bis v1.6) habe Ricursive die Recheneffizienz beim Code-Training um bis zu das 16-Fache gesteigert, gemessen an einem kleineren Modell mit 4 Milliarden Parametern. Ecosistemastartup.com sieht darin den eigentlich übertragbaren Teil der Geschichte: erst im Kleinen billig testen und erst danach groß trainieren.

Preise, Kontext und Widersprüche

Bei Drittanbietern kostet Ripple laut OrcaRouter etwa 0,20 Dollar pro Million Eingabe-Tokens und 0,60 Dollar pro Million Ausgabe-Tokens. Zum Vergleich: Das am selben Tag freigegebene Kimi K3.1 Pro kostet 2 bzw. 10 Dollar. Ricursive selbst hat aber keine eigene Preisliste veröffentlicht. Außerdem bietet der erste gehostete Zugang nur 16.384 Tokens Kontext statt der beworbenen 1 Million. OrcaRouter merkt zudem an, dass mindestens ein Tracker das Modell fälschlich als proprietär führt.

OrcaRouter warnt auch vor einem beliebten Fehlvergleich: Ripples 80,5 auf TerminalBench 2.1 wird in Foren oft neben Kimis 65,7 auf TerminalBench 4.0 gestellt. Version 4.0 ist aber ein späterer und schwererer Test. Die beiden Zahlen lassen sich nicht vergleichen. Schon beim selben Modell und Test schwanken die Ergebnisse je nach Testumgebung um mehrere Punkte.

Was du zum Ausprobieren brauchst

In voller BF16-Genauigkeit ist das Modell rund 130 GB groß. Das passt auf keine einzelne Consumer-Grafikkarte und, anders als manche Berichte nahelegen, auch nicht ohne Weiteres in ein MacBook. Ricursive nennt als Zielgerät NVIDIA DGX Spark, einen kompakten KI-Rechner mit viel gemeinsamem Speicher. Auf zwei B200-Rechenzentrumsgrafikkarten erreicht das Modell laut Hersteller 250 Tokens pro Sekunde bei 8 parallelen Anfragen. Im Repository gibt es zusätzlich eine NVFP4-Variante, ein 4-Bit-Format für Nvidias neuere Blackwell-Generation, die den Betrieb auf kleineren Maschinen erst möglich macht.

Als grobe Faustregel brauchst du für eine 4-Bit-Fassung etwa 40 GB Grafikspeicher, also zwei Karten mit je 24 GB, eine Workstation-Karte oder einen Mac mit 64 GB oder mehr gemeinsamem Speicher. Fertige GGUF-Dateien für llama.cpp oder Ollama nennen die Quellen bisher nicht. Wer keine passende Hardware hat, kann das Modell günstig über OpenRouter oder Together AI ausprobieren. Je länger der Kontext, desto mehr Speicher wird zusätzlich gebraucht.

Einordnung

Ripple ist aus zwei Gründen interessant. Erstens kommen die stärksten offenen Modelle laut CNET derzeit aus China: DeepSeek, Kimi K3 und Qwen3.8 führen die Ranglisten von Artificial Analysis an. Ein komplett selbst trainiertes, vergleichsweise kleines US-Modell unter echter Open-Source-Lizenz ist da eine Ansage. Zweitens zeigt Ricursive, wenn die Zahlen stimmen, dass gute Agenten-Leistung nicht zwingend Milliardenbudgets und Billionen-Parameter-Modelle braucht.

Vorsicht ist trotzdem angebracht. Fast alle Zahlen stammen vom Hersteller. Die Modellkarte räumt Reproduktionsprobleme ein, und es ist eine „Preview“, also eine Vorabversion. Das Modell ist auf Englisch und Code ausgerichtet, mit Deutsch dürfte es schwächer sein. Für alle, die einen lokalen Coding-Agenten auf eigener Hardware betreiben oder ein Modell feintunen wollen, ist ein dichtes 65B-Modell unter Apache 2.0 aber ein deutlich zugänglicherer Ausgangspunkt als ein Billionen-Parameter-MoE.

Quellen

#ripple-65b#ricursive#open-weights#coding-agenten#apache-2.0
Originalquelle lesen

Selbst ausprobieren: Ripple-65B Preview

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

Ripple-65B ist vor allem als Programmier-Agent gebaut. Es kann in einem Terminal selbstständig Befehle ausführen, Code in mehreren Schritten reparieren und Software-Aufgaben abarbeiten. Laut Hersteller schlägt es auf TerminalBench 2.1 (80,52 Punkte) offene US-Modelle mit 500 bis fast 1.000 Milliarden Parametern. Diese Zahlen sind aber noch nicht unabhängig bestätigt. Das Modell versteht nur Text und keine Bilder. Trainiert wurde es überwiegend mit Englisch und Programmcode, deshalb solltest du bei deutschen Texten keine Spitzenqualität erwarten. Ein Feature mit Denkstufen wie bei großen Reasoning-Modellen hat es nicht, die Antworten fallen dadurch kürzer und günstiger aus. Weil es unter Apache 2.0 steht, eignet es sich auch gut als Grundlage für eigenes Feintuning.

Für wen lohnt es sich?

Lohnend ist Ripple für Entwickler und Bastler mit kräftiger Hardware (rund 40 GB Grafikspeicher oder mehr), die einen lokalen Coding-Agenten ohne laufende API-Kosten betreiben oder ein Modell kommerziell feintunen wollen. Wer nur eine normale Gaming-Grafikkarte mit 8 bis 16 GB hat oder vor allem deutsche Texte schreiben will, fährt mit kleineren oder mehrsprachigen Modellen besser. Testen lässt es sich günstig über OpenRouter oder Together AI.

Ideen: Was du damit anstellen kannst

Lokaler Coding-Assistent

Binde Ripple über eine lokale Schnittstelle in einen Agenten-Editor oder ein Terminal-Tool ein. Es kann dann Fehler im eigenen Projekt suchen, Tests schreiben und Korrekturen vorschlagen, ohne dass dein Code das Haus verlässt.

Skripte für den Heimserver

Lass dir Bash- oder Python-Skripte für Backups, Dateisortierung oder Systemüberwachung schreiben und schrittweise verbessern. Das Ergebnis kannst du direkt testen und das Modell mit der Fehlermeldung nachbessern lassen.

Code-Reviews in der Firma

Weil die Lizenz Apache 2.0 ist, darf das Modell auch kommerziell im eigenen Netz laufen. Es kann Pull-Requests vorab prüfen und auf mögliche Fehler hinweisen, ohne dass sensible Daten an einen Cloud-Anbieter gehen.

Basis für eigenes Feintuning

Mit der Basis-Variante kannst du das Modell auf deine eigene Codebasis oder interne Werkzeuge nachtrainieren. Heraus kommt ein spezialisierter Assistent, der deine Projektkonventionen kennt.

Altcode verstehen

Füge alten, schlecht dokumentierten Code ein und lass ihn erklären und kommentieren. Das hilft beim Einarbeiten in übernommene Projekte.

Größe64,8 Mrd. Parameter
Download130 GB (bei 100 MBit/s ca. 2,9 Std.)
Lizenzapache-2.0
ArtKI-Modell

Was dein Rechner braucht

Grafikkarte (NVIDIA) mind. 157 GB VRAMBerechnet, nicht gemessen: Die BF16-Gewichte (16 Dateien) sind zusammen 129,6 GB groß. 129,6 × 1,2 + 1 ergibt etwa 157 GB. Der Hersteller nennt als Testsystem 2× NVIDIA B200 (zusammen 384 GB). Für eine einzelne Box wie die DGX Spark (128 GB) empfiehlt er die kleinere NVFP4-Fassung. Mit mehr Speicher passen längere Texte (Kontext) und mehrere Anfragen gleichzeitig hinein.
Mac (Apple Silicon M1–M5) ab 256 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen
Speicherplatz ca. 132 GB freiModell-Download plus Programme

Das Repository enthält einen BF16-Checkpoint (rund 130 GB, nur für Rechenzentrums-GPUs oder sehr viel Speicher), eine NVFP4-Variante (4 Bit, für Nvidias Blackwell-Generation wie DGX Spark oder RTX-50-Karten) und eine Basis-Variante ohne Feinschliff, gedacht fürs eigene Training. Für den Heimgebrauch ist eine 4-Bit-Fassung sinnvoll, die grob 40 GB Speicher braucht. Fertige GGUF-Dateien nennen die Quellen bisher nicht. Ob die Community sie liefert, ist offen.

  • In voller BF16-Genauigkeit belegt das Modell rund 130 GB. Das passt weder auf eine einzelne Consumer-Grafikkarte noch ohne Quantisierung in ein MacBook.
  • Ricursive nennt NVIDIA DGX Spark ausdrücklich als Zielgerät für den lokalen Betrieb.
  • Auf zwei B200-GPUs erreicht das Modell laut Hersteller rund 250 Tokens pro Sekunde bei 8 parallelen Anfragen.
  • Die NVFP4-Variante ist für Nvidias Blackwell-Generation gedacht. Ältere Karten unterstützen dieses Format nicht nativ.
  • Mit 4-Bit-Quantisierung brauchst du grob 40 GB Grafikspeicher bzw. gemeinsamen Speicher (z. B. 2×24 GB oder ein Mac mit 64 GB+).
  • Das beworbene 1-Million-Token-Kontextfenster kostet sehr viel zusätzlichen Speicher. Lokal solltest du mit deutlich kürzerem Kontext starten.

Groß (64,8 Mrd. Parameter): braucht auch quantisiert ~40.4 GB VRAM/RAM. Colab Free (T4, 15 GB) reicht nicht.

Wie finde ich heraus, was mein Rechner hat?
  • Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
  • Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
  • Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Dieses Modell läuft mit einem eigenen Programm seiner Entwickler (allenai/olmes auf GitHub). Die Befehle unten stammen aus der Model Card und der Anleitung der Entwickler.

Windows 10 / 11

Windows 10 / 11: nicht offiziell getestet. Für Windows gibt es keine Angaben, und vLLM läuft unter Windows normalerweise nicht direkt. Besser nimmst du WSL2 (ein eingebautes Linux in Windows) und folgst dort der Linux-Anleitung. Für die meisten ist ein gemieteter Cloud-Rechner oder das Colab-Notebook des Herstellers für die NVFP4-Fassung realistischer.

  1. Voraussetzungen prüfen. Du brauchst Python 3 (nimm eine aktuelle Version wie 3.11), Git für Windows und einen aktuellen NVIDIA-Treiber. Plane etwa 140 GB freien Speicherplatz ein. Öffne die PowerShell und prüf mit den Befehlen unten, ob alles da ist.
    python --version
    git --version
    nvidia-smi
  2. Programm OLMES herunterladen. Damit holst du das Testprogramm OLMES von GitHub und wechselst in seinen Ordner.
    git clone https://github.com/allenai/olmes.git
    cd olmes
  3. Eigene Umgebung anlegen. Eine virtuelle Umgebung hält die Python-Pakete getrennt vom Rest. Meldet die PowerShell, dass Skripte gesperrt sind, gib vorher einmal „Set-ExecutionPolicy -Scope CurrentUser RemoteSigned“ ein. Wenn die Umgebung aktiv ist, steht „(.venv)“ vor der Zeile.
    python -m venv .venv
    .venv\Scripts\Activate.ps1
  4. OLMES installieren. Damit installierst du OLMES. Die Erweiterung „[gpu]“ für vLLM schlägt unter Windows wahrscheinlich fehl. Dann lässt du sie weg, und OLMES nutzt die normale Hugging-Face-Technik.
    pip install -e .
    pip install -e ".[gpu]"
  5. Installation kurz testen. Ein Probelauf mit einem winzigen Testmodell. Erscheinen eine Beispielfrage und am Ende Zahlen, funktioniert OLMES.
    olmes --task arc_challenge:mc::olmes --inspect
  6. Modell herunterladen. Damit lädst du die rund 130 GB Modelldateien herunter. Das dauert lange. Bei einem Abbruch startest du den Befehl einfach neu.
    pip install huggingface_hub
    hf download ricursiveAI/Ripple-65B-Preview
  7. Ersten Test laufen lassen. Ripple-65B beantwortet jetzt die ARC-Challenge-Fragen. Meldet das Programm eine unbekannte Architektur, häng --model-args '{"trust_remote_code": true}' an. Die Ergebnisse landen im Ordner „workspace“.
    olmes --model ricursiveAI/Ripple-65B-Preview --task arc_challenge::olmes --output-dir workspace
  8. Ergebnis. Im Ordner „workspace“ liegen die Ergebnisdateien eines ARC-Challenge-Tests. Darin steht, wie viele Wissensfragen Ripple-65B richtig beantwortet hat.

macOS

macOS: nicht offiziell getestet. Laut Hersteller ist das Modell für NVIDIA-Hardware entwickelt. vLLM-Unterstützung gibt es auf dem Mac nicht. Nur Macs mit sehr viel gemeinsamem Speicher (deutlich über 160 GB) könnten das BF16-Modell überhaupt laden, und auch das ist nicht getestet. Realistischer ist ein Cloud-Rechner oder das Colab-Notebook des Herstellers für die NVFP4-Fassung.

  1. Voraussetzungen prüfen. Du brauchst die Xcode-Kommandozeilenwerkzeuge (bringen Git mit), Python 3 und etwa 140 GB freien Speicherplatz. Öffne das Terminal. Der erste Befehl installiert die Xcode-Werkzeuge, falls sie fehlen.
    xcode-select --install
    python3 --version
    git --version
  2. Programm OLMES herunterladen. Damit holst du das Testprogramm OLMES und wechselst in seinen Ordner.
    git clone https://github.com/allenai/olmes.git
    cd olmes
  3. Eigene Umgebung anlegen. Damit legst du einen abgetrennten Bereich für die Python-Pakete an. Wenn er aktiv ist, steht „(.venv)“ vor der Zeile.
    python3 -m venv .venv
    source .venv/bin/activate
  4. OLMES installieren. Installier nur die Grundfassung. Die Erweiterung „[gpu]“ mit vLLM ist für NVIDIA-Grafikkarten gedacht und läuft auf dem Mac nicht.
    pip install -e .
  5. Installation kurz testen. Ein Probelauf mit einem winzigen Testmodell. Erscheinen eine Beispielfrage und am Ende Zahlen, funktioniert OLMES.
    olmes --task arc_challenge:mc::olmes --inspect
  6. Modell herunterladen. Damit lädst du die rund 130 GB Modelldateien herunter. Das dauert lange. Bei einem Abbruch startest du den Befehl einfach neu.
    pip install huggingface_hub
    hf download ricursiveAI/Ripple-65B-Preview
  7. Ersten Test laufen lassen. Ripple-65B beantwortet jetzt die ARC-Challenge-Fragen. Auf dem Mac kann das extrem langsam sein oder am Speicher scheitern. Bei einer Meldung über eine unbekannte Architektur hängst du --model-args '{"trust_remote_code": true}' an. Die Ergebnisse landen im Ordner „workspace“.
    olmes --model ricursiveAI/Ripple-65B-Preview --task arc_challenge::olmes --output-dir workspace
  8. Ergebnis. Im Ordner „workspace“ liegen die Ergebnisdateien eines ARC-Challenge-Tests. Darin steht, wie viele Wissensfragen Ripple-65B richtig beantwortet hat.

Linux

Linux: nicht offiziell getestet. Das Modell selbst hat keine offizielle Startanleitung. Als einziges Programm verweist die Quelle auf OLMES. Das ist ein Testprogramm, das Sprachmodelle mit Prüfungsfragen bewertet, aber kein Chatprogramm. Linux mit NVIDIA-Grafikkarten ist der naheliegendste Weg, ausdrücklich getestet ist er aber nicht. Du brauchst etwa 157 GB Grafikspeicher, also in der Praxis mehrere Rechenzentrums-Grafikkarten.

  1. Voraussetzungen prüfen. Du brauchst Python 3 (die Quelle nennt keine Version, nimm eine aktuelle wie 3.11), Git und einen aktuellen NVIDIA-Treiber mit CUDA. CUDA ist NVIDIAs Rechenschnittstelle für die Grafikkarte. Plane etwa 140 GB freien Speicherplatz für das Modell ein. Mit den Befehlen unten prüfst du, ob alles da ist. Bei nvidia-smi sollten deine Grafikkarten mit ihrem Speicher erscheinen.
    python3 --version
    git --version
    nvidia-smi
  2. Programm OLMES herunterladen. Damit holst du das Testprogramm OLMES von GitHub und wechselst in seinen Ordner. Danach gibt es einen neuen Ordner „olmes“.
    git clone https://github.com/allenai/olmes.git
    cd olmes
  3. Eigene Umgebung anlegen. Eine virtuelle Umgebung (venv) ist ein abgetrennter Bereich für Python-Pakete, damit dein restliches System sauber bleibt. Wenn sie aktiv ist, steht am Anfang der Zeile „(.venv)“.
    python3 -m venv .venv
    source .venv/bin/activate
  4. OLMES installieren. Der erste Befehl installiert OLMES. Der zweite fügt vLLM hinzu, ein schnelles Programm zum Ausführen großer Modelle auf NVIDIA-Grafikkarten. Das dauert einige Minuten. Rote Fehlermeldungen am Ende bedeuten, dass etwas schiefging.
    pip install -e .
    pip install -e ".[gpu]"
  5. Installation kurz testen. Dieser Probelauf zeigt eine Beispielfrage und rechnet mit einem winzigen Testmodell (pythia) fünf Aufgaben. Siehst du eine Frage mit Antwortmöglichkeiten und am Ende Zahlen, funktioniert OLMES.
    olmes --task arc_challenge:mc::olmes --inspect
  6. Modell herunterladen. Jetzt holst du die rund 130 GB großen Modelldateien von Hugging Face, einer Plattform für KI-Modelle. Das kann je nach Internet viele Stunden dauern. Bricht der Download ab, startest du denselben Befehl einfach noch einmal, dann macht er dort weiter.
    pip install huggingface_hub
    hf download ricursiveAI/Ripple-65B-Preview
  7. Startbefehl prüfen. Mit --dry-run zeigt OLMES nur an, was es tun würde, und rechnet noch nichts. So findest du Tippfehler, bevor die lange Rechnung startet.
    olmes --model ricursiveAI/Ripple-65B-Preview --task arc_challenge::olmes --output-dir workspace --dry-run
  8. Ersten Test laufen lassen. Jetzt beantwortet Ripple-65B die ARC-Challenge-Fragen, das sind naturwissenschaftliche Fragen aus Schulprüfungen. Mit --model-type vllm nutzt OLMES vLLM für deine Grafikkarten. Meldet das Programm eine unbekannte Modellarchitektur, häng --model-args '{"trust_remote_code": true}' an. Danach liegen die Ergebnisse im Ordner „workspace“.
    olmes --model ricursiveAI/Ripple-65B-Preview --model-type vllm --task arc_challenge::olmes --output-dir workspace
  9. Ergebnis. Im Ordner „workspace“ liegen die Ergebnisdateien eines ARC-Challenge-Tests. Darin steht, wie viele Wissensfragen Ripple-65B richtig beantwortet hat.

So geht es nach dem ersten Ergebnis weiter

  • Statt ARC Challenge kannst du andere Tests nehmen, zum Beispiel --task arc_challenge::olmes hellaswag::olmes für zwei Tests auf einmal oder --task mmlu::olmes für das große Wissens-Quiz MMLU.
  • Alle verfügbaren Tests zeigt dir „oe-eval --list-tasks“, alle Optionen „olmes --help“.
  • Hast du nur eine DGX Spark oder weniger Speicher, nimm die kleinere Fassung ricursiveAI/Ripple-65B-Preview-NVFP4. Für sie hat der Hersteller ein Colab-Notebook zum Einstieg angekündigt.
  • Wichtig: OLMES bewertet das Modell nur mit Testfragen, es ist kein Chatfenster. Für Gespräche brauchst du ein eigenes Programm. Die Quelle nennt dafür keins.

Das kannst du ausprobieren

Schreibe ein Python-Skript, das alle .jpg-Dateien in einem Ordner nach Aufnahmedatum umbenennt.
Hier ist eine Fehlermeldung aus meinem Node.js-Projekt: [Fehlermeldung einfügen]. Erkläre die Ursache und schlage eine Korrektur vor.
Erstelle ein Bash-Skript, das täglich ein Backup meines Home-Verzeichnisses als tar.gz anlegt und Backups älter als 14 Tage löscht.
Refaktoriere diese Python-Klasse so, dass sie testbar wird, und schreibe dazu passende pytest-Tests: [Code einfügen]
Plane Schritt für Schritt, wie man eine kleine Flask-App in einen Docker-Container packt, und liefere Dockerfile sowie docker-compose.yml.

Tipps für bessere Ergebnisse

  • Formuliere Programmieraufgaben möglichst auf Englisch oder mit englischen Fachbegriffen, weil das Training fast nur Englisch und Code enthielt.
  • Gib dem Modell bei Agenten-Aufgaben klare Ziele und Abbruchkriterien, etwa „Führe die Tests aus, bis alle grün sind“.
  • Starte lokal mit kleinem Kontext (z. B. 8.000–32.000 Tokens) und erhöhe ihn nur bei Bedarf, um Speicher zu sparen.
  • Teste das Modell vor dem Download über OpenRouter oder Together AI. Bei rund 0,20/0,60 Dollar pro Million Tokens ist das sehr günstig.
  • Für eigenes Feintuning ist die Basis-Variante der bessere Startpunkt als die fertig trainierte Version.

Wenn es hakt

Es ist eine Preview-Version: Fehler und Verhaltensänderungen in späteren Versionen sind wahrscheinlich.

Die Modellkarte selbst warnt, dass sich die Benchmark-Werte nur schwer reproduzieren ließen. Prüfe das Modell an deinen eigenen Aufgaben.

Das NVFP4-Format läuft nur auf neueren Nvidia-Karten (Blackwell). Auf älteren GPUs brauchst du andere Quantisierungen.

Gehostete Zugänge bieten teils nur 16.384 Tokens Kontext statt der beworbenen 1 Million.

Das Modell versteht nur Text. Bilder oder Screenshots kann es nicht auswerten.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: apache-2.0.

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.