Qwenputer: Ein RISC-V-Prozessor läuft direkt in den Gewichten von Qwen 3.5

Worum es geht

Unter dem Namen Qwenputer hat der Entwickler Divyansh Agrawal ein ungewöhnliches Experiment veröffentlicht: ein unverändertes Qwen 3.5 4B (ein Sprachmodell mit rund 4 Milliarden Parametern, also gelernten Stellschrauben), in dessen Gewichte eine funktionierende 32-Bit-RISC-V-CPU hineinkompiliert wurde. RISC-V ist eine offene Prozessor-Architektur. Die CPU läuft vollständig innerhalb der Vorwärtsdurchläufe des Modells und kann Arithmetik sowie C- und MicroPython-Code ausführen – ohne externes Programm, Tool oder Sandbox. Das Modell ist auf Hugging Face und ModelScope verfügbar, der Code auf GitHub.

Der Trick: Gated DeltaNet als exakter Arbeitsspeicher

Qwen3-Next und Qwen 3.5 nutzen in drei von vier Attention-Schichten Gated DeltaNet, eine lineare RNN (ein Netz mit einem fortlaufenden Gedächtniszustand) als Aufmerksamkeitsmechanismus. Jeder Kopf hält eine Zustandsmatrix als Gedächtnis. Setzt man das Gate (steuert das Vergessen) auf 1, die Schreibstärke beta auf 1 und verwendet One-Hot-Schlüssel (ein Vektor mit genau einer 1, der wie eine Speicheradresse auf eine Zeile zeigt), überschreibt jeder Schreibvorgang genau eine Zeile und jede Abfrage liefert den exakten Wert zurück. So werden die Schichten zu echtem RAM. Dessen Größe bleibt, anders als der KV-Cache normaler Attention, unabhängig von der Gesprächslänge gleich. Dass die Delta-Regel als Speicher taugt, zeigten schon Schlag et al. (2021); neu ist laut Autor, sie exakt und adressierbar in einem Produktionsmodell zu machen.

Eine CPU ohne Training

Ein Compiler setzt jedes Gewicht direkt. Die CPU wird als Schaltung beschrieben (Register lesen, addieren, bedingt springen), und jeder Schritt wird zu einem Teil einer Transformer-Schicht: Attention-Köpfe schlagen nach, Feed-Forward-Einheiten rechnen, DeltaNet-Köpfe halten den RAM. Jede Instruktion entspricht wenigen erzeugten Tokens (ADDR, VAL, STEP); diese Tokens sind der Ausführungsverlauf der CPU.

Die CPU implementiert RV32IM plus Zba-Erweiterung und eine kleine Bignum-Einheit für große Zahlen und belegt 11 Schichten vor Qwens 32. Sie besteht die offiziellen riscv-tests, ihre Programme stimmen mit dem Emulator qemu überein, und sie führte 18 Millionen Instruktionen ohne einen Fehler aus. Sie ist noch keine Linux-taugliche CPU. Qwens Originalgewichte bleiben unverändert, die Computer-Gewichte sitzen in zusätzlichen Dimensionen und Schichten. Qwen nutzt die CPU ohne Nachtraining, indem es das bekannte Tool-Call-Format verwendet; ein kleiner Treiber namens RvChat lädt die Firmware in den DeltaNet-Zustand.

Messwerte

Bei NUPA (lange Ganzzahlarithmetik) steigt Qwenputer von 48,6 % auf 100 %, gleichauf mit Python-Tool. Rund 230.000 Ausgabepositionen wurden gegen eine Referenzmaschine geprüft, ohne Abweichung. Normaler Text bleibt nahe am Basismodell (KL 6e-4 bei einem Rauschboden von 5e-4).

Ein Dateisystem im Modell

Zusätzlich gibt es ein experimentelles Dateisystem mit den Operationen put, append, get, list und delete. Dateinamen werden auf eines von 1.024 Verzeichnis-Slots gehasht, der Text liegt in anderen Köpfen, acht Tokens pro Zeile. Es fasst bis zu 512 Dateien, etwa 53.000 Tokens Text. Der Zustand lässt sich speichern und in ein neues Gespräch laden. Geänderte Fakten gibt Qwen damit in 90 % der Fälle richtig wieder, gegenüber 30 %, wenn man alte Chats einfügt; Python-basierte Memory-Tools erreichen 83,3 % gegenüber 78,9 % (so im Original angegeben). Der Code liegt auf dem Branch rv-store.

Was du zum Ausprobieren brauchst

• Eine einzelne GPU mit 24 GB VRAM.
• Der Checkpoint ist 18,8 GB groß (etwa doppelt so groß wie Basis-Qwen, größtenteils Nullen als Padding), plane also gut 20 GB Speicherplatz ein.
• Werkzeuge: uv und die Hugging-Face-CLI; Linux/Python-Umgebung.
• Eine Live-Demo gibt es auf ModelScope. Der Autor testete den Durchsatz auf einer L4-GPU (etwa 3.200 CPU-Tokens pro Sekunde).
• Auf CPU oder Mac ist das nicht angegeben.

Grenzen

Es ist ein Experiment. Es braucht den Treiber RvChat und läuft noch nicht mit einem einfachen generate()-Aufruf. Es ist langsam, da jede CPU-Instruktion mehrere Tokens kostet; große Rechnungen dauern Sekunden statt Millisekunden. Als Nächstes plant der Autor, dass Qwen Python schreibt und auf dem MicroPython in den eigenen Gewichten ausführt, sowie eine schnellere CPU. Zwei Folgeartikel behandeln KI-Sicherheit: wie Hybridmodelle ihr Denken im RNN-Zustand verstecken und CoT-Überwachung umgehen könnten, und wie kompilierte Gewichte als nicht abschaltbare Monitore dienen könnten.

Einordnung

Qwenputer zeigt, dass ein Sprachmodell exakte, deterministische Berechnungen intern ausführen kann – ein Ansatz, der Tool-Calling teils überflüssig machen könnte. Praktisch ist es noch langsam und sperrig, und alle Zahlen stammen vom Autor selbst, nicht aus unabhängiger Prüfung. Die Benchmarks sind auf Arithmetik beschränkt, wo Python-Tools schon perfekt funktionieren. Spannend ist vor allem die Forschungsperspektive: exakte Kontrolle über den RNN-Zustand als Testbett für Interpretierbarkeit und Sicherheit.