Alte PS4 als KI-Rechner: Qwen3.5-9B läuft offline mit bis zu 39 Token pro Sekunde
Mit dem Open-Source-Projekt Garlic LLM wird eine über zehn Jahre alte PlayStation 4 zum Offline-Chatbot. Ein Hobby-Entwickler bringt das Sprachmodell Qwen3.5-9B samt Spracherkennung und Sprachausgabe direkt auf die Konsolen-GPU. Dafür hat er die GPU-Programmierung weitgehend selbst geschrieben.

Worum es geht
Die PlayStation 4 kam 2013 auf den Markt und gilt technisch längst als veraltet. Der Entwickler Leonardo Alegría hat jetzt trotzdem einen KI-Chatbot darauf zum Laufen gebracht. Sein Open-Source-Projekt heißt Garlic LLM und führt das Sprachmodell Qwen3.5-9B von Alibaba mit 9 Milliarden Parametern direkt auf der Grafikeinheit (GPU) einer gewöhnlichen PS4 aus. Es braucht keinen Cloud-Server, keinen zusätzlichen PC und kein auf der Konsole installiertes Linux. Laut Entwickler erzeugt die Konsole dabei 31 bis 39 Token pro Sekunde. Token sind Wortteile, aus denen ein Sprachmodell seine Antworten zusammensetzt. Bei Programmieraufgaben hat er sogar bis zu 43 Token pro Sekunde gemessen. Das ist schneller, als die meisten Menschen lesen.
Berichtet hat darüber das deutsche Gaming-Portal Fragster. Garlic LLM wird als Homebrew-Paket installiert, also als inoffizielle, selbst entwickelte Software, die nicht über den PlayStation Store kommt.
Was die PS4 damit kann
Nach der Installation arbeitet die Konsole als Chatbot. Garlic versteht nicht nur getippte Texte. Das System erkennt auch gesprochene Sprache, liest Antworten vor und kann Python-Code schreiben und ihn direkt auf der Konsole ausführen. Für Sprache bringt das Projekt zwei weitere Modelle mit. Die Spracherkennung übernimmt Parakeet TDT 0.6B v3 von Nvidia, die Sprachausgabe (Text-to-Speech, also die Umwandlung von Text in gesprochene Sprache) das Modell Chatterbox. Unterstützt werden unter anderem Deutsch, Englisch, Spanisch, Französisch, Italienisch, Portugiesisch und Russisch.
Nach der Installation läuft alles offline. Es gibt keine Verbindung zu OpenAI, Google, Anthropic oder Alibaba, und keine Daten verlassen die Konsole.
Das Speicherproblem: 9 Milliarden Parameter in 8 GB
Die größte Hürde war der Speicher. Die PS4 hat insgesamt 8 GB GDDR5-Speicher, den sich Prozessor (CPU) und Grafikeinheit teilen. Auch das Betriebssystem und die Garlic-Software selbst brauchen davon einen Teil. In normaler Genauigkeit wäre ein Modell mit 9 Milliarden Parametern deutlich zu groß.
Alegría setzt deshalb auf aggressive Quantisierung. Dabei werden die Zahlen des Modells gröber gespeichert, ähnlich wie ein Foto, das man mit weniger Farbabstufungen abspeichert, damit die Datei kleiner wird. Die meisten Werte liegen mit 4 Bit vor. Einige große MLP-Matrizen sind sogar auf 3 Bit verkleinert. MLP-Matrizen sind die umfangreichen Rechenblöcke in jeder Schicht des Modells, die einen großen Teil des Speichers belegen. So schrumpft das Modell auf etwa 4,5 GiB.
Trotzdem bietet Garlic ein Kontextfenster von rund 16.384 Token. So viel Text kann das Modell gleichzeitig im Blick behalten, also Gesprächsverlauf, Eingaben und Antworten. Das reicht für längere Unterhaltungen, Übersetzungen oder kleinere Programmieraufgaben. Moderne Cloud-Modelle schaffen ein Vielfaches davon. Für Hardware von 2013 ist es trotzdem beachtlich.
GPU-Ansteuerung von Hand geschrieben
Technisch am ungewöhnlichsten ist, wie das Projekt umgesetzt ist. Auf einer PS4 gibt es keine der üblichen KI-Werkzeuge. Nvidias CUDA, eine Programmierschnittstelle, auf der die meisten KI-Programme aufbauen, fehlt ebenso wie gängige Machine-Learning-Laufzeitumgebungen. Alegría schrieb deshalb eigene GPU-Kernels in OpenCL C. Kernels sind kleine Rechenprogramme, die direkt auf der Grafikeinheit laufen. Zusätzlich steuert Garlic die AMD-GPU der Konsole, die auf der GCN-Architektur aufbaut, mit handgeschriebenen PM4-Command-Packets. Das sind Befehle auf sehr niedriger Ebene, mit denen man einer AMD-Grafikeinheit direkt sagt, was sie tun soll. Auf einem normalen PC übernehmen das Treiber und Frameworks. Garlic umgeht diese Infrastruktur also weitgehend.
Der Geschwindigkeitstrick: Speculative Decoding
Die Quantisierung allein erklärt die Geschwindigkeit nicht. Entscheidend ist Speculative Decoding, auf Deutsch etwa spekulatives Dekodieren. Qwen3.5 hat einen eingebauten Multi-Token-Prediction-Head. Das ist ein Zusatzbaustein, der mehrere wahrscheinliche nächste Token auf einmal vorschlägt. Das Hauptmodell prüft diese Vorschläge dann in einem gemeinsamen Durchgang, statt jedes Token einzeln zu berechnen. Liegen die Vorschläge richtig, spart das viel Zeit. Laut Entwickler stieg das Tempo dadurch von etwa 22 auf 31 bis 39 Token pro Sekunde. Code profitiert besonders, weil er oft vorhersehbare Muster enthält.
| Messwert | Angabe laut Entwickler |
|---|---|
| Modell | Qwen3.5-9B |
| Modellgröße nach Quantisierung | ca. 4,5 GiB |
| Speicher der PS4 | 8 GB GDDR5 (CPU und GPU gemeinsam) |
| Tempo ohne Speculative Decoding | ca. 22 Token/s |
| Tempo mit Speculative Decoding | 31–39 Token/s |
| Spitze bei Code-Aufgaben | bis 43 Token/s |
| Kontextfenster | ca. 16.384 Token |
| Installationspaket | ca. 5,66 GB |
Was du zum Ausprobieren brauchst
So einfach wie eine App aus dem Store ist Garlic nicht. Du brauchst eine modifizierte PS4, auf der GoldHEN läuft. GoldHEN ist ein Homebrew-Enabler, der auf passenden Firmware-Versionen inoffizielle Software freischaltet. Garlic selbst enthält keinen Exploit, also keine Sicherheitslücke, und umgeht die Schutzmechanismen der Konsole nicht von sich aus. Die Freischaltung musst du vorher selbst einrichten. Getestet ist das Projekt laut Entwickler auf der normalen PS4 und der PS4 Slim. Für die PS4 Pro gibt es noch keinen offiziellen Test. Das komplette Installationspaket mit Qwen3.5-9B und den Sprachmodellen lädst du über Hugging Face herunter, es ist rund 5,66 GB groß. Der Quellcode steht unter der freien Lizenz GPLv3. Eine genaue Download-Adresse nennt der Bericht nicht.
Sony unterstützt Homebrew nicht. Wer seine Konsole modifiziert, tut das auf eigenes Risiko. Für normale PlayStation-Nutzer ist das Projekt deshalb eher nichts. Es richtet sich an Bastler und die Homebrew-Szene.
Einordnung
Garlic LLM ist vor allem ein eindrucksvoller Machbarkeitsbeweis. Er zeigt, wie weit sich lokale KI inzwischen durch Optimierung treiben lässt. Ein Modell mit 9 Milliarden Parametern in brauchbarem Tempo auf einer zwölf Jahre alten Konsole ist mehr als eine Spielerei. Dass Alegría auf alle üblichen Frameworks verzichtet und die GPU selbst ansteuert, macht das Projekt auch für Entwickler interessant, die KI auf ungewöhnlicher oder alter Hardware betreiben wollen.
Die Grenzen sind trotzdem klar. Qwen3.5-9B ist ein vergleichsweise kleines Modell und kann Fakten erfinden oder an schwierigen Aufgaben scheitern. Die starke 3- und 4-Bit-Quantisierung dürfte die Qualität zusätzlich etwas drücken. Messungen dazu fehlen bisher. Alle Geschwindigkeitswerte stammen vom Entwickler selbst und sind noch nicht unabhängig überprüft. Einen modernen KI-PC ersetzt die PS4 also nicht. Wer aber eine alte, ohnehin modifizierte Konsole im Schrank hat, bekommt damit einen komplett privaten Offline-Assistenten mit Sprachsteuerung.
Quellen
- Bing News (de-DE) fragster.de
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.