Project Maya: 321-Milliarden-Modell GLM-5.3-Flash läuft auf einer Grafikkarte

Das kostenlose Open-Source-Tool Project Maya verteilt riesige KI-Modelle auf Grafikkarte, Arbeitsspeicher und SSD. So läuft GLM-5.3-Flash mit 321 Milliarden Parametern schon auf einer einzelnen RTX 3090. Nutzer messen 26 bis 35 Token pro Sekunde, sofern genug Arbeitsspeicher da ist.

Tools 17. Nov. 2026 7 Min. Lesezeit Quelle: Gigazine (JP)
Symbolbild, KI-generiert

Worum es geht

Riesige Sprachmodelle mit mehreren hundert Milliarden Parametern brauchen normalerweise einen Server mit hunderten Gigabyte Grafikspeicher (VRAM). Zu Hause ist das kaum machbar. Project Maya soll das ändern. Das kostenlose Open-Source-Programm stammt vom Entwickler mw00 und liegt auf GitHub. Es kombiniert VRAM, normalen Arbeitsspeicher und SSD so, dass sehr große Modelle schon mit einer einzigen Grafikkarte laufen.

Unterstützt werden laut Projektseite GLM-5.3 (744 Mrd. Parameter), GLM-5.3-Flash (321 Mrd.), DeepSeek-V4.1-Flash (748 Mrd.) und MiniMax-M3.1-Flash (428 Mrd.). Maya bringt eine Weboberfläche mit und bietet eine Schnittstelle, die mit OpenAI und Anthropic kompatibel ist. Vorhandene Chat-Apps und Programmier-Agenten lassen sich also direkt anschließen. Bis zu acht Anfragen gleichzeitig sind möglich, etwa für mehrere Nutzer oder Coding-Agenten. Gigazine stellt klar: Das bedeutet nicht achtfaches Tempo, sondern nur, dass mehrere Anfragen parallel bearbeitet werden.

Die Gigazine-Redaktion hat das Tool vorgestellt. Ein Nutzer auf note.com hat es ausführlich getestet, und xenospectrum berichtet über das jüngste große Update.

Der Trick: Experten auf drei Speicherebenen

GLM-5.3-Flash vom Anbieter zai-org steht unter MIT-Lizenz und ist ein Mixture-of-Experts-Modell (MoE). Es besteht aus vielen spezialisierten Teilnetzen, den „Experten“, von denen pro Token nur einige gebraucht werden. Laut dem note.com-Tester sind pro Token etwa 18 Mrd. der 321 Mrd. Parameter aktiv. Das Modell schreibt Texte, programmiert und kann Bilder auswerten.

Maya nutzt diesen Aufbau aus. Häufig gebrauchte Experten liegen im schnellen VRAM der Grafikkarte, die als Nächstes benötigten im Arbeitsspeicher, der Rest auf einer NVMe-SSD. Je nach Gespräch werden sie ausgetauscht. Das ist ähnlich wie bei einem Koch, der die wichtigsten Zutaten auf der Arbeitsplatte hat, weitere im Kühlschrank und den Rest im Keller. Die Engine ist laut README aus dem Vorgängerprojekt Strata entstanden und wurde für GLM-5.3-Flash neu geschrieben.

Der zweite Baustein ist Quantisierung: Das Modell wird verkleinert, indem seine Zahlen mit weniger Bits gespeichert werden. Die Varianten liegen auf Hugging Face:

Variante Größe Genauigkeit ggü. FP8-Original*
Maya-XS 73,4 GB 92,4 %
Maya-S (Standard) 96,5 GB 97,9 %
Maya-S24 (für Karten bis 24 GB) 94,7 GB 97,7 %
Maya-M 116 GB 97,9 %
Maya-L 156,3 GB 99,2 %

*Laut Entwickler, gemessen mit Zero-Shot-Aufgaben, also Fragen ohne vorherige Beispiele. Gigazine weist darauf hin, dass das relative Werte für bestimmte Testaufgaben sind und keine allgemeine Trefferquote.

Bei Maya-S24 bleiben die Experten wie bei Maya-S auf 2 Bit. Die Teile, die jedes Token durchläuft (Attention und Shared Experts), werden aber von 6 auf 4 Bit reduziert. Das spart rund 1,5 GB auf der Grafikkarte, und dort passen dann mehr Experten hin.

Tempo: Was Nutzer messen

Gigazine nennt zwei Messungen von Nutzern:

Aufbau GPU RAM Variante Tempo
A 1× RTX 3090 (24 GB) 128 GB Maya-S24 26,0 Token/s
B 2× RTX 5090 (32 GB) + 1× RTX 4090 (48 GB) 188 GB Maya-S 148,6 Token/s

Die Bedingungen waren unterschiedlich. Wie viele Grafikkarten im Spiel sind, erklärt den Unterschied also nicht allein.

Der note.com-Tester nutzte eine RTX 5090 (32 GB), einen Ryzen AI MAX+ 395, etwa 94 GB RAM und Linux mit CUDA 13.3. Die 5090 braucht mindestens CUDA 12.8. Die Einrichtung dauerte rund 45 Minuten, davon etwa 40 Minuten für den Download des Modells mit rund 37 MB/s. Das Modell belegt etwa 90 GB. Nach 36 Sekunden war es gestartet: 23,7 GB Experten im VRAM, 64,5 GB im RAM, nichts auf der SSD. Die mitgelieferte Benchmark-Funktion maß:

  • Antworten erzeugen (Decode): im Mittel 34,9 Token/s
  • Eingabe einlesen (Prefill), 2.048 Token: 261 Token/s
  • Prefill, 8.192 Token: 890 Token/s

Zum Vergleich nennt der Entwickler auf einer V100 (32 GB) mit 64 GB RAM 19,1 Token/s beim Decode. Interessant ist ein Detail aus den Logs. Die Grafikkarte des Testers war nur mit PCIe x4 angebunden, die Datenleitung zwischen Arbeitsspeicher und Grafikkarte war also schmal. Maya schickte die Experten aus dem RAM deshalb gar nicht erst zur GPU und ließ sie vom Prozessor berechnen: 0,09 Millisekunden auf der CPU gegenüber 1,04 Millisekunden für den Weg über PCIe. Die Experten auf der GPU wurden in 56 bis 64 % der Fälle getroffen, den Rest erledigte die CPU mit AVX-512, einem schnellen Rechenbefehlssatz moderner Prozessoren.

Auf seinem eigenen Programmier-Benchmark, der an SWE-bench angelehnt ist, löste GLM-5.3-Flash 54 von 60 Grundaufgaben (90 %) und 12 von 16 schweren Aufgaben (75 %). Der Tester selbst ordnet das als etwa gleichauf mit seinem bisherigen Strata-Setup ein. Die Testbedingungen waren nicht identisch, und bei nur 16 schweren Aufgaben verschiebt jede einzelne das Ergebnis um rund 6 Punkte.

Update 1.1.28: schneller, aber nicht überall

Laut xenospectrum erschien am 26. Oktober 2026 die Version v1.1.28. Sie ändert, wie Daten unter Linux mit einer einzelnen NVIDIA-Karte vom RAM zur Grafikkarte gelangen. Die GPU greift jetzt direkt auf den Arbeitsspeicher zu, eine Zwischenkopie entfällt. Davon profitiert auch DSpark, ein spekulatives Decoding, bei dem mehrere Token vorab geraten und dann in einem Schritt geprüft werden. Auf einem PC mit RTX 3090, Ryzen 5 5600X und 125 GB DDR4 stieg das Tempo von DeepSeek mit Maya-XS laut Entwickler von 12,9 auf 27,8 Token/s. Nach 128.000 Token Eingabe ging es von 14,0 auf 23,2 Token/s, nach 256.000 Token von 15,9 auf 26,1. Das Einlesen langer Texte wurde dagegen kaum schneller.

Neu sind auch Kontextlängen von 512.000 und einer Million Token für DeepSeek. Getestet wurde das allerdings auf neun GPUs: Gut eine Million Token einzulesen dauerte 23,8 Minuten. Jede Kontextposition kostet etwa 1,1 KB VRAM pro GPU, und dieser Platz fehlt dann für Experten. Außerdem braucht DeepSeek in der Variante Maya-S rund 340 GB Speicher. Ein Nutzer meldete auf einer virtuellen L40S-Karte (48 GB) sogar rund 19 % weniger Tempo (42,4 statt 34,4 Token/s). Die Ursache ist laut xenospectrum noch unklar. Das Update bringt außerdem optionale Funktionen für AMD-Karten (RDNA), Windows (Start über START-MAYA.bat) und mehrere GPUs.

Was du zum Ausprobieren brauchst

  • Speicher: Entscheidend ist die Summe aus VRAM und RAM. Empfohlen sind laut Dokumentation 88 GB für Maya-XS, 128 GB für Maya-S und 192 GB für Maya-L. Offiziell reichen als Minimum eine unterstützte GPU, 32 GB RAM und eine SSD. Gigazine scheiterte aber mit 64 GB RAM und einer 8-GB-Karte an der Meldung „zu wenig VRAM“.
  • Grafikkarte: In der Praxis sind 24 GB (RTX 3090/4090) ein sinnvoller Einstieg. Für Karten bis 24 GB empfiehlt der Installer Maya-S24, für 32-GB-Karten Maya-S.
  • Festplatte: rund 75 bis 160 GB für das Modell, am besten auf einer schnellen NVMe-SSD.
  • System: Linux mit NVIDIA ist am besten unterstützt. Windows und AMD werden teilweise unterstützt. Zu Mac äußern sich die Quellen nicht.
  • Stolperfallen laut Tester: Ohne --model Maya-S24 wählt der Installer Maya-S. Ohne --download-model lädt --yes allein nichts herunter. Der Standard-Port 8080 kann belegt sein. Das Kontextfenster muss groß genug für lange Antworten eingestellt werden: Erst mit 65.536 statt 32.768 Token passte das Ausgabelimit des Testers hinein. Bei GLM-5.3-Flash wächst der KV-Cache, der Zwischenspeicher für den bisherigen Text, dabei nur von 0,62 auf 1,00 GB. Die Hersteller empfehlen Temperatur 1.0 und top_p 0.95.

Einordnung

Project Maya zeigt, wie weit sich MoE-Modelle mit geschicktem Offloading auf normale Hardware bringen lassen. Ein Modell mit 321 Milliarden Parametern, das auf einer gebrauchten RTX 3090 mit über 25 Token pro Sekunde antwortet, wäre vor Kurzem noch unrealistisch gewesen. Für Leute mit einem gut ausgestatteten Rechner ist das eine ernsthafte Alternative zu Cloud-Diensten, gerade für Programmier-Agenten, die lokal laufen sollen.

Es gibt aber Einschränkungen. „Eine GPU“ heißt nicht „wenig Hardware“: Ohne rund 96 bis 128 GB Arbeitsspeicher geht praktisch nichts, und die große DeepSeek-Variante braucht ein Vielfaches davon. Ob das schnell läuft, hängt stark von der Hardware ab: PCIe-Anbindung, CPU-Leistung und RAM-Ausbau entscheiden mit, wie die gegensätzlichen Messungen zum Update zeigen. Alle Zahlen stammen vom Entwickler und von einzelnen Nutzern, eine unabhängige Überprüfung fehlt laut xenospectrum bisher. Das Projekt entwickelt sich außerdem sehr schnell, mit vielen Versionen in wenigen Wochen. Wer es einsetzt, sollte mit häufigen Änderungen rechnen.

Quellen

#project maya#glm-5.3-flash#lokale ki#moe#offloading#open source
Originalquelle lesen

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.