Maple-Preview: Ternäres 20B-MoE-Modell läuft schnell auf CPU und kleinen GPUs

Deepgrove hat „Maple-Preview“ als GGUF veröffentlicht, ein ternäres Reasoning-Modell mit 20 Mrd. Parametern, aber nur etwa 1 Mrd. aktiven. Es ist unter 6 GiB groß und erreicht auf einem Apple-M5-Pro-Prozessor über 250 Token pro Sekunde. Dazu gibt es einen zweiten ternären MoE-Release, der mit 12 GB GPU 368K Kontext schaffen soll.

Modell-Releases Selbst ausprobieren 26. Okt. 2026 4 Min. Lesezeit Quelle: r/LocalLLaMA

Das Wichtigste in Kürze

Maple-Preview von Deepgrove ist ein 20B-A1B-Reasoning-MoE-Modell (20 Mrd. Parameter gesamt, etwa 1 Mrd. aktiv) unter MIT-Lizenz.
Die GGUF-Varianten sind zwischen 4,64 und 5,91 GiB groß (TQ1_0 oder TQ2_0, Ausgabeschicht in Q4_K oder FP16).
Auf einem M5 Pro nur mit CPU (16 Threads) erreicht die schnellste Variante 252,74 Token/s beim Generieren und 618,57 Token/s beim Prompt-Einlesen.
Die Architektur hat 24 Schichten, 256 Experten (8 aktiv) und Attention im Verhältnis 3:1 aus Sliding-Window (512) und globaler Attention.
Laut Hersteller schwächer bei Agenten-Benchmarks, da die Preview auf reines Reasoning zielt; es wird eine Vollversion nach weiterem Training angekündigt.
Ein Reddit-Beitrag nennt ein zweites ternäres MoE (Nemotron 30B-A3B) mit 368K Kontext auf 12-GB-GPU, 172 tok/s, läuft mit Stock-llama.cpp.

Worum es geht

Das Team Deepgrove hat auf Hugging Face die Datei-Sammlung Maple-Preview-GGUF veröffentlicht. Maple-Preview ist ein Reasoning-Modell (es „denkt“ vor der Antwort in Zwischenschritten) mit 20 Milliarden Parametern, von denen pro Token nur etwa 1 Milliarde aktiv sind (Bezeichnung 20B-A1B). Es wurde nach Angaben der Autoren von Anfang an für effiziente Ausführung auf dem eigenen Gerät entworfen und steht unter der MIT-Lizenz. Die Preview ist ein Zwischenstand; eine Vollversion soll nach weiterem Training folgen.

Anlass der Meldung war ein Beitrag auf r/LocalLLaMA zu einem weiteren ternären Modell, das sich auf Maple bezieht (siehe unten).

Architektur und Ternär-Technik

Maple ist ein Mixture-of-Experts-Modell (MoE): Statt bei jedem Token das ganze Netz zu nutzen, wählt ein Router einen kleinen Teil spezialisierter Teilnetze („Experten“) aus. Hier gibt es 24 Schichten und 256 Experten, von denen 8 aktiv sind. Das spart Rechenzeit, der Speicher muss aber trotzdem alle Gewichte vorhalten.

Bei der Aufmerksamkeit (Attention) nutzt Maple ein Verhältnis von 3:1 zwischen Sliding-Window-Attention mit Fenster 512 und globaler Attention. Das heißt: Drei von vier Schichten schauen nur auf die letzten 512 Token, eine auf den gesamten Kontext. Das hält den Speicherbedarf für lange Texte niedriger.

Ternär bedeutet, dass Gewichte nur drei Werte haben (-1, 0, +1), ca. 1,58 Bit pro Gewicht. Dadurch schrumpft das Modell stark. Die Quelle nennt zwei Packschemata: TQ1_0 (kompakter) und TQ2_0 (etwas größer, aber im Allgemeinen schneller). Die Ausgabeschicht („LM-Head“) bleibt in höherer Präzision, entweder Q4_K oder FP16.

Varianten und Geschwindigkeit

Matrixgewichte	LM-Head	Größe	Prefill (pp512)	Decode (tg128)
TQ1_0	FP16	5,06 GiB	515,41 tok/s	161,06 tok/s
TQ1_0	Q4_K	4,64 GiB	513,33 tok/s	231,13 tok/s
TQ2_0	FP16	5,91 GiB	618,57 tok/s	169,81 tok/s
TQ2_0	Q4_K	5,50 GiB	610,48 tok/s	252,74 tok/s

Gemessen wurde auf einem M5 Pro, nur CPU, 16 Threads, 512 Prompt-Token, 128 generierte Token, drei Wiederholungen. „Prefill“ ist das Einlesen des Prompts, „Decode“ das Erzeugen der Antwort. Auffällig: Der Q4_K-Head beschleunigt das Generieren deutlich gegenüber FP16.

Qualität laut Hersteller

Deepgrove behauptet, Maple-Preview setze einen neuen Punkt auf der Pareto-Grenze, sowohl bei Speicher zu Leistung als auch bei Geschwindigkeit zu Leistung. Konkrete Benchmark-Zahlen nennt die Quelle nicht, das ist also eine unbelegte Herstellerangabe. Eingeräumt wird, dass die Preview auf reines Reasoning fokussiert ist und bei Agenten-Benchmarks schwächer abschneiden kann.

Das zweite ternäre Modell

Der Reddit-Beitrag stellt „Ternary Nemotron 30B-A3B“ vor, ein ternäres (1,58-Bit) MoE mit 30 Mrd. Parametern, 3 Mrd. aktiv. Der Autor gibt an: 368K Kontext auf einer 12-GB-GPU, 172 tok/s Decode und über 7000 tok/s Prefill. Eine Datei laufe sowohl in Stock-llama.cpp (validiert ab b11555 bzw. b11796) als auch im PrismML-Fork (b10793). Laut Nachtrag ist es das zweite ternäre MoE nach Maple-Preview, das mit Stock-llama.cpp funktioniert. Gesucht werden noch CPU-only-Zahlen und Werte für Karten um 10 GB. Diese Angaben stammen vom Uploader und sind nicht unabhängig geprüft. Die Hugging-Face-Seite der Hauptquelle betrifft allerdings Maple.

Was du zum Ausprobieren brauchst

Speicher: Die Dateien sind 4,6 bis 5,9 GiB groß; mit Kontext rechne mit 8 GB freiem RAM oder VRAM als bequemer Untergrenze (Schätzung).
Prozessor: Es läuft laut Messung rein auf der CPU, auch auf Apple Silicon (M5 Pro getestet). Eine GPU ist nicht nötig.
Festplatte: Rund 6 GB pro Variante.
Software: Ein eigener llama.cpp-Fork von Deepgrove (github.com/deepgrove-ai/llama.cpp) mit Setup-Anleitung wird referenziert. Die Seite listet zudem Ollama, LM Studio, vLLM und andere Werkzeuge, ob diese die ternären Typen unterstützen, ist unklar.
Google Colab: Wegen der geringen Größe grundsätzlich möglich, in der Quelle aber nicht belegt.

Einordnung

Ternäre MoE-Modelle sind interessant, weil sie große Wissensmengen mit sehr kleinem Speicher- und Rechenbedarf verbinden: über 250 Token/s auf einer Laptop-CPU ist beeindruckend. Kritisch: Es fehlen unabhängige Benchmarks, die Preview ist ausdrücklich unfertig, und der Nutzen für Agenten-Aufgaben ist eingeschränkt. Für Bastler, Edge-Anwendungen und Tests ternärer Quantisierung ist es einen Blick wert; für produktive Agenten eher noch nicht.

Begriffe einfach erklärt

Ternär: Gewichte des Modells haben nur die Werte -1, 0 oder +1 (etwa 1,58 Bit), wodurch das Modell sehr klein und schnell wird.
MoE (Mixture of Experts): Ein Modell aus vielen Teilnetzen, von denen pro Token nur wenige aktiv sind, was Rechenzeit spart.
GGUF: Ein Dateiformat für Modelle, das in llama.cpp und darauf aufbauenden Programmen lokal genutzt wird.
Prefill / Decode: Prefill ist das Einlesen des Prompts, Decode das schrittweise Erzeugen der Antwort.
Sliding-Window-Attention: Eine Aufmerksamkeitsart, die nur auf die letzten Token in einem festen Fenster schaut und so Speicher spart.
LM-Head: Die letzte Schicht des Modells, die das nächste Wort auswählt; hier in höherer Präzision gespeichert.
Pareto-Grenze: Die Menge der besten Kompromisse, bei denen man eine Eigenschaft nicht verbessern kann, ohne eine andere zu verschlechtern.

Quellen

r/LocalLLaMA huggingface.co

#maple-preview#ternär#moe#gguf#llama.cpp#local-llm

Originalquelle lesen

Selbst ausprobieren: Maple-Preview

Schritt für Schritt erklärt, auch ohne Vorkenntnisse – auf deinem Rechner oder kostenlos im Browser.

Was kann ich damit machen?

Maple-Preview ist ein kleines, sehr schnelles Reasoning-Modell, das lokal Fragen beantwortet, knifflige Aufgaben Schritt für Schritt durchdenkt und dabei auch auf einer reinen CPU flott läuft. Es eignet sich zum Experimentieren mit ternären Modellen.

Für wen lohnt es sich?

Interessant für Bastler und Tester von effizienten Modellen auf Laptops oder schwacher Hardware. Weniger geeignet für Agenten-Workflows, bei denen der Hersteller selbst Schwächen einräumt.

Größe20,2 Mrd. Parameter (1 Mrd. aktiv)

Download12 GB (bei 100 MBit/s ca. 16 Min.)

Lizenzmit

ArtSprachmodell (Text-Chat)

Hugging Facedeepgrove/maple-preview-GGUF

Was dein Rechner braucht

Grafikkarte (NVIDIA), komplett im VRAM mind. 14 GB VRAMz. B. RTX 4060 Ti 16 GB, RTX 4080, RTX 5080, RX 7800 XT – am schnellsten; mit weniger VRAM siehe nächste Zeile

Grafikkarte + Arbeitsspeicher (MoE-Offloading) ab ca. 6 GB VRAM + 32 GB RAMdie Experten liegen im Arbeitsspeicher, nur der Kern auf der Grafikkarte (llama.cpp/LM Studio). Langsamer als komplett im VRAM, aber auf normalen PCs machbar

Mac (Apple Silicon M1–M5) ab 24 GB gemeinsamer SpeicherGrafik und Prozessor teilen sich den Speicher – etwa 70 % davon kann das Modell nutzen

Nur Prozessor (ohne Grafikkarte) Ohne Grafikkarte flüssig nutzbargeschätzt 38 Wörter pro Sekunde auf einem aktuellen Desktop-PC (MoE: nur 1 Mrd. Parameter pro Wort aktiv). Dafür mindestens 32 GB Arbeitsspeicher.

Speicherplatz ca. 14 GB freiModell-Download plus Programme

Google Colab läuft kostenlosGratis-GPU Tesla T4 mit 15 GB reicht

TQ2_0 mit Q4_K-Head (5,50 GiB) war in der Messung am schnellsten (252,74 tok/s). TQ1_0 mit Q4_K (4,64 GiB) ist die kleinste Datei bei kaum langsamerer Leistung. FP16-Head-Varianten brauchen mehr Speicher und sind beim Generieren langsamer.

Dateigrößen: 4,64 bis 5,91 GiB je Variante, plus Platz für den Kontext.
Gemessen wurde rein auf CPU (M5 Pro, 16 Threads); eine GPU ist nicht nötig.
TQ2_0 ist allgemein schneller, braucht aber etwas mehr Speicher als TQ1_0.
Ein eigener llama.cpp-Fork von Deepgrove ist für die Einrichtung angegeben.

Wie finde ich heraus, was mein Rechner hat?

Windows: Strg + Umschalt + Esc drücken → Task-Manager → Reiter Leistung → links GPU anklicken. Unten steht Dedizierter GPU-Speicher (das ist dein VRAM). Den Arbeitsspeicher findest du unter Arbeitsspeicher.
Mac: Apfel-Menü oben links → Über diesen Mac. Dort stehen Chip (z. B. M2) und Speicher (z. B. 16 GB). Bei Apple-Chips teilen sich Grafik und Prozessor diesen Speicher.
Linux: Im Terminal nvidia-smi eingeben (zeigt Grafikkarte und Speicher) und free -h für den Arbeitsspeicher.

Anleitung

Google Colab (im Browser, ohne Installation)

Google Colab ist ein kostenloser Dienst von Google: Du bekommst für ein paar Stunden einen Rechner mit Grafikkarte im Browser. Du brauchst nur ein Google-Konto. Für dieses Modell: läuft kostenlos – Gratis-GPU Tesla T4 mit 15 GB reicht.

Notebook herunterladen. Klick auf den Knopf und speichere die Datei.
colab.ipynb herunterladen
Colab öffnen. Geh auf colab.research.google.com und melde dich mit deinem Google-Konto an.
Notebook hochladen. Im Fenster, das erscheint, links auf Hochladen klicken (oder oben Datei → Notebook hochladen) und die Datei colab.ipynb auswählen.
Grafikkarte einschalten. Oben im Menü Laufzeit → Laufzeittyp ändern → bei Hardwarebeschleuniger T4-GPU auswählen → Speichern.
Alles starten. Laufzeit → Alle ausführen (Tastenkürzel Strg + F9). Kommt die Warnung „Dieses Notebook wurde nicht von Google erstellt“, auf Trotzdem ausführen klicken.
Warten. Die Zellen laufen nacheinander durch. Links neben jeder Zelle erscheint ein grüner Haken, wenn sie fertig ist. Installation und Download dauern hier etwa 8 Minuten.
Ausprobieren. Das Ergebnis steht unter der letzten Zelle. Um etwas anderes zu testen, den Text in der Zelle ändern und mit Shift + Enter erneut ausführen. Die letzte Zelle startet einen richtigen Chat mit Eingabefeld.
Aufräumen. Wenn du fertig bist: Laufzeit → Sitzung beenden. Das schont dein kostenloses Kontingent.

Gut zu wissen: Die Gratis-GPU ist begrenzt (meist einige Stunden am Tag). Nach rund 90 Minuten ohne Aktivität trennt Colab die Verbindung, dann alles neu starten.

Windows 10 / 11

Am einfachsten geht es mit Ollama, einem kostenlosen Programm, das KI-Modelle mit einem Befehl startet.

Grafikkartentreiber aktualisieren (nur bei NVIDIA-Karten): Die NVIDIA-App bzw. den aktuellen Treiber installieren. AMD-Karten: aktuellen Adrenalin-Treiber nutzen.
Ollama installieren. Auf ollama.com/download/windows die Datei OllamaSetup.exe herunterladen, doppelklicken und Install wählen. Danach sitzt rechts unten in der Taskleiste ein kleines Lama-Symbol.
Eingabefenster öffnen. Windows-Taste drücken, PowerShell eintippen und Enter drücken. Es öffnet sich ein blaues oder schwarzes Fenster.
Modell starten. Diesen Befehl kopieren (Knopf „Kopieren“), mit Rechtsklick ins Fenster einfügen und Enter drücken:
```
ollama run hf.co/deepgrove/maple-preview-GGUF:F16
```
Beim ersten Mal lädt Ollama das Modell herunter (12 GB (bei 100 MBit/s ca. 16 Min.)). Danach geht es sofort.
Losschreiben. Sobald >>> Send a message erscheint, deine Frage eintippen und Enter drücken. Mit /bye beendest du den Chat.

Lieber automatisch? Skript, das die passende Variante selbst auswählt

Beide Dateien in denselben Ordner herunterladen: try_windows.ps1 demo.py
Den Ordner im Explorer öffnen, mit Rechtsklick auf eine freie Stelle In Terminal öffnen wählen.

Diesen Befehl einfügen und Enter drücken:

powershell -ExecutionPolicy Bypass -File try_windows.ps1

Das Skript installiert Ollama bei Bedarf über winget, misst deinen Grafikspeicher und lädt die passende Variante.

macOS

Ideal sind Macs mit Apple-Chip (M1 bis M5). Ältere Intel-Macs sind sehr langsam.

Ollama installieren. Auf ollama.com/download/mac herunterladen, die Datei öffnen und Ollama in den Ordner Programme ziehen. Ollama einmal starten – oben in der Menüleiste erscheint ein Lama.
Terminal öffnen. Cmd + Leertaste drücken, Terminal eintippen, Enter.
Modell starten. Befehl einfügen (Cmd + V) und Enter:
```
ollama run hf.co/deepgrove/maple-preview-GGUF:F16
```
Beim ersten Mal wird das Modell heruntergeladen (12 GB (bei 100 MBit/s ca. 16 Min.)).
Losschreiben. Frage eintippen, Enter. Mit /bye beenden.

Automatisch die passende Variante wählen

try_mac.sh

cd ~/Downloads
bash try_mac.sh

Linux

Grafikkarte prüfen. nvidia-smi sollte deine Karte anzeigen. Wenn nicht, unter Ubuntu den Treiber installieren und neu starten:
```
sudo ubuntu-drivers install
```

Ollama installieren:

curl -fsSL https://ollama.com/install.sh | sh

Modell starten:
```
ollama run hf.co/deepgrove/maple-preview-GGUF:F16
```
Mit /bye beenden. Mit ollama ps siehst du, ob das Modell auf der GPU läuft.

Oder automatisch die passende Variante wählen lassen:

try_linux.sh

bash try_linux.sh
# mit Python/transformers statt Ollama:
MODE=hf bash try_linux.sh

Das kannst du ausprobieren

Löse Schritt für Schritt: Ein Zug fährt 2,5 Stunden mit 96 km/h, danach 1,5 Stunden mit 120 km/h. Wie weit ist er insgesamt gefahren?

Erkläre mir den Unterschied zwischen Mixture-of-Experts und einem normalen Sprachmodell in einfachen Worten.

Schreibe eine kurze Python-Funktion, die prüft, ob ein Wort ein Palindrom ist, und erkläre sie.

Wenn es hakt

Die ternären Typen TQ1_0/TQ2_0 brauchen ggf. den Deepgrove-Fork von llama.cpp (github.com/deepgrove-ai/llama.cpp); normale Versionen können sie je nach Stand nicht laden.

Die Preview ist bei Agenten-Aufgaben schwächer; für Tool-Nutzung nicht zu viel erwarten.

Der Befehl in der Quelle nutzt den Tag :F16, die verfügbaren Varianten heißen aber TQ1_0/TQ2_0; wähle die Variante passend aus.

„out of memory“, Absturz oder der Rechner hängt

Das Modell ist zu groß für deinen Grafikspeicher. Nimm eine kleinere Variante aus der Tabelle oben und schließe andere Programme, vor allem Spiele und Browser mit vielen Tabs.

Es läuft, aber extrem langsam

Wahrscheinlich rechnet der Prozessor statt der Grafikkarte. Bei Ollama zeigt ollama ps in der Spalte PROCESSOR, wie viel auf der GPU läuft. Steht dort „100% CPU“, Grafiktreiber aktualisieren oder eine kleinere Variante nehmen, die komplett in den Grafikspeicher passt.

„ollama“ bzw. „python“ wird nicht gefunden

Das Eingabefenster schließen und neu öffnen, damit es das frisch installierte Programm kennt. Bei Python unter Windows: neu installieren und das Häkchen Add python.exe to PATH setzen.

Windows: „Die Ausführung von Skripts ist auf diesem System deaktiviert“

Das Skript genau mit dem Befehl oben starten: powershell -ExecutionPolicy Bypass -File try_windows.ps1. Das erlaubt die Ausführung nur dieses einen Mal.

Fehlermeldung beim Laden des Modells (Version, „trust_remote_code“, unbekannte Architektur)

Ganz neue Modelle brauchen oft die neueste Programmversion. Bei Ollama: Ollama aktualisieren. Bei Python: pip install -U transformers in der aktivierten Umgebung. Die Model Card nennt meist die genaue Version.

Skripte und Notebook erzeugt Tokenstrom automatisch. Bitte vor dem Ausführen kurz ansehen – sie sind lesbarer Klartext. Lizenz des Modells beachten: mit.

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.