capy-flash v0.7.1: Qwen3.8-Flash-Next (125B MoE) läuft mit 64 GB RAM
Die Open-Source-Inference-Engine capy-flash bringt ein 125B-MoE-Modell auf Consumer-RTX-50-Karten und Qwen3.8-27B mit 3-Bit auf eine 16-GB-Karte.
Worum es geht
capy-flash ist eine Open-Source-Inference-Engine für Qwen3.8-Flash-Next (125B MoE) und Qwen3.8-27B auf Consumer-GPUs der RTX-50-Serie. Version 0.7 zielt auf kleinere Rechner: Man startet mit dem, was man hat, und kann später eine zweite Karte ergänzen.
Die wichtigsten Fakten
- Flash-Next läuft mit 64 GB RAM und einer oder zwei GPUs; die Experten liegen als ca. 3-Bit-Quantisierung (GSQ-RCO i-quants von ISTA-DASLab) mit 48 GiB im RAM, Peak ca. 57 GB.
- Häufig genutzte Experten liegen im VRAM, der Rest wird auf der CPU berechnet.
- Qwen3.8-27B (3-Bit) läuft auf einer 16-GB-Karte: 13,9 GB VRAM, 64k Kontext, Vision, MTP.
- Tempo auf RTX 5070 Ti (16 GB) und Ryzen 9 9900X: Flash-Next 121 tok/s (1 GPU) bzw. 234 tok/s (2 GPUs); 27B 174 bzw. 288 tok/s.
- Qualität: Beim 27B sinkt MMLU-Pro von 0,78 auf ca. 0,72, GSM8K bleibt gleichauf; Flash-Next ist auf NVFP4-Niveau.
- Neu: AVX2-CPUs werden unterstützt, Schutz gegen leere Antworten.
Einordnung
Interessant für Enthusiasten mit RTX-50-Karten, die große MoE-Modelle lokal nutzen wollen. Die Zahlen stammen vom Entwickler selbst. Für eine einzelne 16-GB-Karte nennt er Strata als womöglich bessere Wahl für Flash-Next. Hinweis: Das Installationsskript per curl|bash sollte man vorher prüfen.
