colibri: 744B-Modell auf Laptop mit 25 GB RAM, Experten von der Festplatte

Worum es geht

colibri (Schreibweise im Projekt: colibrì) ist eine quelloffene Inferenz-Engine von JustVugg, die auf GitHub gerade Aufmerksamkeit bekommt. Das Motto: „Tiny engine, immense model“. Sie führt sehr große Mixture-of-Experts-Modelle (MoE) auf Rechnern aus, die man bereits besitzt – geschrieben in reinem C, ohne Abhängigkeiten, eine Datei pro Modellfamilie, ohne GPU-Pflicht. Das Projekt ist kostenlos und quelloffen; laut zweiter Quelle (alphamatch.ai) steht es unter Apache 2.0.

Die Idee: Ein MoE-Modell (Mixture of Experts – das Modell besteht aus vielen Spezialisten-Teilnetzen, von denen pro Token nur wenige aktiv sind) ist auf der Festplatte riesig, nutzt pro Token aber nur einen kleinen Teil. colibri hält diesen immer nötigen Teil im Arbeitsspeicher und liest die übrigen Experten bei Bedarf von der Festplatte.

So funktioniert das Streaming der Experten

Am Beispiel GLM-5.2 rechnet das README vor: 744 Milliarden Parameter insgesamt, etwa 40 Milliarden pro Token aktiv, und nur rund 11 GB davon wechseln von Token zu Token – die „gerouteten“ Experten. Das sind nur etwa 5,4 % der Parameter.

Der dichte Teil (Attention, geteilte Experten, Embeddings) bleibt daher im RAM. Die gerouteten Experten liegen auf der SSD und werden geladen, wenn der Router (die Auswahlstufe, die pro Token die passenden Experten bestimmt) sie anfordert. Ein Cache lernt, welche Experten die eigene Arbeit häufig braucht. Eine vorhandene GPU hält zusätzlich die „heißesten“ Experten und die dichten Schichten.

Wichtig laut README: Wo ein Gewicht liegt, ändert nur die Geschwindigkeit, nicht das Ergebnis. Die Standardeinstellung ändere nie stillschweigend die Modellpräzision oder die Router-Semantik. Weniger schneller Speicher dürfe Tempo kosten, aber das Modell nicht heimlich umdefinieren.

Laut alphamatch.ai (Details, die nicht aus dem README-Auszug stammen) nutzt die Engine für GLM-5.2 zudem:

• einen LRU-Cache (verwirft zuerst, was am längsten nicht genutzt wurde) pro Schicht, dazu den Seitencache des Betriebssystems als zweite Stufe;
• Multi-Token-Prediction (MTP) als spekulatives Dekodieren – ein Hilfskopf rät das nächste Token voraus, das Hauptmodell prüft es; genannt werden 2,2–2,8 Token pro Durchlauf bei 39–59 % akzeptierten Vorschlägen;
• eine komprimierte KV-Cache-Ablage (MLA): 576 statt 32.768 Zahlen pro Token;
• AVX2-Integer-Kernel mit 119 GFLOP/s.

Diese Angaben stammen von einem Drittblog und sind hier nicht unabhängig geprüft.

Welche Modelle laufen

Das README nennt dreizehn Engines: zehn für Sprachmodelle (GLM-5.2/5.3 – darauf läuft auch Mistral-Large-4 –, GLM-5.3-Flash, Inkling, Kimi K3, DeepSeek V4 Flash und V4.1 Flash, MiMo-V2.6 Flash und Pro, Qwen3.8-Flash-Next, Qwen3.6 sowie OLMoE), eine für Bilder (Qwen-Image-2.1) und zwei „Entscheidungsmodelle“ (Laya, GLiNER2.5-Decide), dazu Clef auf der Qwen3.6-Engine. Zusätzlich lesen die Sprachmodell-Engines veröffentlichte GGUF-Dateien direkt, auf CPU, über Vulkan oder per CUDA.

Auszug der README-Tabelle (Herstellerangaben des Projekts, auf den jeweils genannten Maschinen gemessen):

Bei den großen Modellen bestimmt die Festplatte das Tempo; eine schnelle NVMe-SSD hilft am meisten. Ein Mistral-Large-4 (1T, 52B aktiv) aus einer 233-GB-GGUF schafft auf der Testmaschine D mit CUDA 1,34–1,36 Tok/s. Das kleine Flint (40B, 2,5B aktiv, Apache 2.0) erreicht 77 Tok/s, LFM3-VL-2B über 200 Tok/s mit GPU.

Installation und Bedienung

Das Setup ist als Ein-Schritt-Lösung gedacht: Unter Windows ZIP herunterladen und START-HERE.bat doppelklicken; unter Linux und macOS ./start-here.sh nach dem Klonen des Repos. Das Skript prüft RAM, freien Speicher, CPU und GPUs, empfiehlt ein passendes Modell, baut die Engine (oder lädt eine vorkompilierte), lädt das Modell mit Fortsetzungsfunktion herunter und startet colibri samt Dashboard im Browser. Danach stehen eine OpenAI-kompatible (/v1) und eine Anthropic-kompatible Schnittstelle bereit, sodass sich etwa Claude Code oder SDKs anbinden lassen. Optionen wie --list, --model ID, --yes, --dir, --backend vulkan|cuda|cpu steuern das Verhalten. Das README beschreibt außerdem einen MCP-Server und eine Anleitung, mit der ein KI-Assistent die Installation übernehmen kann.

Weitere Funktionen: Tool-Calling bei fast allen Chat-Engines, Bild-Eingabe bei mehreren Modellen, ein Chat-UI mit „Expertenkarte“, Monitor und Profiling-Seite, sowie der Modus „System One“: Statt Text zu erzeugen, gibt das Modell für vorgegebene Optionen Wahrscheinlichkeiten und eine Konfidenz zurück. Die Schnittstelle ist mit der Jev-API von TypeSafe kompatibel.

GPU-Unterstützung

• Vulkan: Jede GPU mit Vulkan-1.2-Treiber (AMD, Intel, NVIDIA, integriert oder diskret) kann einen Experten-Cache im GPU-Speicher und eine „dichte Kette“ nutzen. Auf der integrierten Radeon 780M stieg Qwen3.6-35B-A3B von 6,0 auf 9,9 Tok/s; bei kleinen Modellen wie OLMoE kann die iGPU sogar langsamer sein (12,8–17,3 gegenüber 23,1 Tok/s auf der CPU). Bei einer Intel-Iris-Xe-Laptop-GPU war Vulkan ebenfalls nicht schneller.
• CUDA: Unter Linux, wenn das CUDA-Toolkit installiert ist; für Windows gibt es eine separate DLL. Auf einer RTX PRO 4000 (24 GB) erreicht Qwen3.6-35B-A3B 104,8 Tok/s. Neu ist auch der Betrieb auf Karten ohne Resizable BAR; auf solchen Karten ist er laut README aber nicht gemessen.
• Apple Silicon: Ein Metal-Backend für mehrere Engines; das Ein-Schritt-Setup baut allerdings zunächst für die CPU.

Laut README prüft die CI die Vulkan-Pfade gegen die CPU-Ergebnisse; wegen anderer Rechenreihenfolge kann eine lange Antwort um ein Wort abweichen.

Was du zum Ausprobieren brauchst

• Minimum: Rechner mit 8 GB RAM (16 GB oder mehr besser), mindestens 22 GB freier Speicherplatz für das kleinste Modell und Internet. Eine Grafikkarte ist optional.
• Große Modelle: Der Speicherplatz wächst schnell – GLM-5.2 braucht 429 GB, Kimi K3 1,56 TB. Eine schnelle NVMe-SSD ist entscheidend; unter WSL sollten Modelle im Linux-Dateisystem liegen, nicht unter /mnt/c.
• Mac/CPU: Läuft auf CPU und Apple Silicon (Metal optional). Google Colab wird in der Quelle nicht erwähnt.
• Sinnvoller Einstieg: Qwen3.6-35B-A3B (23 GB) oder Qwen3-Coder-30B-A3B – dort sind zweistellige Geschwindigkeiten realistisch.

Einordnung

colibri zeigt, dass der Speicher-Flaschenhals bei MoE-Modellen durch geschickte Platzierung teils umgehbar ist: Man kann Modelle starten, die nie in den RAM passen würden. Das ist für Forschung, Experimente und das Verständnis von Experten-Routing wertvoll (das Dashboard visualisiert jeden aktivierten Experten).

Die Grenzen sind aber klar: 0,05–0,1 Token/s bei GLM-5.2 auf einem 25-GB-Laptop ist ein Experiment, kein Arbeitswerkzeug. Selbst 1–2 Token/s sind nur für Geduldige nutzbar. Praktisch interessant sind eher die kleineren MoE-Modelle mit zweistelligen Geschwindigkeiten. Alle Zahlen stammen vom Projekt selbst und auf unterschiedlichen Maschinen; unabhängige Nachmessungen liegen in den Quellen nicht vor. Die zweite Quelle spricht überschwänglich von einer „Demokratisierung“ und nennt 241 Sterne – das ist ein Blogstand, der sich inzwischen überholt haben dürfte. Auch das Hardware-Beispiel eines Apple M5 Max mit etwa 1 Token/s stammt nur von dort. Gegenüber llama.cpp bietet colibri eigene Engines pro Modellfamilie und viel Zusatzfunktionalität; ein direkter Vergleich fehlt in den Quellen.