WiCi Infer: Gratis-App lädt KI-Experten von der SSD und startet so 800B-Modelle

Das Start-up WiCi hat die kostenlose Mac-App WiCi Infer und die Open-Source-Engine InferSSD veröffentlicht. Sie laden bei Mixture-of-Experts-Modellen nur die gerade benötigten Teile von der SSD. So sollen Riesenmodelle mit rund 800 Milliarden Parametern auf normalen Rechnern laufen, wenn auch langsam.

Tools 17. Nov. 2026 5 Min. Lesezeit Quelle: Brave News
Symbolbild, KI-generiert

Worum es geht

Das Start-up WiCi ist bisher für die „kabellose Grafikkarte“ WiCi One bekannt. Jetzt hat es eine Software für lokale KI veröffentlicht: WiCi Infer. Das ist eine kostenlose Desktop-App für macOS, ohne Abo und ohne Anmeldung. Darunter steckt die Inferenz-Engine InferSSD, die laut WiCi von Anfang an Open Source ist. Eine Inferenz-Engine ist das Programm, das ein fertig trainiertes Sprachmodell tatsächlich ausführt und Antworten erzeugt. Laut Androidguys gibt es App, Benchmarks und Download auf der offiziellen WiCi-Website.

Das Versprechen klingt groß: Sprachmodelle mit rund 800 Milliarden Parametern sollen auf Rechnern laufen, deren Arbeits- und Grafikspeicher dafür eigentlich viel zu klein ist. Die Modelle sollen dafür nicht zusätzlich komprimiert werden müssen.

Das Speicherproblem und wie InferSSD es umgeht

Wer ein Sprachmodell lokal betreibt, stößt fast immer an dieselbe Grenze. Üblicherweise muss das gesamte Modell in den Arbeitsspeicher oder den Grafikspeicher (VRAM) passen. Bei einem Modell mit 800 Milliarden Parametern sind das selbst stark verkleinert noch Hunderte Gigabyte. Kaum ein Privatrechner hat so viel.

InferSSD nutzt eine Eigenschaft vieler moderner Großmodelle: die Mixture-of-Experts-Architektur (MoE). Ein solches Modell besteht aus vielen spezialisierten Teilnetzen, den „Experten“. Für jedes Wort, genauer für jeden Token, wählt ein sogenannter Router nur einige wenige davon aus. Man kann es sich wie ein großes Fachärztezentrum vorstellen: Es gibt Dutzende Spezialisten, aber jeder Patient sieht nur zwei oder drei davon.

Genau hier setzt InferSSD an. Die Engine hält nicht alle Experten im Speicher, sondern lädt laut WiCi nur die gerade benötigten Experten direkt von der SSD nach. Dazu gehören drei Bausteine: ein Index, der weiß, wo welcher Experte auf der Festplatte liegt (Expert Indexing); ein Nachladen, das sich nach den Entscheidungen des Routers richtet (router-driven streaming); und eine Verteilung der Arbeit zwischen Prozessor und Grafikchip, die sich laufend anpasst (adaptive CPU/GPU scheduling). Laut Androidguys hat WiCi dazu auch einen technischen Hintergrundtext veröffentlicht, der erklärt, wie die Engine entscheidet, welche Gewichte im Speicher bleiben.

Die Grundidee ist nicht völlig neu. Auch llama.cpp kann Modelldateien per Memory-Mapping von der Festplatte lesen. Ist der Speicher zu klein, wird das aber extrem langsam. WiCi will das gezielter und effizienter lösen.

Die Zahlen, laut Hersteller

Alle Leistungsangaben stammen aus WiCis eigenen Benchmarks und wurden bisher nicht unabhängig geprüft. Verglichen wurde mit llama.cpp, dem verbreiteten Open-Source-Programm, auf dem auch viele andere lokale KI-Apps aufbauen.

Hardware Modell InferSSD vs. llama.cpp (Decode)
MacBook Pro, M5 Max, 48 GB gemeinsamer Speicher Muse Spark Open (816B) 6,2-mal so schnell
NVIDIA DGX Spark, 128 GB gemeinsamer Speicher Muse Spark Open, 4K-Prompt 2,14 vs. 0,12 Token/s (17,8-mal so schnell)

„Decode“ meint die Phase, in der das Modell seine Antwort Token für Token schreibt. Die Zahlen sollte man richtig einordnen: 2,14 Token pro Sekunde sind deutlich besser als 0,12. Es sind aber immer noch nur etwa ein bis zwei Wörter pro Sekunde, also zum Mitlesen recht zäh. Für lange Programmieraufgaben dürfte das kaum reichen. WiCi räumt selbst ein, dass die Ergebnisse je nach Modell, Hardware und Einstellungen schwanken. Der Abstand zu llama.cpp sei aber in allen getesteten Konfigurationen deutlich gewesen.

Als unterstützte Riesenmodelle nennt WiCi DeepSeek V4.1 Flash mit 763 Milliarden Parametern und Muse Spark Open mit 816 Milliarden. Auch kleinere Modelle sollen gut laufen. Ein Qwen3-Modell mit 35 Milliarden Parametern soll schon mit 8 GB Speicher funktionieren.

Funktionen für Entwickler und Neugierige

WiCi Infer bringt einen Modell-Browser mit, über den man unterstützte Sprachmodelle findet und herunterlädt, dazu eine eingebaute Chat-Oberfläche. Für Entwickler wichtiger ist die OpenAI-kompatible API: Die App stellt lokal eine Schnittstelle bereit, die genauso aufgebaut ist wie die von OpenAI. Jede Anwendung, bei der man eine eigene Modelladresse eintragen kann, kann so auf das lokal laufende Modell zugreifen. WiCi nennt als Beispiele die Programmier-Assistenten Claude Code und OpenCode. Am bestehenden Arbeitsablauf muss man laut Hersteller nichts ändern.

Wer mehr Leistung will, soll zur Hardware von WiCi greifen. WiCi One ist ein Gerät, das eine vollwertige NVIDIA-Grafikkarte per WLAN an kompatible Geräte anbindet. Darauf laufen dieselbe InferSSD-Engine und dieselbe WiCi-Infer-Oberfläche. Die kostenlose App dient also auch als Einstieg in WiCis Hardware-Geschäft.

Was du zum Ausprobieren brauchst

Laut Quelle gibt es WiCi Infer derzeit nur für macOS. Ob es Versionen für Windows oder Linux gibt, geht aus dem Bericht nicht hervor. Die genannten Benchmarks liefen allerdings auch auf einem DGX Spark, NVIDIAs kompaktem KI-Rechner. Für kleinere Modelle wie das genannte Qwen3 mit 35 Milliarden Parametern sollen laut WiCi schon 8 GB Speicher reichen. Für die 800B-Modelle nennt WiCi Geräte mit 48 GB (MacBook Pro M5 Max) bzw. 128 GB gemeinsamem Speicher.

Weil die Experten ständig von der SSD gelesen werden, ist eine schnelle SSD entscheidend. Außerdem brauchst du viel freien Platz: Modelle dieser Größe belegen auch komprimiert mehrere Hundert Gigabyte. Wie viel genau, sagt die Quelle nicht. Ob häufiges Lesen die SSD stärker abnutzt, wird nicht angesprochen. Lesen belastet SSDs allerdings grundsätzlich viel weniger als Schreiben.

Einordnung

WiCi Infer greift ein echtes Problem auf. Die besten offenen Modelle sind inzwischen fast alle MoE-Riesen, die selbst auf teuren Workstations nicht in den Speicher passen. Experten gezielt von der SSD nachzuladen ist ein naheliegender und eleganter Ansatz. Dass die Engine quelloffen ist, macht es leichter, die Behauptungen nachzuprüfen.

Kritisch bleibt: Alle Zahlen stammen vom Hersteller, und der Vergleich mit llama.cpp in einer Situation, in der es ohnehin kaum noch brauchbar ist, lässt den Abstand besonders groß wirken. Auch mit InferSSD liegt das Tempo bei 800B-Modellen im Bereich von etwa zwei Token pro Sekunde. Das reicht zum Ausprobieren und für einzelne schwierige Fragen, aber nicht für flüssiges Arbeiten. Spannender für den Alltag ist, wie gut sich mittelgroße MoE-Modelle auf Rechnern mit wenig Speicher schlagen. Hier fehlen noch unabhängige Tests. Klar ist auch das Geschäftsmodell: Die kostenlose App soll den Weg zur kostenpflichtigen WiCi-One-Hardware ebnen.

Videos zum Thema

local AI's biggest problem... they solved it? NetworkChuck · YouTube

Quellen

#lokale ki#moe#inferenz#macos#open source
Originalquelle lesen

Frag den KI-Assistenten

Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.