InferSSD / WiCi Infer
Lädt die Experten riesiger MoE-Modelle von der SSD und lässt so 800B-Modelle auf normalen PCs laufen.

InferSSD baut auf llama.cpp auf. Bei Mixture-of-Experts-Modellen liest es nur die Experten von der SSD, die gerade gebraucht werden, deshalb laufen auch Modelle, die größer sind als dein RAM oder VRAM. Für macOS (Apple Silicon) und Windows gibt es die kostenlose App WiCi Infer: Sie richtet alles ein, lädt Modelle und startet den Chat ganz ohne Terminal. Wer lieber die Kommandozeile nutzt, bekommt eine Web-Oberfläche und eine OpenAI-kompatible API unter 127.0.0.1:8080. Die API hat keine Anmeldung, gib sie also nicht unbedacht im Netzwerk frei.
So probierst du es aus
Befehle aus den offiziellen Anleitungen – einfach kopieren.
Linux
# Installieren: baut aus dem Quellcode für deine CPU/GPU, ca. 2–12 Minuten
# Vorher nötig: Git, Python 3.9+, C/C++-Compiler, systemd mit cgroup v2 und das CUDA-Toolkit oder das ROCm HIP SDK
curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh
# Chat direkt im Terminal
inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
# Oder Web-Oberfläche + API unter http://127.0.0.1:8080 starten
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
macOS
# Am einfachsten: die App WiCi Infer (Apple Silicon, macOS 15+) herunterladen und starten
# https://appapi.wici.ai/versioning/wici-infer/redirect/macos-latest
# Oder per Terminal installieren (fertiges Paket, keine Entwicklerwerkzeuge nötig)
curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh
# Web-Oberfläche + API unter http://127.0.0.1:8080 starten
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
Windows (PowerShell)
# Am einfachsten: die App WiCi Infer (Windows 10/11, x64) herunterladen und starten
# https://appapi.wici.ai/versioning/wici-infer/redirect/windows-latest
# Oder in PowerShell installieren (fertiges Paket)
irm https://github.com/wici-ai/inferssd/releases/latest/download/install.ps1 | iex
# Web-Oberfläche + API unter http://127.0.0.1:8080 starten
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF
Befehle aus der offiziellen Anleitung. Neu im Werkzeugkasten seit 22. Nov. 2026.
Frag den KI-Assistenten
Fragen zu InferSSD / WiCi Infer, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.