InferSSD / WiCi Infer

Lädt die Experten riesiger MoE-Modelle von der SSD und lässt so 800B-Modelle auf normalen PCs laufen.

Symbolbild, KI-generiert
SchwierigkeitEtwas Erfahrung
HardwareKleine Modelle ab ca. 8 GB RAM · Große MoE-Modelle brauchen eine schnelle NVMe-SSD mit 250–500 GB freiem Platz und eine GPU mit 16 GB+ VRAM oder einen Mac mit viel Unified Memory
LizenzApache-2.0
LinksGitHub

InferSSD baut auf llama.cpp auf. Bei Mixture-of-Experts-Modellen liest es nur die Experten von der SSD, die gerade gebraucht werden, deshalb laufen auch Modelle, die größer sind als dein RAM oder VRAM. Für macOS (Apple Silicon) und Windows gibt es die kostenlose App WiCi Infer: Sie richtet alles ein, lädt Modelle und startet den Chat ganz ohne Terminal. Wer lieber die Kommandozeile nutzt, bekommt eine Web-Oberfläche und eine OpenAI-kompatible API unter 127.0.0.1:8080. Die API hat keine Anmeldung, gib sie also nicht unbedacht im Netzwerk frei.

So probierst du es aus

Befehle aus den offiziellen Anleitungen – einfach kopieren.

Linux

# Installieren: baut aus dem Quellcode für deine CPU/GPU, ca. 2–12 Minuten
# Vorher nötig: Git, Python 3.9+, C/C++-Compiler, systemd mit cgroup v2 und das CUDA-Toolkit oder das ROCm HIP SDK
curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh

# Chat direkt im Terminal
inferssd cli -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

# Oder Web-Oberfläche + API unter http://127.0.0.1:8080 starten
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

macOS

# Am einfachsten: die App WiCi Infer (Apple Silicon, macOS 15+) herunterladen und starten
# https://appapi.wici.ai/versioning/wici-infer/redirect/macos-latest

# Oder per Terminal installieren (fertiges Paket, keine Entwicklerwerkzeuge nötig)
curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh

# Web-Oberfläche + API unter http://127.0.0.1:8080 starten
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

Windows (PowerShell)

# Am einfachsten: die App WiCi Infer (Windows 10/11, x64) herunterladen und starten
# https://appapi.wici.ai/versioning/wici-infer/redirect/windows-latest

# Oder in PowerShell installieren (fertiges Paket)
irm https://github.com/wici-ai/inferssd/releases/latest/download/install.ps1 | iex

# Web-Oberfläche + API unter http://127.0.0.1:8080 starten
inferssd serve -hf mrfakename/DeepSeek-V4.1-Flash-1017-GGUF

Befehle aus der offiziellen Anleitung. Neu im Werkzeugkasten seit 22. Nov. 2026.

Frag den KI-Assistenten

Fragen zu InferSSD / WiCi Infer, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.

Verbinde …

Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.

Kommentare

Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.

  1. Kommentare werden geladen …

Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.