llama.cpp
Der Motor hinter Ollama und LM Studio – direkt nutzbar, mit eingebauter Chat-Oberfläche im Browser.
llama.cpp lässt Sprachmodelle im GGUF-Format auf deinem eigenen Rechner laufen, auf CPU, Nvidia-, AMD- und Apple-Grafik. Mit einem Befehl lädt es ein Modell von Hugging Face herunter und startet einen Server mit eigener Web-Chatoberfläche und OpenAI-kompatibler Schnittstelle. Du bekommst neue Modelle und Funktionen oft früher als in Programmen, die darauf aufbauen, und hast mehr Kontrolle über Einstellungen.
So probierst du es aus
Befehle aus den offiziellen Anleitungen – einfach kopieren.
Linux
# llama.cpp mit dem offiziellen Installationsskript installieren
curl -LsSf https://llama.app/install.sh | sh
# alternativ über Homebrew
brew install llama.cpp
# Kleines Testmodell laden und direkt im Terminal chatten
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# Oder Server mit Web-Chatoberfläche starten (Adresse steht im Terminal, meist http://localhost:8080)
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFmacOS
# llama.cpp mit dem offiziellen Installationsskript installieren
curl -LsSf https://llama.app/install.sh | sh
# alternativ über Homebrew
brew install llama.cpp
# Kleines Testmodell laden und direkt im Terminal chatten
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# Oder Server mit Web-Chatoberfläche starten (Adresse steht im Terminal, meist http://localhost:8080)
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFWindows (PowerShell)
# llama.cpp in der PowerShell mit dem offiziellen Skript installieren
irm https://llama.app/install.ps1 | iex
# alternativ über Winget
winget install llama.cpp
# Kleines Testmodell laden und direkt im Terminal chatten
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# Oder Server mit Web-Chatoberfläche starten (Adresse steht im Terminal, meist http://localhost:8080)
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFBefehle aus der offiziellen Anleitung. Neu im Werkzeugkasten seit 13. Nov. 2026.
Frag den KI-Assistenten
Fragen zu llama.cpp, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.