inferzero: Große Sprachmodelle schnell auf dem Intel-Laptop ohne Grafikkarte

Worum es geht

Wer einen aktuellen Windows-Laptop mit Intel Core Ultra besitzt, hat eine recht leistungsfähige integrierte Grafikeinheit an Bord: die „Arc Graphics“. Für lokale KI-Modelle wird sie bisher kaum genutzt, denn die verbreiteten Programme sind vor allem auf Nvidia-Grafikkarten und Apple-Chips optimiert. Das Open-Source-Projekt inferzero will das ändern. Es stammt von dem unabhängigen Entwickler rizagp und hieß bis zum 10. November 2026 noch „arcinferzero“. Mit Intel hat das Projekt nichts zu tun, Intel unterstützt es auch nicht offiziell.

inferzero ist eine sogenannte Inferenz-Engine, also das Programm, das ein fertig trainiertes Sprachmodell ausführt. Der Entwickler hat sie komplett neu in C++ geschrieben und speziell auf Intels integrierte GPUs zugeschnitten. Unterstützt werden die Generation Xe-LPG (Meteor Lake) sowie Xe2 und Xe3, also Lunar Lake und Panther Lake mit der Arc B390. Gebaut und optimiert wurde alles auf einem Core Ultra 5 125H mit 32 GB Arbeitsspeicher. Der Laptop hat keine separate Grafikkarte und keine XMX-Einheiten, das sind spezielle Rechenwerke für Matrizen, die erst in neueren Intel-Chips stecken. Der Code liegt auf GitHub und steht unter der Apache-2.0-Lizenz.

Wie die Engine so schnell wird

Der wichtigste Trick: Alle Matrixmultiplikationen, also die Rechenarbeit, aus der ein Sprachmodell größtenteils besteht, laufen über die DP4a-Einheiten der iGPU. Diese Einheiten berechnen sehr effizient Skalarprodukte aus 8-Bit-Ganzzahlen (int8). Angesprochen wird die Hardware über Level Zero, Intels hardwarenahe Programmierschnittstelle für GPUs. Die Rechenkernel werden mit OpenCL kompiliert. Wo XMX-Einheiten vorhanden sind, nutzt die Engine sie für die Verarbeitung der Eingabe, aber erst nachdem ein Abgleich beim Start mit den DP4a-Kerneln bestanden ist.

Der zweite Baustein betrifft Mixture-of-Experts-Modelle (MoE). Bei solchen Modellen arbeitet pro Token nur ein kleiner Teil der Teilnetze, der „Experten“. inferzero behält nur die gerade benötigten Experten im GPU-Speicher. Die fehlenden Experten für die nächste Schicht liest es von der SSD, während die GPU noch an der aktuellen Schicht rechnet. So laufen Modelle, die größer als der verfügbare Speicher sind. Ein Beispiel ist Qwen3.8 Flash Next mit 52 GB an Experten auf einem Laptop mit 32 GB RAM.

Dazu kommt spekulatives Decoding. Ein kleiner Zusatzbaustein rät mehrere Token im Voraus, und das große Modell prüft sie in einem einzigen Durchgang. Genutzt werden der eingebaute MTP-Block des Modells (Multi-Token Prediction) und ein „DFlash2“-Drafter. Sie raten bis zu sieben Token pro Schritt. Laut Entwickler ist der ausgegebene Text dabei identisch mit dem normalen Decoding. Python-Code erzeugt das 35B-Modell so mit rund 50 Token pro Sekunde.

Auf Genauigkeit legt das Projekt besonderen Wert. Jedes Modell wird mit einer unabhängigen CPU-Implementierung in voller 32-Bit-Genauigkeit verglichen, als Maß dient die KL-Divergenz. Sie zeigt, wie stark die Wahrscheinlichkeiten für das nächste Token von der Referenz abweichen, 0 heißt identisch. Jede Änderung muss unter 0,015 bleiben. Die Ausgaben sind außerdem deterministisch: Derselbe Prompt liefert jedes Mal bitgenau dieselben Werte.

Die Messwerte

Alle Zahlen stammen vom Entwickler selbst und wurden auf dem Core Ultra 5 125H mit 32 GB RAM gemessen (Stand 25. Oktober 2026). „Prompt“ bedeutet, wie schnell die Eingabe eingelesen wird. „Generation“ bedeutet, wie schnell die Antwort entsteht.

Der Vergleich mit llama.cpp, dem verbreitetsten Programm für lokale Modelle, fällt deutlich aus:

Die Perplexität misst, wie „überrascht“ ein Modell von einem Testtext ist. Hier liegt inferzero leicht vor llama.cpp, die Ergebnisse werden durch die schnellere Rechnung also nicht schlechter. Experimentell kann zusätzlich die NPU mitrechnen, der KI-Beschleuniger im Prozessor (Schalter --npu on). Bei Qwen3.8 27B steigt das Prompt-Tempo damit von 133,5 auf 153,8 Token/s, die Abweichung von der Referenz nimmt dabei aber etwas zu.

Mehr als eine Engine: Web-Oberfläche, Sprache, Agenten

inferzero bringt einen Server mit. Er bietet Schnittstellen, die mit OpenAI, Anthropic und Ollama kompatibel sind, sodass viele vorhandene Programme ihn direkt nutzen können. Mit einem einzigen Befehl lässt sich außerdem der Coding-Agent Pi anbinden. Prompt- und Sitzungs-Caches sorgen dafür, dass bei einer neuen Nachricht nur der neue Teil verarbeitet wird. Ein Beispiel: Nach einem Werkzeugergebnis mit 20.000 Token dauert eine einzeilige Rückfrage an Gemma 4 E4B 0,8 Sekunden statt 38. Mit --slots 2 können zwei Pi-Sitzungen gleichzeitig dasselbe Modell nutzen. Wenn beide gerade schreiben, steigt der Gesamtdurchsatz, beim 35B-Modell zum Beispiel von 20,2 auf 24,7 Token/s.

Die Web-Oberfläche kann im Netz suchen und Seiten lesen. Man kann auch per Sprache mit dem Modell reden: Gemma 4 E4B und 12B verstehen Audio direkt, für andere Modelle schreibt Qwen3-ASR mit (--whisper auto). Die Antwort wird Satz für Satz vorgelesen und lässt sich unterbrechen. Eigene Reiter für Transkripte und Meetings gibt es auch. Lange Dokumente liest die Funktion digest_file abschnittsweise und legt Notizen an, die Antworten nennen die Seitenzahl. PDFs und Bilder erkennt Xiaomi-OCR-0 per Texterkennung und wandelt sie in Markdown um, Tabellen bleiben dabei erhalten. Über einen Cloudflare-Tunnel mit Passwort ist das System auch vom Smartphone aus erreichbar.

Unterstützt werden die Modellfamilien Qwen3.5, 3.6 und 3.8 (0,8B bis 27B dicht, 35B-A3B MoE, Flash Next), Gemma 4 (E4B, 12B, 26B-A4B, 31B in Googles QAT-Q4_0-Version) sowie Whisper large-v3 und Qwen3-ASR für Spracherkennung. GGUF-Dateien werden unverändert geladen, von IQ1 bis Q8_0.

Auch für separate Arc-Grafikkarten

Experimentell laufen auch Intels separate Arc-B-Karten (B580, Pro B60, Pro B70). Ein Nutzer hat auf einer Arc Pro B60 Folgendes gemessen:

• Qwen3.6 35B-A3B: 3.232 Token/s beim Prompt, 78,8 Token/s bei der Generation und 113,7 mit MTP.
• Qwen3.8 27B: 23,2 Token/s bei der Generation und 49,3 mit MTP.

Mit --gpus N lässt sich ein Modell per Tensor-Parallelität auf mehrere Karten verteilen. Das 27B-Modell kommt so auf 35,7 Token/s mit zwei, 43 mit drei und 53 mit vier GPUs.

Was du zum Ausprobieren brauchst

• Betriebssystem: Windows 11 (64 Bit) mit aktuellem Intel-Grafiktreiber. Linux oder macOS nennt das Projekt nicht, Macs scheiden ohnehin aus, weil eine Intel-Arc-GPU nötig ist.
• Prozessor: ein Intel Core Ultra mit integrierter Arc-Grafik. Eine separate Grafikkarte ist nicht nötig.
• Arbeitsspeicher: 16 GB für die kleinen Modelle (4B, Gemma 4 E4B) und 32 GB für die Modelle mit 12B bis 35B.
• Speicherplatz: eine schnelle SSD mit genug Platz für die Modelldateien. Bei den großen MoE-Modellen werden die Experten während der Nutzung von dort gelesen, Flash Next belegt allein 52 GB.
• Installation: Das 6 MB große Paket gibt es unter Releases. Entpacken, zero-launcher.cmd starten, ein Modell auswählen (das passende ist vorausgewählt) und „Download and start“ klicken. Die Oberfläche öffnet sich dann unter http://127.0.0.1:8090/. Python oder einen Compiler brauchst du nicht. Beim ersten Start zeigt Windows eventuell eine Warnung an, die du mit „Weitere Informationen“ und „Trotzdem ausführen“ bestätigst.

Einordnung

inferzero zeigt, wie viel Leistung in gewöhnlichen Büro-Laptops steckt, wenn man Software gezielt auf die Hardware zuschneidet. Besonders deutlich ist der Vorsprung beim Einlesen langer Eingaben. Das ist genau der Teil, der bei Coding-Agenten und langen Dokumenten am meisten Zeit kostet. Dass MoE-Modelle mit 35 Milliarden Parametern über SSD-Streaming auf einem 32-GB-Laptop laufen, ist für diese Geräteklasse bemerkenswert.

Die Einschränkungen solltest du kennen. Alle Zahlen stammen vom Entwickler selbst oder von einzelnen Nutzern, unabhängige Tests gibt es bisher nicht. Die Angabe „851 Token/s“ für das 35B-Modell aus der Reddit-Ankündigung findet sich so nicht in der README. Dort stehen 604 Token/s bei einem 32K-Prompt. Die Generationsgeschwindigkeit bei dichten Modellen ist mit 3 bis 5 Token/s für 27B bis 31B ohne Drafter weiterhin langsam. Flüssig wird es vor allem mit den MoE-Modellen und den kleineren Gemma-Modellen. Außerdem gibt es das Programm nur für Windows und Intel-Hardware, und es stammt von einem Einzelentwickler, der in sehr hohem Tempo Änderungen veröffentlicht. Für Besitzer eines Core-Ultra-Laptops ist es trotzdem eine der interessantesten Möglichkeiten, Modelle lokal zu nutzen, ohne Geld für zusätzliche Hardware auszugeben.