inferzero: Wie ein Ein-Mann-Projekt Intel-Laptops zu KI-Rechnern macht
In Millionen Laptops mit Core-Ultra-Chip steckt eine Arc-Grafikeinheit, die bei lokaler KI bisher kaum zum Zug kommt. Die freie Engine inferzero liest lange Texte auf diesen Laptops um ein Vielfaches schneller ein als llama.cpp. Beim Schreiben der Antwort hilft das wenig, deshalb kommt es auf die Wahl des Modells an.

Darum geht es
In sehr vielen aktuellen Laptops steckt ein Intel Core Ultra, also Meteor Lake, Arrow Lake, Lunar Lake oder Panther Lake. Auf all diesen Chips sitzt eine Arc-Grafikeinheit, die sich den Arbeitsspeicher mit dem Prozessor teilt. Für lokale KI nutzen die meisten Leute llama.cpp, die Software hinter Ollama und LM Studio. Auf Intel-Grafik erreicht sie aber nur einen Teil dessen, was die Hardware hergibt. Das Projekt inferzero des Entwicklers rizagp will das ändern. Es ist eine von Grund auf neu geschriebene Engine, die direkt auf Level Zero aufsetzt, Intels Programmierschnittstelle für den direkten Zugriff auf die Grafikeinheit.
Unsere These: inferzero macht Intel-Laptops beim Einlesen langer Texte deutlich schneller. Beim Schreiben der Antwort ändert sich wenig. Wer davon profitieren will, muss das passende Modell wählen. Alle Leistungswerte unten stammen vom Entwickler oder von einzelnen Testern auf GitHub. Eine unabhängige Nachmessung gibt es bisher nicht, eigene Messungen haben wir nicht gemacht.
Was inferzero anders macht
Laut README liest inferzero GGUF-Dateien direkt, das übliche Format für verkleinerte (quantisierte) Modelle. Es kennt die Stufen IQ1 bis Q8_0 und MXFP4. Nach außen bietet es Schnittstellen, die mit OpenAI, Anthropic und Ollama kompatibel sind, dazu eine Weboberfläche unter 127.0.0.1:8090 und eine Anbindung an den Coding-Agenten Pi. Hinzu kommen Bild- und Audioeingabe, Sprachgespräche, PDF-Texterkennung und Fernzugriff per Cloudflare Tunnel. Unterstützt werden Qwen3.5, Qwen3.6 und Qwen3.8, Gemma 4, DeepSeek-V4.1-Flash sowie Whisper und Qwen3-ASR für Spracherkennung. Lizenz ist Apache 2.0. Das Projekt betont, unabhängig zu sein und nicht von Intel unterstützt zu werden.
Der Kern sind selbst geschriebene Rechenkerne. Ältere Intel-Grafik wie Meteor Lake hat keine XMX-Einheiten, also keine Spezialrechenwerke für Matrizen, wie sie Nvidias Tensor-Kerne sind. Sie kann aber mit DP4a viele kleine Ganzzahl-Multiplikationen auf einmal ausführen. Laut der Projektdoku erreichte der Entwickler damit 6 bis 9 TOPS (Billionen Rechenoperationen pro Sekunde). Die Vulkan- und SYCL-Backends von llama.cpp kamen auf etwa 1,5 TOPS. Auf neueren Chips mit XMX (Lunar Lake, Panther Lake, Arc-B-Karten) nutzt inferzero diese Einheiten zusätzlich. Dazu kommen Experten-Streaming: Bei Mixture-of-Experts-Modellen, die nur einen Teil ihrer Fachmodule pro Wort aktivieren, werden Module, die nicht in den Speicher passen, von der SSD nachgeladen. Und es gibt spekulatives Dekodieren per MTP-Kopf oder DFlash2-Entwurfsmodell: Ein kleiner Helfer rät bis zu sieben Token voraus, das große Modell prüft sie in einem Durchgang.
Die Genauigkeit prüft das Projekt mit der KL-Divergenz, einem Maß dafür, wie stark die Wahrscheinlichkeiten von einer exakten Referenzrechnung abweichen (0 heißt identisch). Ziel sind Werte unter 0,015.
Die Zahlen: Einlesen schnell, Schreiben zäh
Getestet wurde auf einem Core Ultra 5 125H mit 32 GB RAM. Den Vergleich mit llama.cpp hat der Entwickler auf demselben Laptop mit denselben Dateien gemessen, im Oktober. Die Faktoren haben wir aus seinen Zahlen berechnet:
| Test (125H) | inferzero | llama.cpp Vulkan | llama.cpp SYCL | Faktor |
|---|---|---|---|---|
| Qwen3.5 4B, 2K-Prompt | 911 tok/s | 242 | 337 | 2,7–3,8× |
| Qwen3.5 9B, 2K-Prompt | 402 tok/s | 151 | 189 | 2,1–2,7× |
| Qwen3.8 27B, 2K-Prompt | 113 tok/s | 23 | 25 | 4,5–4,9× |
| 27B, 34K-Code-Prompt bis zum ersten Token | 327 s | 2.418 s | 1.624 s | 5,0–7,4× |
| 27B, Schreiben danach | 3,7 tok/s | 2,1 | 1,1 | – |
Die „vier- bis fünffache“ Beschleunigung gilt also für das 27B. Bei kleinen Modellen ist der Abstand kleiner, bei sehr langen Prompts größer. Bei der Perplexität, einem Maß dafür, wie gut ein Modell Text vorhersagt (niedriger ist besser), liegt inferzero leicht vorn: 6,056 gegenüber 6,141 beim 4B und 4,274 gegenüber 4,311 beim 27B.
Die aktuelle Tabelle vom 9. November (125H, 256 Token Ausgabe):
| Modell | 8K-Prompt | 131K-Prompt | Schreiben | mit Drafting |
|---|---|---|---|---|
| Qwen3.6 35B-A3B (MoE) | 851 tok/s, 9,6 s | 6,7 min | 21,6 tok/s | 38,1 |
| Gemma 4 26B-A4B (MoE) | 232 tok/s, 35 s | 50 min | 19,8 tok/s | – |
| Qwen3.8 27B (dicht) | 135 tok/s, 61 s | 27 min | 5,1 tok/s | 12,9 |
| Qwen3.5 9B | 487 tok/s, 17 s | 7,8 min | 11,8 tok/s | 21,6 |
| Gemma 4 E4B | 707 tok/s, 12 s | 9,8 min | 19,1 tok/s | 41,8 |
| Qwen3.5 4B | 896 tok/s, 9,2 s | 6,0 min | 21,0 tok/s | 35,8 |
Ein Bericht von acht Seiten ist mit dem 35B-A3B in rund zehn Sekunden eingelesen. Dasselbe Dokument braucht mit dem dichten 27B eine Minute, eine große Codebasis mit 131.000 Token fast eine halbe Stunde.
Warum die Speicherbandbreite bremst
Für jedes geschriebene Token muss ein dichtes Modell praktisch alle seine Daten einmal aus dem Speicher lesen. Die Doku nennt für den 125H gemessene 75 bis 77 GB/s, theoretisch wären 102 möglich. Das 27B in der verwendeten Quantisierung liest pro Token etwa 11,3 GB. Unsere Überschlagsrechnung: 77 durch 11,3 ergibt eine Obergrenze von knapp 7 Token pro Sekunde, egal wie gut die Software ist. Der Entwickler selbst nennt etwa 6,5. Die gemessenen 5,1 liegen also schon nah an der Grenze.
Ein MoE-Modell wie Qwen3.6 35B-A3B aktiviert pro Token nur rund 3 Milliarden seiner 35 Milliarden Parameter und muss deshalb viel weniger lesen. Darum schreibt es auf demselben Laptop viermal so schnell wie das 27B, obwohl es insgesamt größer ist. Drafting hilft vor allem bei Code. Bei Fließtext bringt es laut Doku deutlich weniger, weil die Helfermodelle überwiegend mit Englisch und Code trainiert wurden.
Das Update vom 17. November: Panther Lake
Auf Panther Lake (Arc B390) und Lunar Lake nutzt inferzero seit dem Release 2026.11.17.01 dieselben Rechenwege wie auf den dedizierten Arc-Karten. Laut Release stieg der 4K-Prompt des 27B auf einem B390 von etwa 260 auf etwa 550 Token/s, bei einer KL-Divergenz von 0,0018. Mit ARC_H8=0 und ARC_ATTN_FX=0 lassen sich die neuen Pfade abschalten.
Alle Werte kommen in Issue #1 von einem einzigen Tester. Er nutzt einen Core Ultra X7 358H mit 128 GB steckbarem RAM, der langsamer ist als der sonst übliche aufgelötete Speicher. Die auf Reddit genannten „~590 tok/s“ (gemessen 583 bis 592) brauchen 16 GB dauerhaft vorbereitete Gewichte. Diese Einstellung gilt laut Release 2026.11.17.02 erst ab einem GPU-Speicheranteil von 64 GiB als Standard. Auf einem typischen 32-GB-Laptop ist eher mit den 550 zu rechnen. Beim Schreiben blieb das 27B bei 5,8 bis 5,9 Token/s. Die Behauptung aus dem Reddit-Titel, eine Arc B580 mit 12 GB könne jetzt das 27B ausführen, konnten wir in Repo, Doku und Release-Notes nicht mit Messwerten belegen.
Welches Modell auf welchem Chip
| Chip | Besonderheit | Gemessene inferzero-Werte | Unsere Empfehlung |
|---|---|---|---|
| Meteor Lake (z. B. 125H) | keine XMX, ~77 GB/s | siehe Tabelle oben | 32 GB: 35B-A3B, 16 GB: Qwen3.5 4B oder Gemma 4 E4B |
| Arrow Lake H (Arc 140T) | XMX, ~81 GB/s | 27B: 357 tok/s (4K), 6,1 tok/s (14,6 mit MTP) | 35B-A3B, MoE-Werte fehlen noch |
| Lunar Lake (Arc 140V) | XMX, 16 oder 32 GB fest verlötet | keine veröffentlicht | 32 GB: 35B-A3B testen, 16 GB: kleine Modelle |
| Panther Lake (Arc B390) | Xe3 mit XMX | 27B: 550–590 tok/s, 5,9 tok/s (16,8 mit MTP); 35B-A3B: 1.182 tok/s bei 2,5K-Prompt, 24–34 tok/s | 35B-A3B, llama.cpp zum Vergleich testen |
| Arc Pro B60 | eigene Grafikkarte | 27B: 1.522 tok/s, 22,7–23,3 tok/s (51,6 mit MTP); 35B-A3B: 3.536 tok/s, 82,4 tok/s (111,9) | 27B wird hier alltagstauglich |
| Arc Pro B70 | eigene Grafikkarte | 27B (IQ3_S): 2.772 tok/s (4K), ~32 tok/s; 35B-A3B: 5.612 tok/s (8K), 95–98 tok/s | beides gut nutzbar |
Unsere Einschätzung: Auf allen Laptop-Chips ist das 35B-A3B die beste Wahl, sofern 32 GB RAM vorhanden sind. Dichte 27B-Modelle sind auf iGPUs nur sinnvoll, wenn die Antwort warten kann. Mehrere Karten lassen sich per --gpus N zusammenschalten. Mit vier B60 schrieb das 27B laut Projekt 35,7 bis 53 Token/s. Beim Einlesen hat ein Tester auf einem Board mit langsamer x4-Anbindung allerdings die Hälfte der Geschwindigkeit verloren (Issue #19).
Gegencheck: llama.cpp, OpenVINO, IPEX-LLM
Unabhängige Tests zeigen, dass der Vorsprung von Chip und Modell abhängt. Auf Panther Lake schaffte llama.cpp mit Vulkan beim 35B-A3B laut grigio.org 633 Token/s beim Einlesen (512-Token-Prompt) und 33 Token/s beim Schreiben. In einem zweiten Test mit neuerer Version waren es 758 und 30,9. Mit Intels OpenVINO kam die Benchmark-Sammlung des Projekts NoLlama auf demselben Chiptyp auf 41 Token/s beim Schreiben. Bei MoE-Modellen auf neuen Chips ist inferzero beim Schreiben also nicht vorn, beim Einlesen vermutlich schon. Die Testlängen sind allerdings verschieden.
Auch auf der B70 ist der Abstand kleiner, als die Laptop-Zahlen vermuten lassen. Jonathan Mann maß mit llama.cpp und Vulkan nach einem Mesa-Update 76 Token/s beim 35B-A3B und 20 beim 27B (Q4_K_XL). Er warnt, dass ältere Benchmarks nach zwei Monaten um den Faktor 7 danebenlagen. Das gilt auch für inferzeros llama.cpp-Vergleich, der aus dem Oktober stammt. Für die B70 gibt es außerdem mit urakozz/intel-arc-inference-server eine ähnliche Engine unter AGPL-Lizenz. Sie meldet beim MoE-Modell Ornith 35B-A3B 9.362 Token/s beim Einlesen. inferzero will Ideen daraus übernehmen.
Intels eigene Bibliothek IPEX-LLM ist dagegen seit dem 28. Januar 2026 archiviert. Laut Hinweis auf GitHub gibt es keine Unterstützung mehr, und sie hat „bekannte Sicherheitsprobleme“. OpenVINO wird weiter gepflegt, konnte im Test von grigio.org das 35B-A3B als llama.cpp-Backend aber nicht ausführen.
Was du zum Ausprobieren brauchst
Du brauchst einen Core-Ultra-Laptop mit Arc-Grafik und Windows 11 (64 Bit) mit aktuellem Intel-Treiber oder Ubuntu ab 24.04 mit Intels GPU-Runtime. Laut README reichen 16 GB RAM für 4B- und E4B-Modelle, für 12B bis 35B sind 32 GB nötig. Unter Windows lädst du das rund 10 MB große ZIP aus den Releases, startest zero-launcher.cmd und wählst ein Modell. Unter Linux startest du ./zero-launcher.sh --check. Die Linux-Version ist erst wenige Tage alt, einige Funktionen fehlen dort noch.
Einordnung
inferzero zeigt, wie viel Leistung in Intel-Grafik steckt, die llama.cpp bisher nicht nutzt. Das gilt besonders für ältere Meteor-Lake-Laptops ohne XMX, auf denen llama.cpp am schwächsten ist. Wer dort lange Dokumente oder Code zusammenfassen lässt, wartet Sekunden statt Minuten. Gegen die Speicherbandbreite hilft aber auch die beste Software nicht.
Es gibt Vorbehalte. Das Projekt stammt von einer Person, laut Level1Techs-Forum von Riza Guntur Prakoso, und hat 815 Commits. An manchen Tagen erscheinen fünf Releases. Antworten auf GitHub sind teils als „overnight assistant“ für den Maintainer unterschrieben, offenbar arbeitet also ein KI-Agent mit. Getestet wurde vor allem auf einem einzigen 125H, die Werte für Panther Lake, B60 und B70 kommen von einzelnen Nutzern. Unsere Einschätzung: Für Bastler mit Intel-Laptop lohnt sich ein Test, vor allem mit dem 35B-A3B. Wer einfach etwas will, das zuverlässig läuft, bleibt vorerst bei llama.cpp mit Vulkan.
Quellen
- GitHub: rizagp/inferzero (README) github.com
- GitHub: inferzero Release 2026.11.17.01 github.com
- GitHub: inferzero Releases github.com
- GitHub: inferzero Issue #1 (Arc B390 / Panther Lake) github.com
- GitHub: inferzero Issue #27 (Pro B70 unter Linux) github.com
- GitHub: inferzero Issue #12 (B70 Benchmarks) github.com
- GitHub: inferzero Issue #19 (B60 Benchmarks) github.com
- GitHub: inferzero Issue #4 (Multi-GPU) github.com
- GitHub: inferzero Issue #11 (Linux-Support) github.com
- inferzero-Doku: Lessons Intel Arc iGPU github.com
- inferzero-Doku: before-after github.com
- inferzero-Doku: xe2-tuning github.com
- inferzero-Doku: multi-gpu github.com
- inferzero-Doku: arc-plan-2026-11-17 github.com
- Level1Techs Forum: Arcinferzero forum.level1techs.com
- grigio.org: llama.cpp-Backends auf Panther Lake grigio.org
- grigio.org: llama.cpp 0.9.x Vulkan vs SYCL auf B390 grigio.org
- GitHub: NoLlama Benchmarks (OpenVINO/Ollama auf Lunar und Panther Lake) github.com
- Jonathan Mann: Intel Arc B70 llama.cpp Benchmarks jonathanmann.tech
- GitHub: llama.cpp Discussion #23313 (SYCL-Performance) github.com
- GitHub: intel/ipex-llm (archiviert) github.com
- GitHub: urakozz/intel-arc-inference-server github.com
- GitHub: local-ai-registry PR #207 (B390 SYCL-Rezept) github.com
- Wikipedia: Lunar Lake en.wikipedia.org
Frag den KI-Assistenten
Fragen zu diesem Artikel, zur Installation oder zu Hintergründen? Unser Assistent kennt diese Seite und läuft auf unserem eigenen Rechner, nicht in einer fremden Cloud.
Der Assistent ist eine KI (Gemma 4) und kann sich irren – wichtige Angaben bitte in der Quelle prüfen. Fragen werden nur zum Beantworten genutzt und nach einer Stunde gelöscht. Bitte keine persönlichen Daten eingeben.
Kommentare
Was meinst du dazu? Schon ausprobiert? Schreib es hier, ohne Anmeldung.
Kommentare sind öffentlich. Links sind nicht erlaubt, beleidigende Beiträge löschen wir. Deinen eigenen Kommentar kannst du in diesem Browser jederzeit wieder löschen. Mehr dazu in der Datenschutzerklärung.