Deepseek veröffentlicht DeepInfer: Inferenz-Engine als Open Source

Worum es geht

Das chinesische KI-Unternehmen Deepseek hat auf GitHub ein neues Open-Source-Werkzeug namens DeepInfer veröffentlicht. Es ist die Inferenz-Engine hinter dem Modell Deepseek-V4.1-Flash. Inferenz bezeichnet den alltäglichen Betrieb einer KI: Das Modell bekommt neue Eingaben und beantwortet sie mit dem, was es im Training gelernt hat. DeepInfer soll Compute- und Energiekosten senken und KI laut Deepseek „erschwinglicher“ machen. Es geht nicht um die Preise für Nutzer der Deepseek-App oder -Website, sondern um alle, die das Modell selbst betreiben.

Was DeepInfer technisch macht

Das Framework greift an mehreren Stellen der Inferenzphase ein. Die Last wird gleichmäßiger auf die verfügbaren Prozessorkerne verteilt. „Spekulatives Decoding“ – ein Verfahren, bei dem schnell mögliche nächste Wörter vorgeschlagen und anschließend geprüft werden – soll Antworten beschleunigen. Zudem werden Ausgaben besser strukturiert, bevor sie an Nutzer gehen. Laut Latent Space unterstützt die Engine verteilte Inferenz, SWA Bounded Replay und strukturierte Ausgaben auf Nvidia- und Huawei-Ascend-Plattformen.

Dazu gehört die Bibliothekssammlung deepseek-recipe in Rust. Sie wandelt Anfragen der APIs Chat Completions, Responses und Messages in Token-Folgen um und analysiert Modellausgaben samt Reasoning und Tool-Aufrufen. Deepseek sagt, die Logik entspreche der offiziellen API. Ein Drittanbieter müsste aber weiterhin Inferenz, Tool-Ausführung und HTTP-Transport selbst bereitstellen. Laut README handelt es sich um „Offline-Inferenz“; einen API-Server dokumentiert das Repository nicht.

Die Architektur trennt Bildkodierung, Prefill (Verarbeitung des Eingabetexts) und Decode (Erzeugung der Antwort Token für Token), damit jede Stufe für sich skaliert. Die empfohlene Decode-Konfiguration verteilt die Experten des Modells auf 64 bis 128 GPUs, das Verhältnis Prefill zu Decode liegt bei etwa 1:1. Die kleinste sinnvolle Einheit sind also 64 GPUs für Prefill und 64 für Decode. Pro Achter-Gruppe empfiehlt Deepseek rund 400 Gbit/s Interconnect.

Hardware: nichts für Privatanwender

Unterstützt werden Nvidia-GPUs mit SM100-Architektur, also Blackwell für Rechenzentren, sowie Huawei Ascend 950 (benötigt die Toolbox CANN 9.2). Ein Ascend-950-Chip kostet laut Bloomberg etwas mehr als 37.000 US-Dollar. Batch-invariante Inferenz (gleicher Prompt, gleiche Ausgabe, egal wie der Stapel zusammengesetzt ist) und deterministisches Sampling gibt es nur auf Nvidia. Die zwei Leistungsgrafiken im README stammen ebenfalls von Nvidia; Zahlen nennt der Text nicht. Am 20. Oktober gab es laut Bloomberg keine unabhängigen Benchmarks.

Zahlen aus dem Betrieb – mit Vorsicht

Deepseek nennt in einem begleitenden Dokument: Ein einzelner Cluster verarbeite 155 Billionen Tokens pro Tag, der Umsatz liege bei 38 Dollar pro GPU-Stunde zu Nebenzeiten (halber Spitzentarif). Weitere Angaben laut Latent Space: 96 % Cache-Treffer bei Eingaben, im Mittel 400 ms bis zum ersten Token, 230 Tokens/s Generierung, bis 300 Tokens/s beim Coding. Das ist ein Umsatz, keine Kosten oder Marge. Clustergröße, Chip, Eingabeanteil und ob der Umsatz real abgerechnet oder theoretisch ist, bleiben offen. Zum Vergleich: Im März 2025 nannte Deepseek für V3/R1 einen theoretischen Umsatz, den ActuIA auf 12,9 Dollar pro GPU-Stunde umrechnet. Der Vergleich ist indirekt, da Modell und Preise abweichen. Latent Space rechnet mit eigenen Annahmen eine Marge von über 80 % aus – das ist eine Schätzung des Newsletters, kein Deepseek-Wert. Wichtig: Die 155 Billionen sind bedienende Tokens inklusive Cache-Treffern, nicht neu berechnete.

Was intern bleibt

Für einen vollständigen Dienst fehlen laut README das KV-Cache-System (Zwischenspeicher bereits berechneter Attention-Zustände), die Trennung der Phasen auf verschiedene Maschinen und die Lastverteilung zwischen Replikaten. Bei der Phasentrennung seien die meisten Engine-Funktionen schon implementiert; die anderen Bausteine seien „eng an unsere interne Infrastruktur gekoppelt“ und nicht vollständig offen. Der Cache nutzt 3FS, das 2025 freigegebene verteilte Dateisystem, mit etwa 100 Pebibyte SSD und Aufbewahrung von drei Tagen für Agenten- und sieben Tagen für Chatbot-Verkehr. Von vier Lastverteilern ist der für Experten im Code enthalten. Insgesamt erreiche die Verteilung rund 80 % eines perfekt ausbalancierten Offline-Benchmarks.

Hintergrund und Reaktionen

Im April 2025 hatte Deepseek es abgelehnt, seine interne Engine zu öffnen: Sie basiere auf einem alten vLLM-Fork, sei eng mit der Infrastruktur verwoben, und das kleine Team könne ein großes Projekt nicht pflegen. Nun nennt das README vLLM weiterhin als Basis, mit SGLang und TensorRT-LLM als Inspiration. Eine Erklärung für den Kurswechsel gibt Deepseek nicht. Neu: Die Engine zielt auf mehrere Chipanbieter, und Inferenzcode künftiger Modelle soll dort erscheinen. Bisher läuft nur V4.1-Flash; V4.1-Pro ist angekündigt, hat aber kein Datum. Das vLLM-Team, dessen Projekt unter Apache 2.0 steht, berichtet, auf GB200 bei gleicher Konfiguration beim Decode-Durchsatz innerhalb von 6 % der DeepInfer-Werte zu liegen – das relativiert die Annahme, Deepseeks Effizienz sei mit bestehenden Open-Source-Engines unerreichbar.

Einordnung

DeepInfer ist vor allem für Betreiber großer Blackwell- oder Ascend-Cluster interessant, nicht für Hobbyanwender. Der Blick in die Praxis eines Anbieters mit enormem Durchsatz ist lehrreich, die Vorstellung „voll offen“ stimmt aber nur eingeschränkt, weil Cache und Orchestrierung fehlen. Alle Leistungs- und Umsatzzahlen sind Eigenangaben ohne Audit, und der vLLM-Vergleich zeigt, dass der Vorsprung kleiner sein könnte als behauptet. Offen bleiben Kosten, Marge und die tatsächliche Übertragbarkeit auf andere Setups.