llama.cpp: Intel-XMX-Refactoring beschleunigt Speculative Decoding auf B70 deutlich
Ein Pull Request für llama.cpp überarbeitet die Nutzung der Intel-XMX-Matrixeinheiten und verdoppelt auf einer Intel B70 fast den Durchsatz beim Speculative Decoding.
Worum es geht
Ein Pull Request (#29864) im llama.cpp-Repository refaktoriert die Nutzung der Intel-XMX-Matrix-Engines im SYCL-Backend. Ein Nutzer berichtet von deutlich schnellerem Speculative Decoding auf einer Intel B70.
Die wichtigsten Fakten
- Testmodell: Muse Glimmer Q6_K (30B) mit DFlash2 als Draft-Verfahren.
- Vorher: ca. 36–53 tok/s je Aufgabe, Gesamtlaufzeit 46,86 s für 9 Anfragen.
- Nachher: ca. 54–88 tok/s, Gesamtlaufzeit 26,68 s.
- Die Verifikation der Tokens ist deutlich billiger, daher wurde n-max erhöht.
- Dadurch sinkt die Akzeptanzrate (0,78 auf 0,36), da mehr Draft-Tokens erzeugt werden; akzeptierte Tokens stiegen von 1085 auf 1272.
- Der PR ist noch ein Pull Request, ob und wann er gemerged wird, ist unklar.
Einordnung
Für Besitzer von Intel-Arc-/B-Series-GPUs ist das interessant, da SYCL-Backends oft hinter CUDA zurückliegen. Die Zahlen stammen von einem einzelnen Nutzer auf einer Hardware und sollten unabhängig überprüft werden.
