FP32-Accumulation: Wie NVIDIA Consumer-GPUs drosselt und was sich freischalten lässt
Ein Reddit-Beitrag erklärt, dass RTX-Karten bei Tensor-Core-Operationen mit FP32-Accumulation halbe Geschwindigkeit haben, und welche Generationen sich entsperren lassen könnten.
Worum es geht
Ein Nutzer in r/LocalLLaMA fasst zusammen, welche Leistungsbremse NVIDIA bei Consumer-GPUs setzt. Betroffen sind GEMMs mit FP32-Accumulation, die bei Prosumer- und Datacenter-Karten mit voller Geschwindigkeit laufen. Der Beitrag nennt, welche Karten und Aufgaben betroffen sind und wie realistisch ein Unlock ist. Es handelt sich um Angaben und Einschätzungen des Autors, nicht um bestätigte Herstellerinformationen.
Die wichtigsten Fakten
- Bei RTX 20, 30, 40 und 50 ist FP16-Leistung mit FP32-Accumulation halbiert; ab Ampere gilt das auch für BF16, ab Ada und Blackwell auch für FP8. FP4 ist laut Autor nicht betroffen.
- Betroffen sind Training (LoRA, Finetuning), Diffusion, LLM-Prefill und Token Generation mit großen Batches.
- Kaum Auswirkungen hat es bei Token Generation mit Batch Size 1, da sie bandbreitenlimitiert ist.
- Laut Autor ist eine RTX 6000 PRO bei ihm rund 70 % schneller als eine 5090, obwohl die Kernzahl nur etwa 10-15 % höher liegt.
- Chancen eines Unlocks: RTX 20/30 hoch, RTX 40 relativ hoch (in Arbeit), RTX 50 niedrig wegen Fuses.
- Ein Tool für Ampere-Consumer-Karten liegt auf GitHub (Zagitta/gpu-unlock).
Einordnung
Für Local-LLM- und Diffusion-Nutzer ist das interessant, da es Leistungsunterschiede zu Profikarten erklärt. Die Aussage, ein Unlock sei risikofrei, ist unbelegt; Firmware-Eingriffe können Garantie und Stabilität gefährden. Vorsicht ist geboten.
