Tether: BitNet-Modelle bis 13 Mrd. Parameter lokal auf Handy und GPU feintunen

Worum es geht

Der Stablecoin-Anbieter Tether hat ein Framework zum Feintuning von Microsofts Sprachmodell BitNet b1.58 vorgestellt. Es soll auf beliebigen Grafikkarten und auf handlichen Consumer-Geräten laufen. Veröffentlicht wurde die Meldung als gesponserter Beitrag auf TechCrunch. Die Zahlen sind daher Herstellerangaben. Tether verweist für die vollständige Veröffentlichung auf Hugging Face.

Feintuning heißt, ein bereits trainiertes Modell mit eigenen Daten nachzutrainieren, etwa mit Fachtexten. BitNet b1.58 ist ein Modell, dessen Gewichte (die beim Training gelernten Zahlenwerte) nur drei Werte annehmen: -1, 0 und 1. Das nennt man ternäre Quantisierung, und es entspricht rechnerisch etwa 1,58 Bit pro Gewicht.

Das Problem: Hoher Ressourcenbedarf

Der Beitrag beginnt mit dem Ressourcenhunger von KI: Strom, Kühlwasser und Rohstoffe für Chips. Zur Einordnung nennt er Beispiele. Ein Gemma-3-Modell mit 1 Mrd. Parametern in halber Präzision (FP16, 16 Bit pro Gewicht) braucht für die Inferenz mindestens 2,2 GB Grafikspeicher (VRAM). Das gehe auf einem Laptop für rund 700 Dollar mit 8 GB VRAM. Größere Modelle erforderten einen Gaming-PC für etwa 1.500 Dollar mit einer RTX 5060 Ti (16 GB). Training und Feintuning kosten laut Text noch deutlich mehr als reine Inferenz, also das Ausführen eines fertigen Modells.

Die üblichen Auswege seien FP16 statt FP32 (halber Speicher, etwas weniger Präzision) oder kleinere Modelle. Beides lasse Training und Feintuning weiter bei Multi-GPU-Servern mit NVIDIA-Hardware und dem CUDA-Ökosystem. CUDA ist NVIDIAs Programmierplattform für GPUs.

Was Tether gebaut hat

Microsofts BitNet ersetzt aufwendige Fließkomma-Multiplikationen durch Additionen und Subtraktionen mit ternären Werten. Das spart Ressourcen, ist laut Beitrag aber eher auf CPUs zugeschnitten, da GPUs auf Fließkomma-Arithmetik ausgelegt sind.

Tether hat dafür ein neues GPU-Backend auf Basis von Vulkan entwickelt, einer herstellerübergreifenden Grafik- und Rechenschnittstelle. Es ähnelt dem Backend des Tether-Frameworks QVAC Fabric LLM. Es soll BitNet auf fast jeder Grafikkarte laufen lassen, ohne NVIDIA oder CUDA. Tether behauptet, es sei die erste Demonstration von BitNet-Effizienz auf einer GPU, mit bis zu achtmal schnellerer Inferenz als auf CPUs.

Zusätzlich nutzt das Feintuning-Framework einen Algorithmus namens dynamic tiling. Er zerlegt große Matrizen in kleinere „Kacheln“, deren Größe sich so anpassen lässt, dass sie in den schnellen GPU-Zwischenspeicher (SRAM) passen. Das soll Tempo und Speichernutzung verbessern, Energie sparen und die Präzision über CPU und GPU hinweg erhalten.

Zahlen laut Tether

Die Feintuning-Zeiten beziehen sich auf einen biomedizinischen Datensatz von rund 300 Dokumenten (etwa 18.000 Tokens). Das Framework soll Varianten bis 13 Mrd. Parametern auf Geräten wie Samsung S25, Google Pixel 9 und iPhone 16 feintunen können. Tether nennt das die erste erfolgreiche Anpassung eines 13-Milliarden-Modells auf einem iPhone 16. Die genannten Messwerte betreffen allerdings nur Modelle bis 1 Mrd. Parameter, für 13B gibt der Text keine Laufzeiten an.

Versprochener Nutzen

Tether nennt Kostenersparnis, einfachere Entwicklung und Datenschutz: Daten bleiben auf dem Gerät und werden nicht auf zentrale Server geladen. Das Unternehmen sieht lokale KI als Weg, „Superintelligenz“ zu Milliarden Nutzern zu bringen.

Einordnung

Technisch ist interessant, dass BitNet-Feintuning herstellerunabhängig auf Vulkan läuft und auch auf Smartphones. Das könnte lokale, private Anpassung von Modellen erleichtern. Kritisch: Der Text ist gesponserte Werbung, Benchmarks sind nicht unabhängig geprüft. Vergleiche mit FP16-Modellen sind wegen unterschiedlicher Modellqualität nur begrenzt aussagekräftig, und zur Antwortqualität der BitNet-Modelle sagt der Beitrag nichts. Auch die Behauptung des 13B-Feintunings auf dem iPhone ist ohne Laufzeitangaben schwer einzuschätzen. Zudem ist unklar, welche Lizenz das Framework hat und wie die Gewichte bereitstehen; Details dazu liefert die Quelle nicht.