Nemotron 3.5 Bolt: NVIDIAs kompaktes MoE-Vision-Modell mit 9B aktiven Parametern

Worum es geht

Nemotron 3.5 Bolt ist ein kompaktes Vision-Language-Modell von NVIDIA für lokales Coding, Reasoning und Tool-Nutzung. NVIDIA hat es durch Kompression und zusätzliches Training aus Nemotron 3.5 Super abgeleitet.

Die wichtigsten Fakten

• 74B Parameter insgesamt, 9B aktiv pro Token (Mixture-of-Experts).
• Architektur: Mamba-2/Transformer-MoE-Backbone mit C-RADIO-Vision-Encoder.
• Das GGUF nutzt Quantization-Aware Distillation: IQ2_XXS für Expert-Gewichte, NVFP4 und Q8_0 für andere Schichten.
• Fähigkeiten: Vision, Tools, Thinking.
• Lizenz: OpenMDW License Agreement 1.1.
• Läuft mit CUDA. Apple Silicon/Metal wird derzeit nicht unterstützt.
• Speicherbedarf hängt von Kontext, Bildeingaben und Speculative Decoding ab. Konkrete Werte nennt die Quelle nicht.
• Rund 8.900 Downloads.

Einordnung

Durch die aggressive 2-bit-Quantisierung der Experten soll ein 74B-MoE auf lokaler Hardware laufen. Das ist für NVIDIA-GPU-Nutzer spannend. Mac-Nutzer sind vorerst ausgeschlossen. Wie stark die Kompression die Qualität beeinflusst, ist ohne die Benchmarks aus der NVIDIA-Karte unklar.