Nimble v3: 9B-Decision-Model von Bespoke Labs in Ollama

Worum es geht

Bespoke Labs bietet Nimble v3 in der Ollama-Bibliothek an, ein 9B-Parameter-"Decision Model". Man übergibt Fakten (state) und Fragen mit definierten Antworten, das Modell gibt Wahrscheinlichkeiten für die Antworten zurück, ohne Reasoning-Trace oder Freitext zu erzeugen.

Die wichtigsten Fakten

• Fine-tune von Qwen3.5-9B (Basis: Apache 2.0); Nimble v3 selbst unter CC BY-NC 4.0, also nur nichtkommerziell, anders als der Vorgänger.
• Eigener Endpoint /v1/systemone; Fragetypen u. a. noul, choice, score.
• Benötigt Ollama 0.40.4 oder neuer; Start mit ollama run nimble-v3.
• Bespoke Labs nennt einen Decision-Index-0.2.1-Score von 56,88 (Herstellerangabe).
• Standardformat: MXFP8 mit MLX auf Apple Silicon oder Q8_0 mit llama.cpp; weitere Quantisierungen verfügbar.
• Latenzmessungen auf Apple M5 Max mit JevBench (231 Fälle), konkrete Zahlen fehlen im Auszug.

Einordnung

Für lokale Routing- und Klassifikationsaufgaben ist ein 9B-Modell mit direkter Wahrscheinlichkeitsausgabe interessant, da es schnell und günstig ist. Die Nicht-kommerziell-Lizenz schränkt den produktiven Einsatz stark ein. Die Benchmark-Werte stammen vom Hersteller.