Nimble: 9B-Entscheidungsmodell von Bespoke Labs in Ollama

Worum es geht

Bespoke Labs hat mit Nimble ein 9B-Entscheidungsmodell veröffentlicht, das über Ollama lokal läuft. Es ist aus Qwen3.5-9B feinabgestimmt. Statt freien Text zu generieren, beantwortet es einen Satz typisierter Fragen zu einem Eingabetext und gibt für jede Antwort Wahrscheinlichkeiten aus.

Die wichtigsten Fakten

• Größe: 9B Parameter, Basis Qwen3.5-9B.
• Das Modell liest den Prompt einmal pro Frage und bewertet die Antwort-Tokens direkt, ohne Reasoning-Schritt. Das macht es schnell.
• Fragetypen: noul (Ja/Nein-artig), choice und score; Choice und Score erlauben 2 bis 26 Optionen.
• Die Ausgabe enthält Wahrscheinlichkeiten und einen confidence-Wert von 0 bis 1. Dieser zeigt nur, wie konzentriert die Verteilung ist, nicht die Trefferwahrscheinlichkeit.
• Zugriff über den Endpoint /v1/systemone (TypeSafe-API) oder das Python-SDK typesafe-sdk. Die Ollama-CLI und die Ollama-Bibliotheken unterstützen Decision-Modelle für Nimble noch nicht.
• Anwendungsfälle: Ticket-Triage, Model-Routing.
• Über 55.000 Downloads. Lizenz und HF-Repo sind in der Quelle nicht genannt.

Einordnung

Nimble ist ein Spezialmodell für Klassifikation und Routing, kein Chatmodell. Für Pipelines, die viele schnelle Entscheidungen mit Konfidenzwerten brauchen, ist der Ansatz interessant. Die Nutzung erfordert aber das neue API-Format und ist noch nicht in die Standard-Clients integriert.