SenseNova-Loop-9B: Offenes Modell nutzt 24 Schichten zweimal hintereinander

Worum es geht

Das SenseNova-Team hat am 30. Oktober 2026 auf Hugging Face das Modell SenseNova-Loop-9B-Preview veröffentlicht. Es ist ein multimodales Sprachmodell, das Text und Bilder liest und Text ausgibt. Gedacht ist es für lange Kontexte und Agenten-Workflows, also Aufgaben, bei denen ein Modell Dokumente liest, Code schreibt und externe Werkzeuge ansteuert. Die Gewichte stehen unter der Apache-2.0-Lizenz zur Verfügung, der Code liegt auf GitHub unter OpenSenseNova/SenseNova-Loop. Es handelt sich ausdrücklich um eine Vorabversion (Preview).

Das Besondere: ein Block, der zweimal läuft

Üblicherweise gilt: Mehr Rechentiefe bedeutet mehr Schichten und damit mehr Parameter. SenseNova-Loop geht anders vor und nutzt einen „Loop-Decoder“ (Schleifen-Decoder). Der Aufbau laut Modellkarte:

• Schichten 0 bis 3 verarbeiten die Eingabe einmal.
• Schichten 4 bis 27 (24 Schichten) bilden einen Block, der zweimal hintereinander mit denselben Gewichten angewendet wird. Die Quelle schreibt das als B(B(h)).
• Schichten 28 bis 31 und der Ausgabekopf liefern das Ergebnis.

Das Modell hat damit 32 eigene Schichten, führt aber pro Vorwärtsdurchlauf 56 Schichten aus. Statt etwa 9 Mrd. Parametern ergibt das eine effektive Rechengröße von rund 14,6 Mrd. („Inferenz-Parameter“). Wichtig: Beim zweiten Durchlauf geht nicht dieselbe Eingabe wie beim ersten in den Block, sondern der bereits veränderte Zwischenzustand. Der Testautor auf note.com vergleicht das mit demselben Werkzeug, das man auf ein halb bearbeitetes Werkstück erneut anwendet.

Ergänzt wird das durch mHC (manifold-constrained Hyper-Connections) in einer Zwei-Strom-Variante. Dabei werden innerhalb des Schleifenabschnitts zwei Residual-Ströme geführt (Residual-Strom: der Nebenweg, über den Informationen an Schichten vorbei weitergereicht werden). Gelernte Abbildungen steuern, wie Informationen zwischen beiden Strömen fließen.

Weitere Architektur- und Trainingsdetails

• Hybrid-Attention: Der Decoder wechselt in Vierergruppen zwischen linearer Attention (günstiger bei langen Texten) und voller Attention.
• Kontext: Die längsten Trainingssequenzen umfassen 262.144 Tokens. Das Training kombinierte Text, Bilder, Code und Werkzeug-Verläufe (Tool-Trajektorien).
• Format: Exportiert ist das Modell mit BF16 im Hauptteil und FP32 für die mHC-Routing-Parameter.
• Demos: Die Modellkarte zeigt Agenten-Beispiele wie dynamisch gestaltete Videos, Präsentationen (etwa zu Lehrertag und Island-Reise), Datenanalyse einer Mondmissions-Simulation und Energieverbrauchsanalysen. Das Modell selbst gibt jedoch nur Text aus; Video wird nicht direkt erzeugt, wie der note.com-Autor betont.

Was die doppelte Ausführung nicht bedeutet

Der Autor auf note.com hat den veröffentlichten Code geprüft und warnt vor Missverständnissen:

• Die Schleife ist kein Selbsttest der fertigen App. Das Modell öffnet keinen Browser und klickt nicht auf Buttons, um Fehler zu finden. Die Mehrfachberechnung steckt nur im Inneren der Schichten.
• Die Anzahl der Durchläufe ist fest; sie passt sich laut dem Autor nicht dynamisch an die Schwierigkeit der Anfrage an.
• Geteilte Gewichte sparen Speicher für Gewichte, aber nicht unbedingt Rechenzeit oder Laufzeitspeicher: Im Code bekommt jeder Durchlauf einen eigenen Cache (Zwischenspeicher für bisherige Berechnungen).

Wer damit Apps entwickelt, sollte also weiterhin prüfen, ob der Code die Anforderungen erfüllt und ob das Modell nach Rückgabe echter Testergebnisse Fehler beheben kann.

Was du zum Ausprobieren brauchst

Konkrete Hardware-Angaben gibt es in den Quellen nicht; der Testautor hat weder Gewichte geladen noch Inferenz ausgeführt, sodass Speicherbedarf, Geschwindigkeit, Japanisch-Qualität und Reproduzierbarkeit der Beispiele ungeprüft sind. Als grobe Schätzung: Bei 4-Bit-Quantisierung dürften etwa 6–8 GB Grafikspeicher reichen, in BF16 deutlich mehr (rund 18 GB für die Gewichte). Der KV-Cache wächst wegen der doppelten Ausführung und langer Kontexte. Offiziell ist nur der Weg über eine festgelegte Transformers-Umgebung mit Custom-Code oder eine SGLang-Version mit speziellen Änderungen beschrieben. Es ist daher unklar, ob gängige Tools wie Ollama oder llama.cpp schon funktionieren – wahrscheinlich noch nicht.

Einordnung

Die Idee, Rechentiefe durch Wiederverwendung von Schichten statt durch mehr Parameter zu gewinnen, ist für lokal laufende Modelle interessant: Kleinere Gewichtsdateien bei höherer effektiver Leistung. Belege dafür fehlen aber noch: Es gibt keinen technischen Bericht und in den vorliegenden Quellen keine Benchmarks oder Vergleiche zu ähnlich großen Modellen. Die Rechenkosten steigen mit den 56 Schicht-Ausführungen, nur der Gewichtsspeicher bleibt klein. Als Preview mit Spezialcode ist es eher etwas für Entwickler und Tüftler als für schnelle Alltagsnutzung. SenseNova ist die Modellfamilie von SenseTime; frühere Versionen wie SenseNova 5.0 und V6 waren große MoE-Modelle, die nicht offen waren. Ob Loop-9B mit diesen verwandt ist, geht aus den Quellen nicht eindeutig hervor.