Clover-35B-A3B: Diffusions-Sprachmodell schlägt Qwen3.6 bei Agenten – Apache 2.0

Worum es geht

Das Team DiffuSpace hat am 28. Oktober 2026 sein erstes Modell veröffentlicht: Clover-35B-A3B-Preview. Es ist ein Diffusions-Sprachmodell. Anders als gängige Sprachmodelle, die Text Wort für Wort (genauer: Token für Token) nacheinander erzeugen, entstehen bei einem Diffusionsmodell mehrere Token gleichzeitig, indem ein zunächst „verrauschter“ Textblock schrittweise bereinigt wird. Das soll deutlich schneller sein. DiffuSpace stammt aus dem Umfeld des NLP-Labors der Universität Hongkong, das im April 2025 Dream 7B vorstellte; die Dream-Modelle kommen laut Team auf über 2,7 Millionen Downloads auf Hugging Face. Clover soll zeigen, dass Diffusionsmodelle auch bei größerer Skalierung mithalten können. Die Gewichte sind unter Apache-Lizenz frei verfügbar.

Eckdaten des Modells

Clover ist ein Mixture-of-Experts-Modell (MoE): Es besitzt 35 Milliarden Parameter (die beim Training gelernten Stellschrauben), von denen pro Token aber nur etwa 3 Milliarden aktiv sind, weil jeweils nur ein Teil der „Experten“ angesprochen wird. Es unterstützt einen Denkmodus und ein Kontextfenster von 128K Token. Gewichte und Code gibt es auf Hugging Face (Diffuspace/Clover-35B-A3B-Preview), GitHub und ModelScope. Inferenz läuft laut Hersteller mit SGLang und llama.cpp. Zusätzlich kann man über chat.diffuspace.ai Online-Zugang beantragen. Das Team dankt ausdrücklich Qwen für Architektur und Trainings-Ökosystem als Ausgangspunkt, was nahelegt, dass Clover auf Qwen-Grundlagen aufbaut.

Architektur

Die Neuerung liegt in einem Umbau des Gated DeltaNet (GDN), einer Alternative zur klassischen Attention mit komprimiertem „Gedächtnis“. Das bidirektionale GDN behandelt Vergangenheit und aktuellen Block unterschiedlich: Schon erzeugter Kontext wird in einem rekurrenten Zustand verdichtet, die Token im aktuell bearbeiteten Block tauschen sich per bidirektionaler Softmax-Attention aus. Das Auslesen des Gedächtnisses nimmt dabei als eigene Informationseinheit an derselben Softmax teil, sodass das Modell lernt, wann es sich auf Historie oder auf den Block stützt. Hinzu kommen eine lernbare Blockgrößen-Kalibrierung und ein zusätzlicher, mit null initialisierter Faltungszweig für den rechten Kontext.

Benchmarks (Herstellerangaben)

In sechs Agenten-Benchmarks erzielte Clover laut DiffuSpace die höchste Punktzahl unter den verglichenen Modellen, darunter die Diffusionsmodelle LLaDA2.2 flash und Mercury 2.5 sowie Qwen3.6-35B-A3B und Qwen3.5-35B-A3B.

Im Vergleich mit leichten Modellen (MiniCPM-V 4.7, LFM2.5, Nemotron 3.5 Lightning, Gemma 4 26B-A4B) gewinnt Clover sechs von neun Tests. Gegenüber MiniCPM-V 4.7 liegt es bei Terminal-Bench 2.1 um 15,7 und bei SWE-bench Verified um 28,0 Punkte vorn.

Geschwindigkeit

Auf einer NVIDIA GB300 erreicht Clover in BF16 bei Batchgröße 1 laut Hersteller 680 Token/s in internen Agenten-Daten. Auf einer H200 sind es 515 Token/s bei Agenten-Aufgaben, verglichen mit 365 Token/s für ein Qwen-Modell mit dem Beschleunigungsverfahren DFlash2. Auf einer RTX 5070 Ti mit 16 GB VRAM lief eine INT4-Version mit 101,8 Token/s bei MATH-500, während Vergleichsmodelle wie MiniCPM und Qwen 48,5 Token/s erreichten. Es handelt sich um eigene Messungen, teils in internen Szenarien.

Demos und Entscheidungsmodell

Die Demos zeigen Browser-Agenten: Bei einer Routensuche brauchte Clover 28 Schritte und 169,9 s, Qwen3.6 Flash scheiterte nach 30 Schritten. Bei einem WebMCP-Test mit 49 Aufgaben lag die mediane Ausführungszeit bei 1,52 s gegenüber 8,86 s für Gemini 3.6 Flash. Zudem generiert es interaktive Webseiten, etwa einen simulierten Desktop in einer HTML-Datei oder 3D-Lernseiten.

Angekündigt ist außerdem ein Entscheidungsmodell, das mehrere zusammenhängende Fragen in einem Durchlauf beantwortet (bis zu 8). In einem internen Test mit 500 Gruppen und 2.420 Fragen lag es im gemeinsamen Modus bei 95,0 % richtigen Antworten, einzeln bei 89,8 %. Das Modell erscheint später.

Was du zum Ausprobieren brauchst

Laut Hersteller läuft eine INT4-Version auf einer Grafikkarte mit 16 GB VRAM (getestet: RTX 5070 Ti). Für BF16 sind deutlich mehr Speicher und Rechenleistung nötig; die Messungen erfolgten auf Rechenzentrums-GPUs. Rechne mit grob 20 GB oder mehr Speicherplatz für eine quantisierte Version. Nötig sind SGLang oder eine passende llama.cpp-Version. Zu Mac, CPU oder Colab macht die Quelle keine Angaben.

Einordnung

Clover ist eines der ersten größeren offenen Diffusions-Sprachmodelle mit starken Agenten-Werten. Interessant ist es für alle, die schnelle Agentenschleifen oder lokale Inferenz wollen. Kritisch: Die Zahlen sind Herstellerangaben, der Vergleich nutzt teils eigene Szenarien, und das Modell trägt den Zusatz „Preview“. Langzeitstabilität soll noch verbessert werden. Ob die Ergebnisse unabhängig reproduzierbar sind und wie breit die Tool-Unterstützung wird, muss sich zeigen.