Clover-35B: nyílt diffúziós LLM, 680 token/s egy GPU-n

Mi jelent meg?

A DiffuSpace, a HKU NLP labor Dream 7B modelljét készítő csapat új cége, kiadta első modelljét, a Clover-35B-A3B-Preview-t (DiffuSpace). A súlyok Apache 2.0 licenccel elérhetők a Hugging Face-en, a GitHubon és a ModelScope-on.

A klasszikus LLM tokenről tokenre ír. A Clover ehelyett 32 tokenes blokkokat maszkkal indít, majd a biztos pozíciókat párhuzamosan tölti ki. Csak ezután lép a következő blokkra. Így egy lépésben több token is elkészülhet.

Architektúra

• A Qwen3.6-35B-A3B-ből származik: 35B össz-, kb. 3B aktív paraméter tokenenként, 256 routed expert, top-8 routing.
• Hibrid Gated DeltaNet és full attention, 40 réteg, blokkon belül kétirányú figyelem.
• 128K kontextus, thinking mód, csak szöveg.

Számok a DiffuSpace-től

• SWE-bench Verified: 73,6, Terminal-Bench 2.1: 51,7, τ³ Overall: 65,3. Mind a hat agentes teszten jobb a Qwen3.6-35B-A3B-nél, a LLaDA2.2 flashnél, illetve a Mercury 2.5-nél.
• GPQA Diamond: 83,8, ZebraLogic: 95,8, AA-LCR: 72,0.
• Sebesség: 680 token/s egy NVIDIA GB300-on (BF16, batch 1, belső agentes adaton). H200-on 515 token/s, a DFlash2-vel gyorsított Qwen 365 token/s-ot ért el.

Ezek a cég saját mérései, független ellenőrzés még nincs.

Mire figyelj?

A BF16 súlyokhoz kb. 69 GB GPU-memória kell, a transformers implementációhoz trust_remote_code. Szervereléshez a cég a saját SGLang implementációját ajánlja, mert a HF verzió kimenete kicsit eltérhet. A llama.cpp támogatás self-speculative decodinggal jön, a backend kódja még nincs fent a repóban.

Miért fontos?

Agentes munkánál minden generálási késés összeadódik a ciklusokban. Ha a diffúziós modellek tényleg tartják az autoregresszív minőséget nagyobb méretben is, az olcsóbb és gyorsabb self-hosted kódoló agenteket jelent. A Clover az első nyílt diffúziós LLM, amely ezen a méreten komolyan versenyképesnek tűnik.