SenseNova-Loop-9B: kétszer futó rétegek, nyílt súlyokkal

Mi újság?

A SenseTime nyílt súlyokkal tette közzé a SenseNova-Loop-9B-Preview modellt a Hugging Face-en. Szöveget és képet fogad, szöveget ad vissza. Hosszú kontextusra, illetve agentes munkára szánják: dokumentumértés, kódolás, toolhívások. A tanítási kontextus legfeljebb 262 144 token.

Hogyan működik a loop?

A modellnek 32 különálló decoder rétege van. Az első 4 réteg után a 4. és 27. közötti blokk kétszer fut le egymás után, megosztott súlyokkal, utána jön az utolsó 4 réteg. Így egy forward pass 56 rétegnyi számítás, miközben csak 32 réteg súlyát kell tárolni. A cég ezt kb. 9B tárolt és kb. 14,6B inferencia-paraméterként írja le.

• Two-stream mHC: a loopolt szakaszban két residual stream fut, tanult leképezések keverik őket, Sinkhorn-normalizálással.
• Hibrid attention: négyrétegű csoportokban három linear attention és egy full attention réteg váltja egymást.
• Gyorsítás: MTP már elérhető, a Dspark és a Dflash2 még tanítás alatt van.

Benchmarkok

Forrás: SenseTime. A SenseNova-Loop-9B-Preview saját mérései nyolc benchmarkon, Qwen3.5/3.6 és más modellek mellett.

A SenseTime ábráján a Loop-9B a BIRD-Dev teszten 71,38 pontot ér el, a Qwen3.5-27B 69,84-et. A WorkBuddy Benchen 66,89 pontot hoz, a legjobb összehasonlított modell 61,98-at. Az AutomationBench és a saját RaccoonPPTBench is a Loop-9B-nél van. Nem mindenhol nyer viszont: a Terminal Bench 2.1-en 40,45 ponttal elmarad a Qwen3.6-27B 47,19 pontjától, a τ³-Bankingen pedig a Qwen3.5-27B áll előtte. Minden szám a cég saját mérése, technikai riport még nincs (echina.news).

Miért érdekes?

A looped transformer régi ötlet, de ritkán látni belőle használható, nyílt multimodális modellt. Ha a számok független teszten is kitartanak, ez olcsóbb utat kínál: több számítás ugyanannyi memóriából. Kipróbáláshoz Transformers 5.18.0 és trust_remote_code kell, a kompatibilis inferenciamotoroknak pedig le kell követniük a loop sorrendjét.