Samaya Sterling: 3B aktív paraméter, jobb a Fable 5.1-nél

Mi az újdonság?

A Samaya október 28-i kutatási posztjában bemutatta a Sterlinget, egy pénzügyi kutatásra utótanított modellt (Samaya). Az alap az NVIDIA nyílt Nemotron 3.5 Lightning, egy 30B paraméteres mixture-of-experts modell, amelyből egyszerre 3B paraméter aktív. A Samaya saját FrontierFinance benchmarkján, amely a befektetési folyamat valós elemzői feladatait méri, az alapmodell 42,5 százalékról 58,9 százalékra javult (Samaya).

Összehasonlításként a legjobb frontier modell, a Claude Fable 5.1 55,9 százalékot ér el ugyanitt, feladatonként 6,89 dolláros költséggel. A Sterling 0,61 dollárból hozza a jobb eredményt, ez körülbelül tizenegyszeres megtakarítás. A benchmark kérdéseit a tanításból teljesen kizárták, a checkpointokat külön, 100 kérdéses belső validációs halmazon választották ki.

Hogyan tanították?

• Két SFT lépés: először 968 szintetikus elemzői kérdésen, majd szakértők által írt és pontozott feladatokon, összesen nyolc különböző tanítómodell nyomaiból.
• Két RL lépés: offline GRPO, majd online RL, amelyben a modell a saját hibáiból tanul.
• A tanítás LoRA-val, a Thinking Machines Lab Tinker API-ján futott.
• A harness kis modellre szabott: összevont toolok, egy tömörítő a hosszú tool-eredményekhez, egy összegző a növekvő nyomhoz, illetve kutatási keret, amely után egy külön riportíró válaszol.

Miért érdekes?

A poszt egyik fő állítása, hogy a modell és a harness együtt tanítva hozza a nyereséget: a toolokat a modell a tréning során tanulja meg jól használni, a kontextustömörítés pedig lehetővé teszi, hogy egy kis modell is végigvigyen hosszú kutatási láncokat. Érdekes mellékszál, hogy a jutalomfüggvénybe tett kontextushossz-büntetés 30 százalékkal csökkentette a költséget 1,1 százalékpont minőségvesztés mellett, így a minőség és a költség aránya tréning közben hangolható. Fontos megkötés, hogy a FrontierFinance a Samaya saját benchmarkja, független ellenőrzés egyelőre nincs.

A Samaya szerint egy nagyobb modellen még nagyobb javulást lát ugyanezzel a recepttel, ezekről később ad ki eredményeket (Samaya). A bejelentést a MarkTechPost is összefoglalta (MarkTechPost).