Sarvam Prism: nyílt döntési modell 44 ms alatt

Mi történt?

Az indiai Sarvam AI november 3-án kiadta a Prismet, egy kifejezetten döntésekre tanított nyílt modellt (Sarvam). A cég „System One” modellnek hívja: nem hosszan gondolkodik, hanem egyetlen forward passban valószínűséget ad minden válaszlehetőségre. Ez osztályozásra, routingra és agentek gyors ellenőrzésére való.

Hogyan működik?

A Prism a Sarvam 105B MoE modelljére (105 milliárd paraméter, 10 milliárd aktív) tanított LoRA. Egy kérdés legfeljebb 131 072 tokenes lehet. A válasz nem szöveg, hanem kalibrált valószínűség az egyes opciókra, így a pontszámot küszöbként lehet használni.

Röviden

• Átlagosan 71,8 pont 44 ms medián késleltetéssel egyetlen B200-on. A Sarvam szerint 25 vizsgált modell közül ez a legjobb a 100 ms alatti mezőnyben.
• Indiai nyelveken 82,5 pont.
• Kalibráció: 90% feletti magabiztosságnál angolul 3,3% várt hibával szemben 2,2% volt a tényleges, indiai nyelveken 5,4% helyett 4,4%.
• Az opciók sorrendjének keverése 2000 esetből egyszer sem változtatta meg a döntést.
• Agent-trace értékelésben 78,5%, a Claude Haiku 5.5 70,7%-ot ért el, 2,5 másodperc alatt.
• A késleltetés 664 ms-ről 44 ms-re esett, kb. 15-szörös gyorsulás.

Elérhetőség

A súlyok Apache 2.0 licenccel, FP8 formátumban elérhetők a Hugging Face-en. Futtatásához legalább 120 GB memóriájú GPU kell, a modell a Sarvam API-ján is elérhető.

Miért fontos?

Agentes rendszerekben rengeteg apró döntés van: melyik eszközt hívja, kész-e a feladat, biztonságos-e egy lépés. Ezekre egy drága, lassú frontier modell pazarlás. Egy gyors, kalibrált és szabadon licencelt döntési modell olcsó őr vagy router lehet, bár a 120 GB-os memóriaigény miatt nem kis hardver kell hozzá.