d3-ultra: nyílt 27B döntési modell a vLLM-től

Mi ez?

A vLLM Semantic Router projekt kiadta a d3-ultrát, a Decision 3.0 család legnagyobb tagját (Hugging Face). A modell 26,09 milliárd paraméteres (ebből 0,46 milliárd a vision encoder), Apache-2.0 licencű. Szöveget, JSON-t, képeket és videókat fogad, a kérdésenkénti kontextus 131 072 token.

A lényeg, hogy nem generál szöveget. Kérdéstípusok szerint válaszol: választás több opcióból, igen/nem, pontszám egy skálán, befoglaló doboz egy képen vagy videópillanatban, illetve követés egy teljes videón. Minden válaszhoz valószínűséget ad, így a bizonytalanság közvetlenül kiolvasható.

Miért gyors?

A modell egyszer olvassa be a bemenetet, majd abból válaszol az összes kérdésre. Egyetlen AMD Instinct MI325X-en egy kérdés 304 ms, 255 kérdés ugyanarról a képről 2,16 másodperc (medián).

Mennyire jó?

A projekt saját SR-Text tesztjén 87,2 pontot ér el, a GLiDE V1.2 85,1-et, a korábbi d1-ultra 83,4-et, a Jev 1.14 73,1-et. Képi lokalizációban (SR-Box, 10 terület) 58,2 százalékot ér el, ez a kisebb d3-turbo 60,0 százaléka alatt van, de jóval a Jev 1.14 45,7 százaléka felett (MarkTechPost).

Forrás: vLLM Semantic Router. SR-Text eredmények képességenként, saját mérés.

Mire jó a gyakorlatban?

Routingra, moderációra, ticket-osztályozásra vagy minőségellenőrzésre, ahol nem kell szöveg, csak egy megbízható döntés és egy valószínűség. Futtatható vllm-sr serve paranccsal, Transformers 5.17.0-val, illetve van ingyenes API a decision.vllm-sr.ai címen. A benchmarkok saját mérések, az SR-Text a projekt belső tesztje.