joey-1: 2B-s döntési modell 20 ms alatt, nyílt súlyokkal

Mi az a döntési modell?

Sok LLM-es feladatnak nem kell szöveg, csak döntés: melyik csapathoz menjen a ticket, kell-e jelölni az üzenetet, jóváhagyható-e a kérés. A döntési modell ilyenkor generálás helyett egyetlen forward passban címkét és kalibrált valószínűséget ad vissza. Így jóval olcsóbb és gyorsabb, főleg ha a döntés egy hosszabb lánc része (Baseten).

A joey-1 számokban

• 2 milliárd paraméter, a Qwen3.5-2B-ből utótanítva, ugyanazzal az adattal és recepttel, mint a nyolc nappal korábban kiadott mammoth-1 (27B) és elephant-1 (9B).
• P50 késleltetés egy átlagos, 2000 tokenes kérésnél 20 ms, ez nagyjából 2,5-szer gyorsabb az elephant-1 49 ms-ánál.
• Ár a Baseten Model APIs-on: 0,01 dollár millió input tokenenként, ami a mammoth-1 árának tizede.
• Szöveg- és képbemenet. A Model APIs-on 16k, dedikált deploymentnél 262k kontextus.
• Alapból zero data retention, a súlyok MIT licenccel elérhetők a Hugging Face-en.

A modellkártya szerint a joey-1 a Jev Decision Index 0.4 nyilvános részhalmazán 63,30 pontot ér el, ez a legjobb eredmény a 4B alatti modellek között, a 230 modellből a 37. hely (Hugging Face). Összehasonlításként: az elephant-1 72,24, a Cloudflare Clef 61,71, a Jev 1.14 pedig 60,70 pontot ért el. Az Artificial Analysis Decision Index Baseten által replikált változatán 62,9 pontot kapott.

Háromféle kérdéstípust kezel: a choice több megnevezett opció közül választ, a noul igen vagy nem választ ad, a score pedig sorrendbe rendezett szintekre pontoz. Egyetlen kérésben több kérdés is mehet, közös prefill mellett. A tanítás 6,21 millió döntési példán futott 16 H100 GPU-n, a loss egy Brier kalibrációs tagot is tartalmaz, a modell pedig külön megtanulta a „nem tudom” választ.

Mit jelent ez neked?

A Baseten példája jól mutatja a nagyságrendet: havi 10 millió, egyenként nagyjából 500 tokenes support ticket osztályozása 5 milliárd token, ez a joey-1-en kb. 50 dollár havonta, a mammoth-1-en 500. Ha routingot, moderációt vagy guardrailt futtatsz nagy volumenben, a joey-1 jó első szűrő lehet, a bizonytalan eseteket pedig továbbadhatod egy nagyobb modellnek. Mivel a három modell ugyanazt az API-t használja, a váltás egysoros módosítás. A nyílt súlyok miatt saját infrastruktúrán is futtatható, illetve finomhangolható.