Clairic: a Cloudflare értéket adó extraction modellje

Mi az az extraction modell?

A döntési modellek (például a Cloudflare Clef) előre megadott opciók közül választanak. Sok gyakorlati kérdéshez viszont nincs listázható válaszhalmaz: számlaösszeg, szállítási dátum, késés napokban, várható javítási költség. A Clairic ezeket kezeli. Állapotot és tipizált mezősémát kapsz, egy párhuzamos passzal jön vissza minden mezőre egy érték (Cloudflare Changelog, Cloudflare Blog).

Milyen típusokat ad vissza?

• text: pontos span a bemenetből, karakteroffsetekkel
• number, date, time, datetime, duration: a típus szabályai szerint
• list: egyező elemek bemeneti sorrendben
• estimate: eloszlás a megadott min-max tartományban, mediánnal és 80%-os intervallummal
• forecast: jövőbeli lépésenként egy becslés, legfeljebb 64 lépés

Minden skalár válaszhoz tartozik p_null (mennyi az esélye, hogy a bemenet nem határozza meg az értéket) és confidence. Képet is lehet adni, legfeljebb négyet. A Cloudflare hamarosan nyílt súlyokat is ígér.

Mennyivel gyorsabb a tiszta LLM-útnál?

A blog egy ügyfélszolgálati kaszkádot mér: Clairic + Clef + generatív modell versus tiszta LLM. A kaszkád 19,3 másodperc alatt futott le a 61,7 helyett, körülbelül 3,2-szer gyorsabban, illetve 49%-kal olcsóbban. A Clairic és a Clef együtt egy másodperc alatt végezte az kinyerést és a döntést.

Az ár: 0,10 dollár millió bemeneti tokenenként. Mivel a modell nem generál tokent, kimeneti díj nincs.

Hol bukik még?

Egyszerű egy- és kétlépéses számolás megbízható. Hosszú függő lépésláncok és sok táblázatsor aggregálása még nem. A forecast alap szintű: a távoli lépések az átlag felé lapulnak, ünnepeket nem anticipál. Az intervallumok a legtöbb held-out szetten kalibráltak, ismeretlen adaton szűkülhetnek. Tipizált válasz nem egyenlő helyes válasszal.