Liquid AI d1-ultra: olcsó döntési modell szövegre és képre

Mi jelent meg?

A Liquid AI október 15-én kiadta a d1-ultrát, a d1 utáni új döntési modelljét (Liquid AI). Szöveget, képet vagy a kettőt együtt olvas be. Szöveget nem ír vissza. Minden lehetséges válaszra valószínűséget ad.

A cég kifejezetten a nehezebb, zajosabb valós esetekre szánja. Két példát hoz: egy áramköri lap hibájának kiszúrása a specifikációhoz képest, illetve egy kárbejelentés összevetése az ügyfél fotójával.

Hogyan működik egy döntési modell?

A modell bemenete strukturálatlan adat és egy vagy több kérdés. Egyetlen forward passban olvassa be őket. A valószínűségeket tokengenerálás nélkül adja vissza. Három kérdéstípust ismer, ugyanazokat, mint a d1:

• igen/nem kérdés, 0 és 1 közötti valószínűséggel;
• választás (choice): egy címke több közül, mindegyikre külön valószínűséggel;
• pontszám (score): elhelyezés egy skálán.

Ez nem chatmodell. Osztályozásra, szűrésre, ellenőrzésre való, ahol a kódnak egy számra van szüksége, amit egy küszöbhöz hasonlíthat.

Ár és elérhetőség

A d1-ultra már elérhető a Liquid API-n, illetve kipróbálható a Liquid Console-ban és a d1 Playgroundban. Az ára 0,042 dollár millió input tokenenként. Output tokenért nem kell fizetni, mert a modell nem generál.

A képek ugyanazon az áron számítanak input tokennek: 32×32 pixeles foltonként 1,5 token, így egy 1024×1024-es kép 1536 token. Minden kérdés külön promptként számít a saját szövegével és az összes képpel együtt. Több kérdésnél ezért a kép többször is benne van a számlában.

A Liquid szerint a modell hamarosan a Vercelen és az OpenRouteren is elérhető lesz. Dátumot nem adott meg.

Mit mutatnak a benchmarkok?

A d1-ultra egy nagyobb nyílt súlyú modellre épül, mint a d1, Liquid-specifikus módosításokkal. A cég szerint a legnagyobb javulás a tudásalapú feladatokon látszik. A d1-gyel és a Jev 1.14-gyel 112 különböző értékelésen vetették össze.

Forrás: Liquid AI. A d1-ultra és más döntési modellek eredményei nyolc feladatcsoportban, a gyártó saját mérései szerint.

A Liquid táblázatában a d1-ultra átlaga 76,7 pont. A Jev 1.14 69,4, a d3 73,5, a pplx-decider v1.1 70,3 pontot kapott. A legnagyobb előny az ítélőképességet mérő csoportban látszik (65,5 a Jev 1.14 53,3 pontjával szemben), illetve a tudás és érvelés csoportban (56,0 és 47,8). A biztonsági feladatokon szinte fej fej mellett állnak a modellek: a d1-ultra 85,8, a d3 85,5, a pplx-decider v1.1 85,0 pontot ért el.

Az Artificial Analysis Decision Indexen a cég ábrája szerint a d1-ultra 65 pontot kapott, a második Jev 1.14 57-et. A Liquid szerint ez legalább 8 pontos előny minden más döntési modellel szemben.

Kalibráció: mennyire hihetők a valószínűségek?

Döntési modellnél a pontosság mellett az is számít, hogy a kiadott valószínűség mennyire fedi a valóságot. A Liquid szerint a legtöbb döntési modell túl magabiztos, ezért a d1-ultrát külön a megbízhatóbb valószínűségekre tanították.

Forrás: Liquid AI. A pontosság és a magabiztosság különbsége, illetve a kalibrációs hiba modellenként.

A cég ábráján a d1-ultra átlagos kalibrációs hibája 1,5 pont. A d3-é 2,6, a Jev 1.14-é 2,7, a d1-é 4,6, a pplx-decider-v1.1-é 5,2.

Mit jelent ez a gyakorlatban?

Minden szám a Liquid saját mérése, független ellenőrzés egyelőre nincs. A táblázatban a Perplexity modelljéből még a v1.1 szerepel. A d1-ultra a Liquid szerint a Jev 1.14-gyel azonos áron jobb pontosságot és kalibrációt ad.

Ahol ma egy chatmodell címkéz, a választ pedig kód parse-olja, ott érdemes saját címkézett mintán összemérni a d1-ultrát. A képes feladatoknál a kérdésenkénti képszámlázás miatt a költséget is érdemes előre kiszámolni.