OpenAI LifeVal: benchmark a hétköznapi teendőkre

Mi az a LifeVal?

Az OpenAI hétfőn bemutatta a LifeVal benchmarkot (OpenAI). Azt méri, mennyire tud segíteni az AI a hétköznapi teendőkben: gyerekfelügyelet keresésében, hivatali ügyintézésben, költségvetés összerakásában, bevásárlásban vagy egy edzésterv elkészítésében.

A cég szerint egy igazán hasznos személyi asszisztensnek nem elég tanácsot adni. A ChatGPT-nek cselekednie is kell, hogy a feladat tényleg el is készüljön. Az OpenAI az elmúlt egy évben ezzel az értékeléssel követte nyomon, illetve javította a modellek teljesítményét.

Honnan jönnek a feladatok?

A kiindulópont két nagy időfelhasználási felmérés volt: az American Time Use Survey, illetve a Multinational Time Use Study. Ezeket egy új, demográfiailag reprezentatív, 3995 fős felméréssel egészítették ki, amelyben azt kérdezték, hol látnának szívesen segítséget egy személyi asszisztenstől.

Az így kapott feladatok lefedik a gondoskodást, az egészséget, az oktatást, a háztartási adminisztrációt, a személyes pénzügyeket, a vásárlást, illetve a kormányzati szolgáltatások elérését.

Milyen eredményeket mutat az OpenAI?

A bejelentés néhány konkrét feladaton mutatja be a jelenlegi modellek pontszámát:

• Megfelelő óvoda kiválasztása és a beíratás előkészítése költözés után: 93,1%
• Önkéntesek megszervezése egy árvíz előtt: 98,0%
• Családi otthon keresése Luzerne megyében, kerethez és ingázáshoz igazítva: 100%
• Közös meccsnézés távolról a nagymamával: 96,3%
• Gondozási és étkezési terv egy frissen diabéteszes szülőnek: 90,4%

A GPT-6 Astra legjobb rögzített pontszáma több feladaton is 100%. Ilyen például egy autószerviz időpontjának lefoglalása egy út előtt, egy kereten belüli halal bevásárlás táblázatba rendezve, illetve a hírlevelekről való leiratkozás. Összesített LifeVal pontszámot a bejelentés nem közöl.

Mit érdemes ebből leszűrni?

Az OpenAI szerint az elmúlt évben gyorsabbá, képesebbé és jobban hangolttá tették a modelleket böngésző- és számítógép-használatban, illetve a connectorös feladatokban. A cél, hogy a ChatGPT a chateszköztől egy agentic személyi asszisztens felé mozduljon.

Fontos, hogy a LifeVal az OpenAI saját mérése, a bejelentés más gyártók modelljeivel nem veti össze az eredményeket. Iránynak jó jelzés, független rangsornak viszont nem tekinthető.