AA-PersonalityBench: mennyire hízelegnek a modellek?

Mi ez?

Az Artificial Analysis október 19-én mutatta be az AA-PersonalityBench-et, amely azt méri, hogyan kommunikálnak az AI-modellek (Artificial Analysis). Nem a válasz helyességét nézi, hanem azt, mennyire erősen jelenik meg benne egy-egy vonás. Az induló eredményekben 38 modell szerepel.

Hogyan mér?

• 30 személyiségjegy, jegyenként 30 kérdés, összesen 900 kérdés. A modellek rendszerprompt nélkül válaszolnak, így az alapértelmezett viselkedésük látszik.
• LLM-bírókból álló panel hasonlítja össze párban a válaszokat. A bíró nem látja a modellneveket, a válaszok sorrendje véletlenszerű.
• Az eredmény Elo-pontszám, amelyet 1 és 100 közötti percentilisre váltanak. A jegyek 8 indexbe állnak össze, például Transparency, Warmth és Slop.
• Emellett 21 kommunikációs jellemzőt programból mérnek, például a válaszhosszt, a szerkezetet és a kiemeléseket.

Mit mutat a hízelgés?

A Sycophantic jegy azt méri, mennyire hízeleg vagy ért egyet túlzottan a modell a felhasználóval őszinte válasz helyett (Artificial Analysis). A jelenlegi, azóta 40 modellre bővült ranglistán a GPT-4o 2024. novemberi változata hízeleg a legjobban, a Grok 4.7 (xhigh) a legkevésbé. A kettő között 765 Elo-pont a különbség.

A hízelgés fordított előjellel számít bele a Transparency indexbe. Ezt az indexet a Claude Sonnet 5.5 vezeti, a GPT-3.5 Turbo zárja.

Miért fontos?

A hízelgő modell kellemes, de rossz döntésekhez vezethet: helyesli a gyenge ötletet, a hibát pedig nem jelzi. Eddig ezt főleg anekdoták alapján lehetett összevetni, most van rá mérőszám. Az értékelést LLM-bírók adják, ezért nem biztos, hogy egyezik az emberi benyomással. Ha ügyfélszolgálati vagy tanácsadó agenthez választasz modellt, a Transparency indexet is érdemes megnézni.