Ai2 FairStress: rejtett torzítások az LLM-döntésekben

Mi történt?

Az Allen Institute for AI (Ai2) kiadta a FairStress benchmarkot, amely azt vizsgálja, mennyire következetesen döntenek az LLM-ek, ha a döntés emberekről szól (Hugging Face / Ai2). Az adatkészlet letölthető (Hugging Face), a kód nyílt (GitHub), a részletek a tech reportban vannak. Az Ai2 a saját nyílt értékelő keretrendszerébe, az Olmo-evalba is beépíti.

A meglévő fairness-tesztek többnyire azt nézik, hogy a modell ugyanazt a jelöltet választja-e, ha felcserélik a jelöltek demográfiai identitását. A FairStress ennél tovább megy: azt is méri, milyen könnyen lehet a modellt rábeszélni a döntése megváltoztatására, illetve hogy ez függ-e attól, melyik csoportnak kedvez az érv.

Hogyan működik?

• 300 életszerű, kétjelöltes döntési helyzet 29 területen, például munkaerő-felvétel, egészségügy, hitelezés, oktatás, lakhatás és büntető igazságszolgáltatás.
• Egy részükben van egyértelműen jobb jelölt, a többi szándékosan kiegyenlített, ott nincs objektíven jobb választás.
• Az identitás négy szinten jelenik meg: semmilyen, kódolt név, közvetett utalás vagy kimondott demográfiai címke.
• A rábeszélő mondatok (adversarial prefixek) tekintélyre, konszenzusra, állítólagos bizonyítékra, jogi aggályra vagy történelmi hátrányra hivatkoznak. Mindegyiknek van tükörpárja, amely ugyanígy érvel a másik jelölt mellett.
• Ez összesen több mint 13 millió tesztesetet ad. A gyorsabb futtatáshoz ott a FairStress-Core, egy 50 ezer elemes részhalmaz, amelyet item response theory alapján választottak ki.

Mit találtak?

Demográfiai információ nélkül a modellek szinte szimmetrikusan döntöttek. Minél explicitebb volt az identitás, annál nagyobb lett az aszimmetria: a modellek könnyebben feladták a helyes döntést, ha a rábeszélés a kisebbségi kódolású jelöltnek kedvezett. Az Ai2 ezt anti-sztereotip túlkorrekciónak nevezi. A tesztelt modellek között volt Olmo, Llama, Qwen, Gemma, Claude és GPT.

• 15 modell átlagában a helyes döntés feladásában mért különbség közvetett identitásnál 6,9, kimondott címkénél 9,3 százalékpont volt.
• A FairStress-Core-on a Claude Opus 5 és a GPT-5.5 kiegyenlített esetekben nagyjából 60 és 65% között választotta a kisebbségi kódolású jelöltet.
• Párosított rábeszélő mondatoknál a kisebbségi kódolású jelölt felé váltás 8,8 és 42,4 százalékpont közötti mértékben volt gyakoribb, mint a fordított irányú váltás, 12 modell- és módfutásban.
• Az indoklások is eltértek. Kisebbségi kódolású jelölt választásakor gyakrabban jöttek elő olyan szavak, mint a „resilience” vagy a „diversity”, többségi jelöltnél inkább az „evidence” és a „criteria”.
• A Gemma-3-12B-it és a Qwen2.5-7B-Instruct belső aktivációiból kb. 73%-os pontossággal megjósolható volt, melyik oldalt választja a modell. Ugyanezen aktivációk szöveges leírásaiból csak 57 és 59% közötti pontosság jött ki, 50%-os véletlen alapszint mellett.

Forrás: Ai2. FairStress-Core, kiegyenlített esetek, ahol a két jelölt egyformán alkalmas.

Forrás: Ai2. 15 modell átlagos eltérése százalékpontban, ahogy az identitás egyre explicitebb lesz.

Miért mást mutat, mint a BBQ?

A széles körben használt BBQ benchmarkon ugyanezek a modellek inkább sztereotip válaszok felé hajlottak. Az Ai2 szerint a különbség jelentős része a mérés módjából jön. A BBQ szokásos beállítása a fix válaszlehetőségek valószínűségét pontozza, a FairStress viszont generált választ kér, ahogy egy chatben.

Kontrollált kísérletben ugyanazokat a BBQ-kérdéseket chat template-tel, igen/nem kérdezéssel és generált válaszokkal futtatták. Így a Qwen2.5-7B-Instruct, a Gemma-3-27B-it és a Llama-3.1-70B-Instruct a kisebbséget előnyben részesítő irányba fordult, a Llama-3.1-8B-Instruct pedig nagyjából semleges lett. Vagyis a mért torzítás iránya részben attól függ, hogyan kérdez és pontoz a benchmark.

Segítenek a meglévő javítások?

Kilenc debiasing módszert teszteltek, köztük self-critique-ot, activation steeringet és tanult szerkesztéseket. A legtöbb nem csökkentette megbízhatóan az aszimmetriát, egyesek pedig a pontosságot vitték le. Egy activation steering eljárás a Qwen2.5-7B-Instruct pontosságát egyértelmű eseteknél 98%-ról 47%-ra rontotta.

A legközelebb a counterfactual chain-of-thought jutott: itt a modell felcserélt identitásokkal is végiggondolja az esetet. Ez három modellcsaládon csökkentette a rést, miközben a pontosság nagyrészt megmaradt. A kiegyenlített esetekben viszont továbbra is a kisebbségi kódolású jelöltek felé billent a modell.

Az Ai2 az Olmo 3 tanítóadatait is átnézte. 28 ezer témaklaszterből mindössze kilenc szólt érdemalapú döntésről, ezek mind elutasítások voltak. Hogy ez okozza-e a viselkedést, az Ai2 szerint még nyitott kérdés.

Mit jelent ez a fejlesztőknek?

Aki LLM-et tesz felvételi szűrés, hitelbírálat vagy betegpriorizálás mögé, annak a FairStress kézzelfogható teszt. Nem elég, hogy a végső válasz stimmel, azt is mérni kell, mennyire tartja a modell a döntését nyomás alatt. A BBQ-összevetés tanulsága is gyakorlati: a fairness-mérést érdemes a valós, generált válaszos beállításban is lefuttatni, nem csak fix opciókkal.

Fontos korlát, hogy a FairStress egyenlőség-központú fairness-definícióval dolgozik. Az Ai2 maga írja, hogy a méltányossági szemléletet, amely a történelmi hátrányt is figyelembe veszi, nem fedi le.