Anthropic: a szakértők 86 százalékban követték az AI agentet

A kísérlet

Az Anthropic október 27-én publikált kutatásában 61 adatelemzőt toborzott egy randomizált kontrollált kísérletbe (Anthropic). Mindegyikük oksági következtetésekben jártas szakember volt. A feladat: egy kitalált gazdálkodói szövetkezet számára eldönteni, hogy érdemes-e kiterjeszteni egy tanácsadási programot, ha a hatása eléri a testület 3–4 százalékos küszöbét. Az elemzőknek négy módszertani kérdésben kellett választaniuk két ésszerű opció közül, majd ajánlást kellett adniuk.

50 elemző dolgozott Claude Code agenttel, amely Claude Opus 4.8-on futott. Minden döntésnél egy rejtett pénzfeldobás határozta meg, melyik opció felé hajlik az agent. Ezt a system promptban kapta meg, azzal az utasítással, hogy saját véleményeként képviselje és a legerősebb érveket hozza mellette. 11 résztvevő úgy döntött, hogy agent nélkül dolgozik.

Az eredmények

• A négy módszertani döntésben az elemzők az esetek 86 százalékában az agent irányát követték. Ha az agentnek nem lett volna hatása, 50 százalék körül lenne az arány.
• Az ajánlásra gyengébb volt a hatás: ha az agent a program bevezetése felé hajlott, az elemzők 54 százaléka ajánlotta, ellenkező esetben 36 százaléka. Csak a négy pénzfeldobásból egy statisztikai modell az ajánlások 82 százalékát eltalálta.
• Akinek már volt saját véleménye, 60 százalékban váltott, ha az agent nem értett vele egyet, de csak 6 százalékban, ha egyetértett.
• Utólag az elemzők 77 százaléka az agent érveivel indokolta a döntését, néha szó szerint, de csak 15 százalékuk említette, hogy az érv az agenttől jött.
• 52 százalékuk inkább a saját ajánlásának tartotta az eredményt. Akik mind a négy döntésben az agentet követték, ugyanolyan magabiztosak voltak (71 pont), mint a többiek (73 pont).

A kutatók szerint az agent nem volt haszontalan, sőt: az agent nélkül dolgozó 11 elemzőből hatan súlyos módszertani hibát vétettek, az agenttel dolgozó 50-ből csak hárman. A két csoport viszont nem volt közvetlenül összehasonlítható, mert az agent nélkül dolgozók átlagosan kevésbé voltak tapasztaltak.

A korlátok

Egy feladatot, egy szakterületet és egy modellt vizsgáltak. Az agent véleményét szándékosan felerősítették, hogy mérhető legyen a hatás. Kijelölt irány nélkül a Claude Opus 4.8 a 123 futásból 112-ben ugyanazt az öt döntést hozta, tehát a valós agenteknek is vannak preferenciái, csak nem véletlenszerűek.

Mit jelent ez neked?

A tanulság nem az, hogy kevesebb AI kell, hanem hogy a döntési helyzetekben az agent véleménye könnyen a tiéd lesz, ráadásul ezt utólag észre sem veszed. Az Anthropic szerint ez a tudományban és a policyban is gond lehet: ha több független csapat ugyanazzal a modellel dolgozik, az egyetértésük már nem független. Ha agenttel elemzel, érdemes előbb leírni a saját álláspontodat, utána megkérni az agentet, hogy mindkét opció mellett hozza a legerősebb érveket. Szervezeti szinten pedig érdemes eldönteni, mely döntésekhez kell valódi emberi mérlegelés, illetve erre időt is adni.