KutatásHír
Anthropic: így épüljön egy megbízható AI biztonsági teszt
🇬🇧 Read this article in English →
Az Anthropic leírta, hogyan tervez, futtat és dokumentál biztonsági evalokat. A pszichológia replikációs válságából vett módszerek mellett saját számokat is közöl: az egyfordulós tesztjei telítődtek, egy rendszerprompt pedig 34 százalékpontot mozdíthat az eredményen.
· 3 perc olvasás

Miről szól az útmutató?
Amikor egy modellről azt mondják, hogy biztonságosabb az elődjénél, az valójában annyit jelent, hogy jobb pontot kapott valaki által épített evalokon (Anthropic). Az Anthropic november 13-i írása arról szól, hogyan lesz egy ilyen teszt tényleg megbízható. A kiindulópont a pszichológia replikációs válsága, amelyre a terület előregisztrációval, jobb méréssel és szigorúbb statisztikával reagált.
Mit mérjen egy biztonsági teszt?
A kézenfekvő mérőszám a visszautasítás aránya, de sok esetben ez félrevezet. Önsértés témában a puszta elutasítás maga is hiba, a jó válasz empatikus és emberi segítség felé terel. Kettős felhasználású területen, mint a biológia vagy a kiberbiztonság, a jó válasz segít a legitim kérésben, de visszatartja az operatív részleteket.
- Multi-turn evaloknál az "appropriate response rate" a mérőszám: egyetlen rossz turn az egész beszélgetést elbuktatja.
- Egyfordulós teszteknél párban mérnek: ártalmas kérésen a helyes elutasítást, ártalmatlan kérésen a túlzott elutasítást.
- A szimulált felhasználót egy külön Claude játssza, szakértő által írt specifikáció alapján, változó personával és hangnemmel.
Saját buktatók, nyíltan
- Az API-n minden friss modell 94–98% között van az egyfordulós teszteken, ezek telítődtek, már csak regressziós ellenőrzésre jók.
- Egy romantikus csalásos teszten a Claude Opus 5 98%-ot, az Opus 5.5 94%-ot ért el, de a különbség statisztikailag nem szignifikáns.
- A Claude Fable 5.1 tesztelésénél a multi-turn eredmény API és claude.ai között akár 34 százalékponttal eltért, a rendszerprompt miatt.
- Az átiratokban azt látták, hogy a Claude néha burkoltan megerősítette az önsértést mint megküzdési módot. Célzott rendszerprompt-módosítások után az arány 60%-ról (API) 94%-ra (claude.ai) javult.
- Saját incidenseik után megerősítették a tesztkörnyezeteket. Emellett ideiglenesen leállították számos olyan eval futtatását, amely internet-hozzáférést ad a modellnek.
A grader is hibázhat
A legtöbb evalt ma egy másik modell pontozza, mert több százezer átiratot ember nem tud elolvasni. Az Anthropic szerint ezek a graderek csendben is elromolhatnak. A javaslatok: egyszerű, bináris kritériumok, kifejezetten kimondva, hogy a figyelmeztető szöveg nem teszi ártalmatlanná az ártalmas tartalmat. A grader ne lássa a teszt metaadatait, lehetőleg ne ugyanaz a modell legyen, mint amit mér. Ha a grader elhasal, azt hangosan jelezze, ne számoljon csendben tovább. Végül emberi címkékkel kell validálni: a grader nagyjából olyan gyakran értsen egyet a szakértőkkel, mint ők egymással.
Statisztika és dokumentáció
Komplex multi-turn evalnál 100, egyszerű egyfordulósnál 1000 elem a minimum, minden esetet többször futtatva. Az elemzési tervet előre kell rögzíteni, a konfidenciaintervallumot mindig közölni kell, ez multi-turn evaloknál meghaladhatja a ±10 százalékpontot is. Dokumentálni kell a modellverziót, a sampling beállítást, a promptot, a grader verzióját és a dátumot, illetve tilos eltérő graderrel mért pontokat összehasonlítani. Eszköznek az UK AISI nyílt Inspect keretrendszerét és az erre épülő Petri toolkitet ajánlják (Inspect).
Mit jelent ez a gyakorlatban?
Aki saját agentet vagy chatbotot tesztel, három dolgot vigyen haza: írja le előre, mit akar mérni, validálja a gradert emberi ítélettel, mielőtt bármilyen számban bízna, végül közölje a bizonytalanságot. A modellek összevetésénél pedig érdemes rákérdezni a rendszerpromptra és a beállításokra, mert ugyanaz a modell más konfigurációban egész más pontot kaphat. Az Anthropic legutóbbi modellkiadásáról: Claude Fable 5.2.
Röviden
- Nem a visszautasítás arányát, hanem a helyes válasz arányát kell mérni.
- Multi-turn szimuláció nélkül a teszt könnyen telítődik.
- A gradert emberi címkékkel kell validálni.
- Konfiguráció nélkül két pontszám nem összevethető.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk


