CWE-bench v2: sérülékenységet javító AI agentek tesztje

Mi jelent meg?

A Collinear AI kiadta a CWE-bench v2-t (Hugging Face). Ez egy védekező biztonsági benchmark: az agent megkap egy valódi nyílt forrású repót és egy rövid utasítást, a feladat pedig egy biztonsági gyengeség megtalálása és javítása úgy, hogy a meglévő funkciók ne törjenek el.

Az új verzió 100 nyilvános feladatot nyit meg, amelyek 91 különböző CWE kategóriát fednek le. Az adatkészlet a Hubon érhető el, mellette marad egy rejtett teszthalmaz is, hogy a haladás olyan feladatokon is mérhető legyen, amelyeket egyetlen modell sem látott.

Hogyan pontoz?

A pontozás teljesen programozott és determinisztikus, így bárki megismételheti. A szerzők minden feladatnál ellenőrizték, hogy az utasítás valós kérésnek tűnjön, ne vizsgahelyzetnek. A verifier a helyes viselkedést nézi, nem egy konkrét javítás szerkezetét, illetve elbuktatja a bemagolt upstream patchet is. Minden feladatot kézzel is átnéztek.

Mit mutatnak az eredmények?

A 11 tesztelt modell közül a Gemini 4 Argon vezet 67,8 százalékos pass@1 és 81,0 százalékos pass@4 eredménnyel, szorosan mögötte a Claude Opus 5.5 (67,3 és 78,0 százalék). 95 feladatot legalább egy modell megoldott, de a listavezető is a készlet 19 százalékán minden próbálkozásnál elbukik.

Forrás: Collinear AI / Hugging Face. Pass@1 eredmény és átlagos költség futtatásonként a CWE-bench v2 nyilvános készletén.

Költségben a DeepSeek V4.1 Flash, a Claude Opus 5.5 és a Gemini 4 Argon adja a Pareto-frontot. A DeepSeek 57,0 százalékot hoz futtatásonként 0,04 dollárért, az Opus tíz ponttal többet 1,83 dollárért, a Gemini pedig 3,92 dollárért kerül épp elé. A teljes összevetés az API-only modellekkel együtt a ranglista Space-ben látható.

Miért fontos?

Aki AI agentet enged rá a saját kódbázisára biztonsági auditra, annak ez az egyik legkonkrétabb mérce: valódi repókon, futtatható javítással mér, nem feleletválasztós kérdésekkel. A feladatok Harbor környezetként futnak, a teljes benchmark egy paranccsal indítható a Hubról. RL környezetként védekező agentek tanítására is használhatók. A legjobb modell is minden ötödik feladatnál elakad, vagyis a kódreview-t ez még nem váltja ki.