GDPx: 12% a csúcs a SemiAnalysis új agent-benchmarkján

Mi a GDPx?

A SemiAnalysis szerint az OpenAI GDPval benchmarkja, ami ma is ott van a legtöbb model cardban, az agentek előtti korból maradt itt. A feladatok jól körülhatároltak, minden kontextust a promptban kap a modell, a feladat pedig jellemzően egyetlen generált dokumentum. A GDPx ezzel szemben szimulált munkakörnyezetbe dobja az agentet. Egy feladatra alapból 8 órája van.

A benchmark 206 feladatból áll 11 területen, amelyeket 14 specializált RL-környezet startup rakott össze. A területek: rekurzív önfejlesztés (RSI), hardvertervezés, kiberbiztonság, biológia, pénzügy, jog, kvantitatív kereskedés, chiptervezés, szoftverfejlesztés, anyagtudomány és alignment. A kormányzat, az ingatlan és a biztosítás szándékosan kimaradt: a SemiAnalysis szerint az első billió dollárnyi AI-bevétel ott jön, ahol a frontier modellek nagy megtérüléssel bevethetők.

Milyenek a feladatok?

• Pénzügy: egy valós PE-tranzakcióból felépített, kb. 4000 fájlos deal room, ahol az agentnek magának kell összeszednie a kontextust.
• Kiberbiztonság: valódi, nem publikus zero-dayekre épülő élő környezetek, több futó szolgáltatással.
• Hardvertervezés: SolidWorks, Siemens NX vagy Fusion 360 sessionök, ahol a grader a geometriát módosítva ellenőrzi, hogy a terv parametrikusan újraépül-e.
• RSI: kb. 1000 RL rollout (21,2 millió token) alapján kell kideríteni, miért romlott el egy tanítás.

A modellek a saját harnessükben futottak (Claude Code, Codex, Antigravity), a többiek OpenCode-ban. A pontszám 3 próbálkozás átlaga, minden terület egyenlő súllyal.

Az eredmények

Az összesített ranglistát a Claude Opus 5.5 vezeti 12,0%-kal, mögötte a Gemini 4 Carbon (10,9%) és a GPT-6 Astra (9,6%). A legjobb nyílt súlyú modell a DeepSeek 4.1 Flash (5,4%), a GLM 5.3 2,7%-ot ért el. Költségben nagy a szórás: egy feladat az Opusszal 51 dollár, a Carbonnal 16, a DeepSeek 4.1 Flash-sel alig 1 dollár.

Forrás: SemiAnalysis (GDPx). A teljes ranglista mind a 11 területtel, 3 próbálkozás átlagával, feladatonkénti költséggel.

Fontos csavar a safety classifier. Ha kivesszük a kiberbiztonságot, a biológiát és az alignmentet, ahol egyes modellek védelmi szűrői rendszeresen beavatkoznak, a GPT-6 Astra kerül az élre 11,8%-kal, az Opus 5.5 11,7%-kal második. A SemiAnalysis szerint ezért a Muse Wonder Full jelenleg a legjobb elérhető kibermodell, a Gemini 4 Carbon pedig valószínűleg a gyengébb szűrők miatt nyeri a biológiát.

Mit érdemes ebből leszűrni?

A modellek erősen tüskések: az Opus a kvantitatív kereskedésben és a chiptervezésben nyer, az Astra az RSI-ben és az anyagtudományban, a Carbon a szoftverfejlesztésben. A pénzügyi feladatokon bináris pontozással minden modell 0%-ot ért el, ezért ott részpontszámot közölnek. A SemiAnalysis saját QA-folyamata a Terminal Bench 4.0 feladatainak közel felét hibásnak jelölte, ami jól mutatja, mennyire nehéz ma tisztességes agent-benchmarkot építeni.

Gyakorlati tanulság: ha agentet választasz egy szakterületre, a toplista helyett a saját doménedre szűrt eredményt nézd. A safety classifier is legyen a szempontok között, mert egy erős modell is elvérezhet, ha a szűrője megállítja a munkát.