KutatásHír
AA Intelligence Index v5: Opus 5.5 vezet, nő a nyílt rés
🇬🇧 Read this article in English →
Az Artificial Analysis kiadta az Intelligence Index v5-öt: az index 60%-a már privát tesztsoron fut. Az élen a Claude Opus 5.5 áll 58 ponttal, a nyílt modellek lemaradása 3-ról 12 pontra nőtt.
Írta: Mikola Máté Patrik · · 2 perc olvasás
Mikola Máté Patrik
Mi változott?
Az Artificial Analysis kedden kiadta az Intelligence Index v5-öt (Artificial Analysis), ez a januári v4 óta a legnagyobb frissítés. A kompozit index most először többségében privát vagy visszatartott válaszú teszteken alapul: a súly 60%-a ilyen. Ez a kontamináció ellen véd, vagyis nehezebb a tesztre tanítani a modellt.
- Új: FrontierCode 2.0, a Cognition privát kódolási benchmarkja. 132 feladat valódi open source repókban, a mérce az, hogy a maintainer mergelné-e a változtatást.
- Új: Terminal-Bench-Science, 70 agentes tudományos kutatási feladat terminálban.
- Frissítve: HLE-Diamond (a Humanity's Last Exam 1000 kérdéses változata), AA-Omniscience v1.1, CritPt v2 nehéz részhalmaz.
- Kikerült: GDPval-AA, SciCode, AA-LCR.
A négy kategória (tudásmunka, kódolás, tudomány, általános) egyenként 25%-ot kap. Az index mellé indul a Progress Index v1 is, amely egyetlen folytonos skálán követi a modellek fejlődését.
Az eredmények
- Claude Opus 5.5 (max): 58 pont, előtte nincs senki.
- GPT-6 Astra (max): 57, GPT-6.1 Sol (max): 55. Az első öt hely az Anthropicé és az OpenAI-é.
- Gemini 4 Argon (high): 50.
- Legjobb nyílt súlyú: Kimi K3.1 Pro 46 ponttal, de a súlyai még nem jelentek meg. A már letölthetők közül a DeepSeek V4.1 Flash 1017 és a GLM-5.3 vezet 32 ponttal, a Claude Haiku 5.5 (36) alatt.
A FrontierCode 2.0-n az Opus 5.5 vezet 46%-kal, a GPT-6 Astra, a GPT-6.1 Terra, illetve a Claude Sonnet 5.5 egyaránt 42%-on áll. A Terminal-Bench-Science-en a GPT-6 Astra az első 63%-kal, a legjobb letölthető nyílt modell itt csak 13%.
Forrás: Cognition. A FrontierCode 2.0 privát kódolási benchmark borítóképe.
Miért fontos?
Ha modellt választasz agentes kódoláshoz vagy kutatási munkához, a v5 közelebb van a valós használathoz, mint a nyilvános benchmarkok, mert nehezebb rájuk optimalizálni. A nyílt modellek 12 pontos lemaradása főleg az agentes feladatokon jön ki, tehát self-hosted agentnél érdemes saját tesztet is futtatni. A régi v4-es pontszámok nem hasonlíthatók össze az újakkal.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk
