TheoPhysEval: Astra 50-ből 49 fizikai feladatot old meg

Mit mér a benchmark?

A feladatok szándékosan nem a nagy nyitott kérdések. A szerzők turn-the-crank problémáknak nevezik őket: ismert módszert kell alkalmazni egy kissé módosított kérdésre. Egy tipikus feladatot a terület világelszakértője AI nélkül körülbelül egy nap alatt oldana meg. A szomszédos területek szakértőinek sokkal több idő kellene (arXiv).

A 50 feladat 11 altémát fed le, a folyadékdinamikától a biológiai folyamatokon át a részecskefizikáig és a kozmológiáig. Minden agentet két pályán futtattak: realistic track (webkeresés és eszközök), illetve isolated track (helyi eszközök, webkeresés nélkül).

Az eredmények

A realistic tracken az Astra 49/50-et ért el. Az Opus 5.5 Claude Code-ban 46/50-et, a Gemini 3.8 Flash Antigravityben 34/50-et, a DeepSeek-V4.1-Flash Codexben 27/50-et, a GLM 5.3 Claude Code-ban 21/50-et. Az isolated tracken az Astra és az Opus egyaránt 46/50-et, a Gemini 31/50-et, a GLM 26/50-et, a DeepSeek 25/50-et ért el.

A teljes realistic futás költsége Astránál kb. 116 dollár volt, Opussnál 240, Geminiben 95, DeepSeeknél 37. Az Astra átlaga feladatonként 3 dollár alatt maradt. A szerzők egyetlen API-futást futtattak agentenként, ezért a pontszámokban van statisztikai bizonytalanság.

A webkeresés meglepően keveset változtatott. Az Astra és az Opus az isolated tracken is 92%-ot ért el. Sok feladat irodalmi képleteken múlik, amelyeket a modellek általában nem kaptak meg a promptban. A szerzők ezt úgy értelmezik, hogy a vezető nyelvi modellek a gyakorlati elméleti fizikai irodalom nagy részét memorizálták.

Hol hibáztak, illetve mi a határ?

Az Astra realistic tracken egyetlen feladatot rontott el: egy inverz problémát, ahol egy adott görbéhez kellett autonóm differenciálegyenletet találni. Ezt egyetlen modell sem oldotta meg. Több esetben, ahol az Astrát először hibásnak ítélték, a szakértők később a saját referencia-megoldásukban találtak apró hibát. A javítás után az Astra válasza mindegyikben helyesnek bizonyult.

A szerzők hangsúlyozzák: a konkrét, ellenőrizhető számítás csak a kutatási folyamat vége. Előtte elméletet kell építeni, a jó kérdéseket feltenni, illetve ha a probléma túl nehéz, egy egyszerűbb, de érdekes irányra váltani. Ezt a ízlést (taste) a mai agentek még nem hozzák. Amikor új problémákat kell tervezniük, a szerzők szerint olyan részletekbe vesznek el, amelyeket egy ember unalmasnak találna.

Mit jelent ez a képzésben?

A szerzők szerint az ilyen feladatok már nem alkalmasak kezdő kutatók első önálló projektjének, hacsak a cél nem kifejezetten az anyag átvétele. Emellett a költségek egyenlőtlenséget hozhatnak: a TheoPhysEval még olcsó, de a nehezebb problémáknál a csoport költségvetése dönthet arról, mit lehet megoldani. A dataset a Hugging Face-en elérhető (Hugging Face).