StateBench: az LLM-ek elvesztik a fonalat a hosszú szövegben

Mi jelent meg?

Az Allen Institute for AI (Ai2) kiadta a StateBench benchmarkot (Hugging Face / Ai2). Azt méri, mennyire követik a nyelvi modellek hosszú dokumentumokban az entitások változó állapotát. Mellé jár tech report, adatkészlet és kód.

Kódolós példával: hol tart egy változó értéke sok értékadás után. Hétköznapibb példával: kinél van a kés egy krimi végén, ha közben háromszor gazdát cserélt.

Négy nehézségi szint

• R-trivial: az érték soha nem változik, csak az első értékadást kell visszakeresni (let x = 4).
• Aperiodic: van újraértékadás, elég a legutolsó értéket megtalálni (x = 4, később x = 2).
• Soluble: önhivatkozó frissítés, az értéket végig kell vinni a láncon (x = x + 5).
• General finite: értékadás referencia szerint, például x = y vagy cserék. Ide tartozik az öt pohár alatt keresett golyó klasszikus feladata.

A szintek a Krohn–Rhodes-elméletre épülnek. A négy változat ugyanabból a sorozatból készül, azonos változószámmal, csak az értékadás típusa más, így a szintek tisztán összevethetők.

Mit találtak?

Négy frontier modellt teszteltek: Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol és GPT-6 Luna. Az első két szinten mind jól teljesített. A soluble és general finite szinten viszont a hosszabb bemeneteknél meredeken zuhant a pontosság, a leghosszabb general finite feladatokon 13 százalékra vagy az alá.

Forrás: Ai2. A frontier modellek pontossága a négy StateBench szinten a bemenet hosszának függvényében.

A nyílt, előtanított modelleknél (Olmo 3, Olmo Hybrid és kisebb változatok) a kép hasonló: az r-trivial szint ment, az aperiodic a hosszal romlott, a general finite végig véletlenszerű szinten maradt. A formátum is számított: ugyanaz a feladat táblázatszerkesztésként sokkal rosszabbul ment, mint RULER-stílusban.

A legérdekesebb a célzott tanítás. 275 millió paraméteres modelleket tanítottak nulláról legfeljebb 256 értékadásos sorozatokon, majd 64 000 értékadásig tesztelték őket. A Gated DeltaNet és a hibrid modellek az első három szinten szinte hibátlanul általánosítottak. A transformerek a könnyebb szinteket megtanulták, de hosszabb sorozatokon romlottak, a legnehezebb szintet pedig egyáltalán nem tanulták meg.

Miért fontos?

Aki hosszú kontextusra épít (kódelemzés, agentes munkamenet, hosszú szerződés), annak ez konkrét figyelmeztetés: a legutolsó érték kikeresése megy, a változások láncának követése nagy bemeneten már nem megbízható. A StateBench a rekurrens és hibrid architektúrák összevetésére is jó mérce lehet. Nyitott kérdés még, hogyan kezelhető, ha menet közben új entitások jelennek meg, ezt a keretrendszer egyelőre nem fedi le.