FrontierMemory: tanul-e az agent a saját múltjából?

Mi változott?

A Letta kutatócsapata kiadta a FrontierMemory 1.0-t (Letta). A régebbi memóriabenchmarkok, mint a LoCoMo vagy a LongMemEval, személyes tényeket kérdeznek vissza, ezek mára telítődtek. A FrontierMemory azt méri, hogy egy agent a korábbi futások naplóiból (trajektóriáiból) olyan memóriát ír-e, amitől egy másik agent jobban old meg új feladatokat.

Hogyan épül fel?

• 15 feladat, amelyet a DeepSWE, SkillsBench, AutomationBench, APEX-Agents és EnterpriseOps-Gym feladataiból alakítottak át úgy, hogy a megoldáshoz múltbeli tapasztalat kelljen.
• Háromféle memória: feladat-specifikus konvenciók, a felhasználó visszatérő preferenciái, illetve a munkakörnyezet nem nyilvánvaló tulajdonságai (például melyik fájlban vannak a valódi limitek).
• A tanuláshoz több száz korábbi trajektória áll rendelkezésre, ezeknek csak kisebb része releváns.
• Átnézés közben a megtartott forrásfeladatok 53 százalékánál hibás volt a verifier, ezeket javították.

A memóriakorpusz nyilvános a Hugging Face-en (frontier-memory-corpus).

Eredmények

Memóriaíróként az Opus 5.5 és a GLM-5.3 végzett az élen 73,3 százalékkal, mögöttük a Kimi K3 (66,7%), a GPT-6.1 Sol és a Gemini 4 Argon (60%). A GPT-6.1 Sol feladatonként 0,77 dollárral messze a legolcsóbb volt. Harness-ek között a Letta saját Dream megoldása vezetett, de ezt érdemes fenntartással kezelni, mert a benchmarkot is a Letta készítette.

A legérdekesebb megfigyelés gyakorlati: a felszólító módú, „mikor használd” típusú skill-leírásokat a task agent tényleg betöltötte, a generikus leírásokat nem. A túl konkrét szabályok (például fájlméretre kötött feltétel) pedig nem általánosítottak új feladatra. Ha memóriás agentet vagy skill-könyvtárat építesz, ez a két tanulság azonnal használható.