Ugrás a tartalomra
Neural Daily

KutatásHír

Memorilla: 16 token memória egy teljes dokumentumtárhoz

🇬🇧 Read this article in English →

A Stanford SNAP csoportja nyílt forrásba tette a Memorillát, egy memóriamodult befagyasztott LLM-ekhez. A teljes dokumentumgyűjteményből kérdésenként mindig 16 memóriatokent állít elő. FactKG-n így pontosabb, mint ha az összes dokumentum a kontextusban lenne, 108-szor kevesebb tokennel.

· 3 perc olvasás

A Memorilla architektúrája: Query és Document Encoder, K tanult latens, cross-attention rétegek és K memória latens, amelyek a befagyasztott LLM bemenetébe kerülnek
Kép: Stanford University · Képernyőkép · Forrás

Mi a Memorilla?

A Memorilla egy tanítható memóriamodul, amely egy befagyasztott LLM elé kerül (Stanford). A dokumentumokat, például korábbi chateket vagy könyvfejezeteket, egy befagyasztott encoder egyszer beágyazássá alakítja, ezek egy tartós memóriatárba kerülnek. Kérdésenként tanult memóriaslotok olvassák a kérdést és a teljes tárat, majd ebből 16 memóriatoken lesz, amely közvetlenül az LLM bemeneti beágyazási terébe kerül.

A különbség a RAG-hoz képest: nem kiválogatott dokumentumok mennek szövegként a promptba, hanem a modul a teljes gyűjteményből tanulja meg, mi kell az adott kérdéshez. A publikált beállításban az encoder a Qwen3-Embedding-4B, a dekóder a Qwen3-8B, mindkettő befagyasztva. Csak a 194 millió paraméteres memóriamodul tanul (MarkTechPost).

Pontdiagram: átlagos pontszám a tokenszám függvényében, a Memorilla 16 tokennel a Pareto-front tetején, a RAG, Mem0, MemoRAG és teljes kontextus alatta
Stanford University · Képernyőkép · Forrás

Forrás: Memorilla, Stanford University (arXiv)

Mit mutatnak a mérések?

  • Nyolc benchmark átlagában a Memorilla a legjobb, a Mem0 és a MemoRAG előtt. Átlaga 49,68, nyolcból öt benchmarkon első (
  • [object Object]
  • ).
  • FactKG: 84,33% pontosság a teljes kontextusos 80,43%-kal szemben, 108-szor kevesebb dokumentumtokennel.
  • PersonaMem-v2: 44,60% a teljes kontextus 27,92%-ával szemben.
  • Késleltetés: egy H100-on 512 dokumentumnál (kb. 128 ezer token) 0,74 másodperc, a teljes kontextus 19,9 másodperc, vagyis 27-szer lassabb.
  • TextWorld agent: a sikerarány 18,6%-ról 24,2%-ra nőtt, mert az agent kevésbé bolyong a már bejárt szobák között.

Nem mindenhol nyer. PubMedQA-n 59,00%-ot ért el, az LLMLingua-2 69,00%-ot. Ez arra utal, hogy szakterületi szövegeknél a tömörítés még veszít részleteket.

Mire figyelj, mielőtt beépíted?

A memóriamodult szakaszosan tanították: Wikipedia parafrázistól általános kérdés-válaszon és összefoglaláson át a benchmarkok tanító részhalmazaiig. A jó számok tehát részben feladatra hangolt modulokból jönnek. A memóriatokenek a Qwen3-8B beágyazási terébe készülnek, így a közzétett checkpointok ehhez a dekóderhez tartoznak.

Futtatáshoz Linux, CUDA, Python 3.11 és egy 80 GB-os GPU kell, az első indítás kb. 25 GB modellt tölt le (GitHub). A kód, a tanítási receptek és a checkpointok Apache 2.0 licenc alatt elérhetők. Kvantált változatot egyelőre nem adtak ki.

Miért érdekes?

A hosszú kontextus ára az agentes rendszerek egyik fő költsége: minden turnben újra ki kell fizetni a teljes előzményt. A Memorilla fix, 16 tokenes költséggel olvas, a dekóder terhelése nem nő a dokumentumok számával. Ha ez más modellekre is átvihető, a memóriakezelés a prompt összerakásából tanult komponenssé válik. Agent memóriáról korábban: az Anthropic memória-építőkockái és a FrontierMemory benchmark.

Röviden

  • Teljes dokumentumtár helyett 16 memóriatoken egy befagyasztott LLM-nek.
  • FactKG-n pontosabb a teljes kontextusnál, 108-szor kevesebb tokennel.
  • 512 dokumentumnál 27-szer gyorsabb válasz.
  • Apache 2.0, de egyelőre Qwen3-8B-hez és 80 GB-os GPU-hoz kötve.

Kapcsolódó cikkek