KutatásHír
Memorilla: 16 token memória egy teljes dokumentumtárhoz
🇬🇧 Read this article in English →
A Stanford SNAP csoportja nyílt forrásba tette a Memorillát, egy memóriamodult befagyasztott LLM-ekhez. A teljes dokumentumgyűjteményből kérdésenként mindig 16 memóriatokent állít elő. FactKG-n így pontosabb, mint ha az összes dokumentum a kontextusban lenne, 108-szor kevesebb tokennel.
· 3 perc olvasás

Mi a Memorilla?
A Memorilla egy tanítható memóriamodul, amely egy befagyasztott LLM elé kerül (Stanford). A dokumentumokat, például korábbi chateket vagy könyvfejezeteket, egy befagyasztott encoder egyszer beágyazássá alakítja, ezek egy tartós memóriatárba kerülnek. Kérdésenként tanult memóriaslotok olvassák a kérdést és a teljes tárat, majd ebből 16 memóriatoken lesz, amely közvetlenül az LLM bemeneti beágyazási terébe kerül.
A különbség a RAG-hoz képest: nem kiválogatott dokumentumok mennek szövegként a promptba, hanem a modul a teljes gyűjteményből tanulja meg, mi kell az adott kérdéshez. A publikált beállításban az encoder a Qwen3-Embedding-4B, a dekóder a Qwen3-8B, mindkettő befagyasztva. Csak a 194 millió paraméteres memóriamodul tanul (MarkTechPost).

Forrás: Memorilla, Stanford University (arXiv)
Mit mutatnak a mérések?
- Nyolc benchmark átlagában a Memorilla a legjobb, a Mem0 és a MemoRAG előtt. Átlaga 49,68, nyolcból öt benchmarkon első (
- [object Object]
- ).
- FactKG: 84,33% pontosság a teljes kontextusos 80,43%-kal szemben, 108-szor kevesebb dokumentumtokennel.
- PersonaMem-v2: 44,60% a teljes kontextus 27,92%-ával szemben.
- Késleltetés: egy H100-on 512 dokumentumnál (kb. 128 ezer token) 0,74 másodperc, a teljes kontextus 19,9 másodperc, vagyis 27-szer lassabb.
- TextWorld agent: a sikerarány 18,6%-ról 24,2%-ra nőtt, mert az agent kevésbé bolyong a már bejárt szobák között.
Nem mindenhol nyer. PubMedQA-n 59,00%-ot ért el, az LLMLingua-2 69,00%-ot. Ez arra utal, hogy szakterületi szövegeknél a tömörítés még veszít részleteket.
Mire figyelj, mielőtt beépíted?
A memóriamodult szakaszosan tanították: Wikipedia parafrázistól általános kérdés-válaszon és összefoglaláson át a benchmarkok tanító részhalmazaiig. A jó számok tehát részben feladatra hangolt modulokból jönnek. A memóriatokenek a Qwen3-8B beágyazási terébe készülnek, így a közzétett checkpointok ehhez a dekóderhez tartoznak.
Futtatáshoz Linux, CUDA, Python 3.11 és egy 80 GB-os GPU kell, az első indítás kb. 25 GB modellt tölt le (GitHub). A kód, a tanítási receptek és a checkpointok Apache 2.0 licenc alatt elérhetők. Kvantált változatot egyelőre nem adtak ki.
Miért érdekes?
A hosszú kontextus ára az agentes rendszerek egyik fő költsége: minden turnben újra ki kell fizetni a teljes előzményt. A Memorilla fix, 16 tokenes költséggel olvas, a dekóder terhelése nem nő a dokumentumok számával. Ha ez más modellekre is átvihető, a memóriakezelés a prompt összerakásából tanult komponenssé válik. Agent memóriáról korábban: az Anthropic memória-építőkockái és a FrontierMemory benchmark.
Röviden
- Teljes dokumentumtár helyett 16 memóriatoken egy befagyasztott LLM-nek.
- FactKG-n pontosabb a teljes kontextusnál, 108-szor kevesebb tokennel.
- 512 dokumentumnál 27-szer gyorsabb válasz.
- Apache 2.0, de egyelőre Qwen3-8B-hez és 80 GB-os GPU-hoz kötve.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk


