Zyphra ZHA: fakereséssel ritkítja az attentiont

Mi történt?

A Zyphra bemutatta a Zyphra Hierarchical Attention (ZHA) módszert (Zyphra). A ritka attention egyik ismert gondját célozza: a végső attention ugyan csak néhány kulcsot olvas, de az indexelő, amely kiválasztja őket, még mindig az egész kontextust végigpontozza. Az idézett mérések szerint 1 millió token körül az indexelés a rétegidő 60 és 90 százaléka között viszi el.

Hogyan működik?

A ZHA a kulcsokat egymás utáni darabokra bontja. Minden darabot egy összefoglaló kulcsba tömörít. Ezeket csoportosítja és újra tömöríti, szintről szintre. Dekódoláskor a query a legfelső csomópontokat pontozza, csak a legígéretesebb ágakat bontja ki, egészen a valódi KV-bejegyzésekig. A teljes KV cache megmarad, a fa csak azt dönti el, melyik kulcsot olvassa az adott query.

A módszer a befagyasztott alapmodellre ül rá: csak néhány tanulható referencia-query tanul. A Qwen3.6-35B-A3B-hez ez 81 920 paraméter, kb. 4 milliárd tokennyi tanítással, 32K kontextuson (MarkTechPost).

Mit mutatnak a számok?

Minden szám a Zyphra saját mérése (arXiv). A Qwen3.6-35B-A3B-n a ZHA hét érvelési, kódolási és visszakeresési benchmarkon néhány ponton belül marad a sűrű attentiontől. A LongBench v2-n a mély fa a kulcsok kb. 1,1 százalékát olvasva 63,4%-ot ért el, a sűrű attention 58,0%-ot. A RULER-13-on mindkét fa 93% fölött maradt, egy tízszer több tokenen tanított MiniMax Sparse Attention indexelő 77,1%-ra esett.

Van gyenge pont is: a NoPE-alapú Nemotron-3.5-Lightning-30B-A3B-n a mély fa 25,3 ponttal marad el a sűrű attentiontől a RULER-13-on. Optimalizált kernelt nem adtak ki, a sebességet csak modellezték: 256K tokennél 1,93 és 2,28-szoros gyorsulást becsülnek a sűrű attentionhöz képest.

Kinek érdekes?

Hosszú kontextusú inference-t építő csapatoknak érdemes figyelni. A módszer meglévő modellekre olcsón ráhúzható, de valódi kernelek és független mérések nélkül a sebességelőny egyelőre csak papíron létezik.