EAGLE-4: egy draft modell minden batchmérethez

Mi az újdonság?

Az EAGLE család kis draft modellje előre javasol tokeneket, a célmodell pedig egy lépésben ellenőrzi őket. Az EAGLE-4 fő újítása az EAGLE-Harness: egy bemelegítő futás profilozza a draft és a célmodell költségét batchméret, kontextushossz és spekulált tokenszám szerint, majd generálás közben ebből és a draft magabiztosságából választja ki a fa mélységét, szélességét és az ellenőrzési keretet. Így ugyanaz a draft modell egy kérésnél agresszíven spekulál, nagy terhelésnél visszafogja magát.

A másik újítás egy kétlépcsős LM head: egy alacsony rangú fej előszűri a jelölteket a teljes szótárból, a pontos logitokat csak ezekre számolja az eredeti fej. A cég szerint a teljes szótáras logitszámítás a draft lépés idejének 65,4%-a volt.

Számok a cégtől

• Qwen3.8-27B, 4x B300: egy kérésnél 863,8 token/s (alap: 240,5), 512 kérésnél összesen 28 340 token/s (alap: 21 203).
• Nemotron 3.5 Super VL: 2,74-szeres gyorsulás egy kérésnél, 1,69-szeres 512-nél.
• AMD MI350X, egy GPU: 3,49-szeres gyorsulás egy kérésnél.
• 4 vCPU-s szerver, 4 bites Gemma-4-E2B, llama.cpp: 2,28-2,92-szeres gyorsulás.
• Telefon CPU (Snapdragon 8 Elite): HumanEvalon 22,8-ról 82,6 token/s, tokenenkénti energia 53,4%-kal kevesebb.

A fő mérések 0 hőmérsékleten készültek. Temperature 1-en a Qwennél 512 kérésnél a gyorsulás 1,03-szorosra esik, vagyis mintavételezéssel jóval kisebb a nyereség.

Hogyan használható?

Az eagle-harness csomag a PyPI-ról telepíthető, és pluginként fut SGLangen, vLLM-en és kísérleti jelleggel TokenSpeeden. Fontos: a hivatalos engine-csomagokban nincsenek meg a szükséges hookok, ezért a repóban megadott patchelt wheeleket vagy konténerképeket kell használni. A licenc source-available, nem klasszikus open source. Draft modellek egyelőre a Qwen3.8-27B-hez és a Nemotron 3.5 Super VL-hez vannak.

Aki saját inference szervert üzemeltet ezekkel a modellekkel, annak gyorsan lemérhető, mennyit nyer a saját terhelési mintáján.