KutatásHír
FlashMap: 6x gyorsabb LLM válasz pontosságvesztés nélkül
🇬🇧 Read this article in English →
A Polymathic AI, a Princeton, illetve partnereik kutatói a FlashMap nevű speculative decoding módszerrel akár 6,14-szeres gyorsulást értek el veszteség nélkül a Qwen3-8B modellen. A drafter egyetlen lépésben 16 tokent javasol.
Írta: Mikola Máté Patrik · · 2 perc olvasás
Mikola Máté Patrik
Mi a probléma?
A speculative decoding lényege, hogy egy kis drafter modell előre javasol tokeneket, a nagy modell pedig egyszerre ellenőrzi őket. A kimenet így pontosan ugyanaz, mintha a nagy modell egyedül dolgozna, csak gyorsabb. A gyors, blokkokban rajzoló drafterek viszont általában egymástól függetlenül jósolják a tokeneket. Ha a folytatás lehet new york vagy san diego is, ezek könnyen keverik a kettőt, például new diego lesz belőle.
Mit csinál a FlashMap?
A FlashMap continuous flow map drafterrel egyetlen forward passban rajzol meg egy 16 tokenes blokkot, miközben a tokenek közötti függéseket is modellezi (FlashMap). A drafter 0,5 milliárd paraméteres. A szerzők a Polymathic AI, a Princeton, az USC ISI, a NYU, illetve a Flatiron Institute kutatói (arXiv).
- Qwen3-8B-vel GSM8K-n akár 6,14-szeres lossless gyorsulás.
- Átlagosan 7%-kal gyorsabb a DFlash nevű korábbi block drafternél.
- A leggyengébb eset az Alpaca T=1 mellett, ott is 2,28-szoros a gyorsulás.
- Kétlépéses módban mind a 18 vizsgált beállításban jobb acceptance értéket ad a DFlashnél.
A tanítás kb. 4600 H200 GPU órába került. A kód MIT, a súlyok Apache-2.0 licencűek, a vLLM 0.31 és az SGLang 0.5.20 támogatja (GitHub).
Mit jelent ez neked?
Ha saját inference stacket futtatsz Qwen3 modellekkel, a FlashMap drafter kipróbálható vLLM vagy SGLang alatt. Így a válaszidő a kimenet változása nélkül csökken. Más modellcsaládhoz egyelőre saját drafter tanítás kell, ami nem olcsó.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk
