Hugging Face: kis modellekkel fogja a Transformers-hibákat

Mi történt?

A Hugging Face november 3-án bemutatta a transformers-mic javaslatot, amely egységes formába csomagolja a Transformers könyvtár modellintegrációs tesztjeit (Hugging Face). A kiindulópont egy csendes hiba volt: július 30-án a T5-nél bekapcsolt SDPA attention miatt az UMT5 dekódere a jövőbeli tokenekre is rálátott, tanítás közben tehát belekukkanthatott a megoldásba. Semmi nem szállt el, a hiba majdnem két hónapig maradt a main ágon.

A Transformers több mint 750 modelltípust támogat. A main ágon több mint 88 000 CPU-teszt fut, a napi GPU-futásban pedig több mint 200 000. Mindezt minden PR-en lefuttatni rengeteg GPU-t kötne le, ezért egy regresszió gyakran csak az ütemezett futásnál bukik ki, amikor már a main ágon van.

Hogyan működik egy MIC?

Egy contract három részből áll. A fixture a valódi checkpoint konfigurációjából lekicsinyített modell: kevesebb és keskenyebb réteggel, de minden rétegtípussal, változatlan tokenizer- és processorfájlokkal. A usage path egy futtatható Markdown-példa egy tipikus felhasználásra, például szöveggenerálásra vagy egy tanítási lépésre. A baseline a példa rögzített kimenete, amelyet ember ellenőrzött.

A contract akkor teljesül, ha a fixture-en futó usage path még mindig a baseline-t adja. Egy PR-nél a módosított fájlok alapján választják ki, melyik MIC fusson. A kísérleti UMT5 fixture súlyai 66 MB-osak, az eredeti checkpoint 1227 MB. A Llama 4 Scout 108,6 milliárd paraméteréből 44,7 millió maradt: a vision stack 34 helyett 2, a nyelvi stack 48 helyett 4 réteggel, a MoE routing megtartásával.

Öt hónap commitjait visszajátszva a kis UMT5 fixture a bevezetéstől a szeptember 28-i javításig minden commiton jelezte a hibát. Egy proof ágon a T5 contract futása 13,4 másodperc volt CPU-n, a setup nélkül. Fontos részlet, hogy a hiba csak az alapértelmezett SDPA attention úton bukott ki, az eager változaton átcsúszott.

Agentek és túltanított súlyok

A tmic CLI elkészíti a contractot és a fixture-t. Új modellnél egy LLM megírja a usage kódot és a manifestet, jóváhagyni viszont nem hagyják: a megváltozott elvárásokat ember nézi át. Whispernél a random súlyú fixture alig reagált a hangra, ezért néhány hangmintán túltanították. A Hugging Face mérésében a random fixture-ök 24 beinjektált hibából 18-at fogtak meg, a túltanítottak mind a 24-et.

Mit jelent ez a gyakorlatban?

November 1-jén a MIC job a Transformers CI-ban még csak jelez, a PR-eket nem blokkolja. Nyitott kérdés, mennyi valódi hibát fog meg PR-eken, illetve mennyi téves riasztást ad. Aki saját modellt integrál a Transformersbe, a tmic workflow-t helyben is lefuttathatja, feltöltés nélkül. A terv az is, hogy a Hub modelloldalai a MIC-ekre mutassanak, így egy fejlesztő vagy egy agent tesztelt, ismert kimenetű példából indulhatna.