KutatásHír
Súlyokból kiolvasva: kínai modellek Blackwell GPU-n
🇬🇧 Read this article in English →
Will DePue, az OpenAI korábbi mérnöke a nyilvános súlyokból mutatta ki, hogy négy kínai labor hat modellje exportkorlátozott NVIDIA Blackwell chipen indult. A módszer a súlyok kezdeti véletlen értékeiben maradt nyomot olvassa ki. Független csapatok már részben reprodukálták.
· 3 perc olvasás

Mit állít a jelentés?
Will DePue november 12-én közölt jelentése szerint a DeepSeek, a Moonshot AI, a MiniMax és az Ant Group 2026 áprilisa óta kiadott modelljei közül hat Blackwell chipre utaló mintát hordoz (Unemployment Labs). Ugyanezen laborok korábbi modelljei még Hopper mintát mutatnak.
- B200/B300 (148 SM): DeepSeek-V4-Flash, MiniMax-M3.
- GB200/GB300 (152 SM): DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro, Ling-3.1-flash.
- Hopper maradt: az Alibaba (Qwen), a Zhipu (GLM), a Tencent, a Xiaomi és a StepFun legújabb olvasható modelljei.
A Kimi K3.1-Pro ugyanabból a seedből indul, mint a K3, így valószínűleg annak továbbtanított változata (Kimi K3.1 Pro: nyílt súlyú modell a Claude Opus nyomában).
Hogyan lehet ezt a súlyokból kiolvasni?
A PyTorch a kezdeti súlyokat a Philox véletlenszám-generátorral tölti fel, a cuRAND-on keresztül, sok párhuzamos GPU-szálon. Egy SM-re 2048 szál jut, így a szálak száma chipgenerációnként más: Hopperen 270 336, B200/B300-on 303 104, GB200/GB300-on 311 296. Ugyanaz a seed más szálszámmal más pozíciókba teszi ugyanazokat az értékeket.
A tanítás során soha nem használt súlyok, például a sosem látott tokenek embedding sorai, szinte érintetlenül megőrzik a kezdőértéket. DePue kb. 6 billió seed és szálszám kombinációt próbált végig. A véletlen egyezés felső becslése 8 szigma, a hat modell legerősebb eredményei 49 és 1385 szigma között vannak. A tanított súlyokban is marad halvány nyom: a DeepSeek-V4-Flash 42 rétegén r = 0,066 Blackwell elrendezésben, Hopperen gyakorlatilag nulla.
A módszer mind a 24 olyan esetben eltalálta a hardvert, ahol a fejlesztő maga közölte. Az NVIDIA saját Nemotron-3 Ultra modellje például ugyanúgy 152 SM-et mutat, mint a Kimi K3.
Ki ellenőrizte?
- DePue egy bérelt GB200-on, módosítatlan PyTorch-csal visszakapta a Kimi K3 mind a 13 megőrzött sorát. Eggyel eltérő seeddel egyiket sem.
- Az Institute for Progress ellenőrzése a DeepSeek-V3, a DeepSeek-V4-Flash és a MiniMax-M3 eredményét reprodukálta valódi GPU-n. A Kimi K3 teljes teszteléséhez nem volt 152 SM-es chipjük (
- [object Object]
- ).
- Egy másik független replikáció a DeepSeek-V3, a V4-Flash és a Kimi K3 elrendezését is visszakapta, 0,999 feletti korrelációval (
- [object Object]
- ).
- Bojie Li 265 nyílt modellt vizsgált át. Ahol mindketten kaptak eredményt, 65 modellnél ugyanarra a GPU-osztályra jutott, ellentmondást nem talált (
- [object Object]
- ).
Mit nem bizonyít?
A jelentés maga is kiemeli: a minta azt a hardvert azonosítja, amely a kezdősúlyokat generálta. Azt nem, hogy hol voltak a chipek, kié voltak, vagy történt-e exportszabálysértés. Blackwell kapacitás Kínán kívüli adatközpontokban is bérelhető. Egy speciálisan beállított AMD MI300X elméletben ugyanilyen mintát adhat, ezt DePue a DeepSeek-V4-Flash esetében kizárta, a többinél nagyon valószínűtlennek tartja. Konklúzívnak csak a DeepSeek-V4-Flash eredményét nevezi.
A tanítások méretére is ad becslést: az öt Blackwell futás együtt nagyjából 12 000 GPU-t igényelhetett, de ezt ő maga is bizonytalannak tartja, mert a futáshossz és a kihasználtság nem nyilvános. A téma az NVIDIA körüli amúgy is mozgalmas héten érkezett (Jensen Huang lemondott, Colette Kress vezeti az NVIDIA-t).
Mit jelent ez a gyakorlatban?
Biztonsági szemmel ez egy új oldalcsatorna: a nyílt súlyok nemcsak a modellt adják ki, hanem a létrehozásuk hardveréről is árulkodnak. Aki nyílt súlyokat publikál, számoljon vele, hogy az érintetlen embedding sorokból a seed és a GPU-generáció visszafejthető. Az exportkontroll vitában pedig ez az első nyilvános, bárki által ellenőrizhető technikai bizonyíték, nem kiszivárgott forrás.
Röviden
- Hat kínai modell kezdősúlyai Blackwell GPU-ra utalnak, a korábbiak Hopperre.
- A módszer a Philox/cuRAND szálkiosztás nyomát olvassa ki a súlyokból, a kód nyílt.
- Független csapatok több modellnél reprodukálták az eredményt.
- A chipek helyét és a szabálysértést a módszer nem bizonyítja.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk


