Ugrás a tartalomra
Neural Daily

KutatásHír

Súlyokból kiolvasva: kínai modellek Blackwell GPU-n

🇬🇧 Read this article in English →

Will DePue, az OpenAI korábbi mérnöke a nyilvános súlyokból mutatta ki, hogy négy kínai labor hat modellje exportkorlátozott NVIDIA Blackwell chipen indult. A módszer a súlyok kezdeti véletlen értékeiben maradt nyomot olvassa ki. Független csapatok már részben reprodukálták.

· 3 perc olvasás

Táblázat: a DeepSeek, a Moonshot AI, a MiniMax és az Ant Group korábbi modelljei Hopper, az újabbak Blackwell GPU-n indultak
Kép: Unemployment Labs · Képernyőkép · Forrás

Mit állít a jelentés?

Will DePue november 12-én közölt jelentése szerint a DeepSeek, a Moonshot AI, a MiniMax és az Ant Group 2026 áprilisa óta kiadott modelljei közül hat Blackwell chipre utaló mintát hordoz (Unemployment Labs). Ugyanezen laborok korábbi modelljei még Hopper mintát mutatnak.

  • B200/B300 (148 SM): DeepSeek-V4-Flash, MiniMax-M3.
  • GB200/GB300 (152 SM): DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro, Ling-3.1-flash.
  • Hopper maradt: az Alibaba (Qwen), a Zhipu (GLM), a Tencent, a Xiaomi és a StepFun legújabb olvasható modelljei.

A Kimi K3.1-Pro ugyanabból a seedből indul, mint a K3, így valószínűleg annak továbbtanított változata (Kimi K3.1 Pro: nyílt súlyú modell a Claude Opus nyomában).

Hogyan lehet ezt a súlyokból kiolvasni?

A PyTorch a kezdeti súlyokat a Philox véletlenszám-generátorral tölti fel, a cuRAND-on keresztül, sok párhuzamos GPU-szálon. Egy SM-re 2048 szál jut, így a szálak száma chipgenerációnként más: Hopperen 270 336, B200/B300-on 303 104, GB200/GB300-on 311 296. Ugyanaz a seed más szálszámmal más pozíciókba teszi ugyanazokat az értékeket.

A tanítás során soha nem használt súlyok, például a sosem látott tokenek embedding sorai, szinte érintetlenül megőrzik a kezdőértéket. DePue kb. 6 billió seed és szálszám kombinációt próbált végig. A véletlen egyezés felső becslése 8 szigma, a hat modell legerősebb eredményei 49 és 1385 szigma között vannak. A tanított súlyokban is marad halvány nyom: a DeepSeek-V4-Flash 42 rétegén r = 0,066 Blackwell elrendezésben, Hopperen gyakorlatilag nulla.

A módszer mind a 24 olyan esetben eltalálta a hardvert, ahol a fejlesztő maga közölte. Az NVIDIA saját Nemotron-3 Ultra modellje például ugyanúgy 152 SM-et mutat, mint a Kimi K3.

Ki ellenőrizte?

  • DePue egy bérelt GB200-on, módosítatlan PyTorch-csal visszakapta a Kimi K3 mind a 13 megőrzött sorát. Eggyel eltérő seeddel egyiket sem.
  • Az Institute for Progress ellenőrzése a DeepSeek-V3, a DeepSeek-V4-Flash és a MiniMax-M3 eredményét reprodukálta valódi GPU-n. A Kimi K3 teljes teszteléséhez nem volt 152 SM-es chipjük (
  • [object Object]
  • ).
  • Egy másik független replikáció a DeepSeek-V3, a V4-Flash és a Kimi K3 elrendezését is visszakapta, 0,999 feletti korrelációval (
  • [object Object]
  • ).
  • Bojie Li 265 nyílt modellt vizsgált át. Ahol mindketten kaptak eredményt, 65 modellnél ugyanarra a GPU-osztályra jutott, ellentmondást nem talált (
  • [object Object]
  • ).

Mit nem bizonyít?

A jelentés maga is kiemeli: a minta azt a hardvert azonosítja, amely a kezdősúlyokat generálta. Azt nem, hogy hol voltak a chipek, kié voltak, vagy történt-e exportszabálysértés. Blackwell kapacitás Kínán kívüli adatközpontokban is bérelhető. Egy speciálisan beállított AMD MI300X elméletben ugyanilyen mintát adhat, ezt DePue a DeepSeek-V4-Flash esetében kizárta, a többinél nagyon valószínűtlennek tartja. Konklúzívnak csak a DeepSeek-V4-Flash eredményét nevezi.

A tanítások méretére is ad becslést: az öt Blackwell futás együtt nagyjából 12 000 GPU-t igényelhetett, de ezt ő maga is bizonytalannak tartja, mert a futáshossz és a kihasználtság nem nyilvános. A téma az NVIDIA körüli amúgy is mozgalmas héten érkezett (Jensen Huang lemondott, Colette Kress vezeti az NVIDIA-t).

Mit jelent ez a gyakorlatban?

Biztonsági szemmel ez egy új oldalcsatorna: a nyílt súlyok nemcsak a modellt adják ki, hanem a létrehozásuk hardveréről is árulkodnak. Aki nyílt súlyokat publikál, számoljon vele, hogy az érintetlen embedding sorokból a seed és a GPU-generáció visszafejthető. Az exportkontroll vitában pedig ez az első nyilvános, bárki által ellenőrizhető technikai bizonyíték, nem kiszivárgott forrás.

Röviden

  • Hat kínai modell kezdősúlyai Blackwell GPU-ra utalnak, a korábbiak Hopperre.
  • A módszer a Philox/cuRAND szálkiosztás nyomát olvassa ki a súlyokból, a kód nyílt.
  • Független csapatok több modellnél reprodukálták az eredményt.
  • A chipek helyét és a szabálysértést a módszer nem bizonyítja.

Kapcsolódó cikkek