NVIDIA és Dél-Korea: chipektől a koreai modellekig

Mi változott?

Az NVIDIA november 8-án három blogposztban jelentette be, hogy mélyíti a kapcsolatát Dél-Koreával. A keret a koreai Tudományos és IKT Minisztériummal (MSIT) kötött bővített együttműködés (NVIDIA Blog), ami a félvezetőktől és adatközpontoktól a képzésen, startupokon és modelleken át egészen az agentekig és a biztonságig terjed.

Ez jól illeszkedik ahhoz, amit korábban a koreai rekordköltségvetésről írtunk: Szöul komolyan veszi a saját, szuverén AI stack építését. Ehhez most az NVIDIA is odateszi a szoftveres oldalt.

A három bejelentés röviden

• Hardver: a megállapodás megnyitja az utat a koreai NPU és XPU gyártók előtt az NVLink Fusion ökoszisztéma felé. Külön együttműködés indul az SK Telecommal és a Rebellionsszel koreai modellekre szabott infrastruktúráért, MSIT támogatással.
• Inference: az NVIDIA Dynamo optimalizált deployment recepteket ad ki négy koreai nyílt modellhez (NVIDIA Blog): SK Telecom A.X K2, LG AI Research K-EXAONE 2.0, Upstage Solar Open 2, illetve Motif Technologies Motif-3. A B200 GPU-kra hangolt receptek a cég szerint dobozból akár 2x teljesítményt hoznak.
• Agentbiztonság: a Hyundai Motor Group a NemoClaw blueprinteket és az OpenShell runtime-ot teszteli, az AIM Intelligence pedig a Starfort platformját köti össze az OpenShell-lel (NVIDIA Blog).

Modellek és adatok

Az LG AI Research API hozzáférést nyit a K-EXAONE-2.5 modellhez, amit NVIDIA Nemotron adatkészletekkel tanítottak, köztük a Nemotron-Personas-Korea-val. Ez utóbbi egy nyílt, 7 millió teljesen szintetikus koreai personát tartalmazó adatkészlet, ami hivatalos koreai statisztikákra épül. A tanító- illetve kiértékelő adatok helyi kontextusba ágyazására használják.

A program a koreai AI for All kezdeményezéshez is kapcsolódik: az NVIDIA három kiválasztott konzorciummal és négy vezető koreai foundation modell fejlesztővel dolgozik együtt az inference skálázásán a Dynamóval. Emellett képzéseket, minősítéseket, hackathonokat és technikai szemináriumokat szervez a GPU-kihasználtság javítására.

Miért fontos ez?

A modellek ma már ritkán férnek el egyetlen GPU-n, a több GPU-ra és node-ra szétosztott futtatás pedig a routing és a kommunikáció miatt a legtöbb csapatnál sok kézi hangolást igényel. A Dynamo nyílt forrású, elosztott inference-serving framework, a kész receptek pedig pont ezt a lépést rövidítik le. Aki koreai nyílt modellt akar productionbe vinni, annak ez konkrét időspórolás.

A biztonsági rész az OpenShell-re épít, amiről az OpenShell referencia-architektúra kapcsán már írtunk. Az AIM Intelligence célja, hogy az OpenShell runtime szintű hozzáférés-kezelését a Starfort rosszindulatú utasításokat és adatszivárgást felismerő képességével kombinálja. A cég egy előzetes proof of conceptet is fontolgat a közszféra energiaszektorában.

Mit érdemes figyelni?

A számok egyelőre az NVIDIA saját adatai: a 2x gyorsulás a B200-ra hangolt receptekre vonatkozik, független mérést nem láttunk. Ha valaki LG, Upstage vagy SK Telecom modellt futtat, érdemes összevetni a saját deploymentjével. A Hyundai és az AIM Intelligence esetében pedig egyelőre tesztelésről és integrációról van szó, nem éles bevezetésről.