ÜzletHír
Meta Prometheus: egymillió GPU felé Ohio államban
A Meta október 19-én részletes Engineering-posztot közölt a Prometheus szuperklaszterről New Albanyben, Ohio államban. Az első fázis kész, a cél körülbelül egymillió GPU. A Muse Wonder modellek itt tanultak. A pretraining goodput 85% felett, az RL 90% felett állt.
Írta: Mikola Máté Patrik · · 2 perc olvasás
Mikola Máté Patrik
Mit jelent a gigawatt-skála itt?
A Prometheus több, összekötött épületben százezres nagyságrendű GPU-t futtat egyetlen gépként. A teljes kiépítés körülbelül 1 millió elosztott GPU-t céloz. Két évvel ezelőtt New Albany hagyományos webes forgalmat szolgált. Most frontier modellek tanítására lett átépítve, zárt hurkú folyadékhűtéssel (Meta Engineering).
Hardvergenerációk
Jelenleg két NVIDIA platform fut, a Vera Rubin NVL72 hamarosan jön. A Catalina a GB200 NVL72 Ariel változata: két rack, rackenként 36 GPU NVLinkkel, 72-GPU-s domain, 800G scale-out GPU-nként (2× ConnectX-7). A Clemente a GB300 NVL72: 288 GB HBM GPU-nként (1,5× a GB200-hoz képest), natív 800G ConnectX-8, a teljes 72-GPU-s domain egyetlen rackben.
Épületenként akár 20 736 GPU kapcsolódik Ethernet-alapú back-end fabrichoz. A Backend Aggregation (BAG) hálózat 2 km-től több mint 100 km-ig köti össze az épületeket, Arista 7800-as chassisokkal.
Forrás: Meta. A GB200 és GB300 megszakítások csökkenése 2025 júniusától 2026 szeptemberéig, on-prem és felhő környezetben.
Megbízhatóság: 99%-kal kevesebb megszakítás
A mid-2025-ös csúcson közel 1000 megszakítás jutott 8 ezer GPU-ra naponta. Egy évnyi munka után 99%-os csökkenést írnak. A Muse Wonder pretraining goodputja 85% felett, az RL 90% felett volt, a falóra-MTBI körülbelül 47 ezer GPU-óra. Firmware-javítások után az MTBI 54 ezer GPU-óra fölé nőtt.
Az NVL72 9× nagyobb hibablasztot ad, mint az NVL8. Ezért 64 aktív GPU mellett 8 tartalék marad rackenként. Egy 32 768 aktív GPU-s futáshoz 523 NVL72 racket, azaz 37 656 GPU-t rendelnek, körülbelül 13% tartalékkal. A PAFT egy hibás data-parallel replikát kiemel, a többi tovább dolgozik. Nagyobb hiba esetén checkpointolás jön.
Energia és következő lépés
Több tízezer GPU szinkron fázisai 30-40%-os teljesítményugrásokat adnak. A Dynamo Dimmer fokozatosan korlátozza a GPU-teljesítményt a villamos plafon közelében. Jön a San Miguel platform Vera Rubin NVL72-vel. A következő szuperklaszter, a Hyperion, Louisianában a Prometheus tanulságaira épül.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk
