EszközökHír
TPU 8tx és 8i Max: bizalmas inference és hosszú kontextus
🇬🇧 Read this article in English →
A Google két új rendszerrel bővítette nyolcadik generációs TPU-portfólióját. A TPU 8tx hardveres szinten védi az adatot és a modellsúlyokat használat közben is, a TPU 8i Max két 8i chipet tesz egy tokba, dupla compute-tal, SRAM-mal és HBM sávszélességgel.
· 2 perc olvasás
Mit jelentett be a Google?
Amin Vahdat, a Google AI és infrastruktúra SVP-je november 9-én két új TPU-rendszert mutatott be. Az áprilisban bejelentett TPU 8t (tanítás) és TPU 8i (valós idejű reasoning) mellé most a TPU 8tx és a TPU 8i Max érkezik. A Google először hozott ki négy TPU-rendszert egy éven belül (Google).
A DCD szerint ezek nem új chipek: a Google a 8t és a 8i köré szervezte át a compute-ot, a hálózatot, a tárolást és a tokozást, ezért hívja őket rendszernek (DCD).
TPU 8tx: bizalmas számítás
Az adat tároláskor és hálózaton jellemzően titkosított, de feldolgozás közben a memóriában nyíltan van. A TPU 8tx ezen változtat: a 8t-vel azonos sziliciumra épül, 5. generációs AMD EPYC hostokkal, a védelmet pedig a hardverbe építi, így az adat és a modellsúlyok használat közben is izoláltak maradnak.
Átvette a 8i alacsony késleltetésű Boardfly hálózatát is, ezért a Google szerint akár 2x kisebb a késleltetése a 8t-nél, közel nulla teljesítményveszteséggel. Ugyanazon a rendszeren lehet futtatni és finomhangolni is: privát adaton fine-tuning, desztilláció, agentek RL-tanítása, adatmozgatás nélkül. A célközönség a szabályozott iparágak és a kormányzatok.
TPU 8i Max: a memóriafal ellen
Ha több tucat agent dolgozik egy teljes kódbázison vagy órányi videón, a memória sávszélesség lesz a szűk keresztmetszet. A TPU 8i Max két TPU 8i chipet tesz egy tokba: dupla compute, dupla SRAM, dupla HBM sávszélesség a 8i-hez képest. Ugyanabban a rackméretben kétszer annyi szilicium fér el, ami több számítási kapacitást ad négyzetméterenként és wattonként.
Mit jelent ez a gyakorlatban?
A Google szerint a TPU-knak már közel 100 külső ügyfele van, köztük frontier laborok, kereskedőcégek és egyetemek. Fejlesztői oldalon a PyTorch-támogatás a belépő: korábban írtunk a TorchTPU-ról, amely natív PyTorch futtatást hoz TPU-ra (TorchTPU: natív PyTorch TPU-n, Hugging Face támogatással). A 8tx főleg ott érdekes, ahol eddig az adatvédelem miatt nem lehetett felhőben futtatni modellt érzékeny adaton. Árat és elérhetőségi dátumot a Google a bejelentésben nem közölt.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk
