EszközökHír
Modal: a Vera CPU duplázza az agent-sandboxok teljesítményét
A Modal az Nvidia Arm-alapú Vera CPU-ját is beállítja a Sandboxes szolgáltatása mögé. A cég saját tesztjében terhelés alatt akár kétszer annyi feladatot teljesített a Vera, mint egy hasonló x86-os Intel GNR gép. A Modal eddig kizárólag x86-on futott.
Írta: Mikola Máté Patrik · · 2 perc olvasás
Mikola Máté Patrik
Miért számít itt a CPU?
A Sandboxes izolált környezet, amelyben az AI-agentek a saját kódjukat futtatják. A Modal blogja szerint ezek a terhelések kiszámíthatatlanok (Modal). Egy sandbox sokáig szinte tétlenül vár az LLM-re, aztán egy npm install vagy egy drága grep miatt tízszeresére ugrik a terhelése. Egy hoston több száz ilyen fut egyszerre, így az egyik ügyfél csúcsa lassíthatja a másikat.
A CPU-idő ráadásul többe kerül, mint maga a CPU. Háttérben futó agenteknél a gyorsabb futás gyorsabb választ és kisebb költséget jelent. Reinforcement learningnél a drága GPU-k gyakran tétlenül várnak, amíg a sandboxokban lefutnak a rolloutok.
Mit mértek?
A Modal saját benchmarkot épített Agentless Agent Bench néven. Ez 50 Terminal-Bench feladat referenciamegoldását és ellenőrzőjét futtatja hálózati hívások nélkül, párhuzamos Docker containerekben. A feladatok a CPU-n végzett tipikus agentmunkát modellezik: fordítást, fájlkeresést, git-műveleteket, emulációt.
Egyenként, terheletlen gépen a Vera gyakran gyorsabb volt az Intel, az AMD és az AWS Graviton chipjeinél, de nem mindig. A különbség sem volt nagy.
Forrás: Modal. Soros futási idő másodpercben, kiválasztott feladatokon: NVIDIA Vera, Intel GNR, AWS Graviton 4 és 5, AMD Zen 5.
Terhelés alatt viszont megfordult a kép. A Modal szerint a Vera akár kétszeres feladat-áteresztést ért el egy hasonló x86-os GNR géphez képest, miközben az egyes feladatok futási ideje azonos maradt vagy csökkent. A versenytársak áteresztése egy ponton megállt, a Veráé tovább nőtt. A cég ezt a chip nagy memória-sávszélességének tulajdonítja.
Mi jön most?
Az Arm támogatása nagy változás a Modalnak: az infrastruktúrát és a képépítő rendszert is át kell alakítania. A The Next Web szerint a cég nem mondta meg, mikor kapják meg az ügyfelek a Vera-alapú sandboxokat (The Next Web). A lap szerint a Sandboxes évi 300 millió dolláros bevételt hoz, a Modal pedig a múlt héten 750 millió dollárt vont be 15,75 milliárd dolláros értékeléssel.
Mit jelent ez?
Az eredmények a Modal saját mérései, független ellenőrzés még nincs. Ha tartják magukat, az agentes munkában a CPU legalább annyira szűk keresztmetszet lehet, mint a GPU. Aki sok párhuzamos agentet vagy RL-rolloutot futtat, annak a sűrű pakolás melletti áteresztés a fontos mutató, nem az egyedi futási idő.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk
