NVIDIA Agent Toolkit: céges adatra épülő agentek

Mi változott?

Az NVIDIA október 21-én, a GTC Berlinen új elemekkel bővítette a nyílt forráskódú NVIDIA Agent Toolkitet (NVIDIA blog). A csomag a modelleket, a futtatókörnyezetet, az adatréteget és az eszközöket fogja össze egy agent stackbe. A Kumo és a Nemotron Retriever modellekről a GTC Berlin nyílt modelljeiről szóló cikkünkben már írtunk, itt az agent oldali újdonságokat nézzük.

• Agent Knowledge Foundation: új réteg, amely a céges adatból az agent számára használható tudást csinál (NVIDIA Developer). Az NVIDIA szerint az adatot nem kell mozgatni, a meglévő workflow-kat újraépíteni, a governance szabályokat pedig módosítani sem.
• Auto-Ontology: új nyílt könyvtár, amely a nyers adatot üzleti fogalmakra (vevő, termék, rendelés) fordítja, illetve feltérképezi a köztük lévő kapcsolatokat (GitHub).
• CUDA-X könyvtárak az alapban: cuDF, cuGraph, cuML, cuOpt és cuVS.
• Kumo Structured modellek négy változatban: Tabular, Relational, Time Series és Forecast (Kumo). Ezekkel az agent előrejelzést tud kérni közvetlenül a táblás adatból.
• OpenShell biztonságos agent runtime, amely meghatározza, mihez fér hozzá és mit tehet az agent (NVIDIA).
• Új NemoClaw blueprint agentoptimalizáláshoz: lépésről lépésre mutatja, hogyan javítható az agentek teljesítménye idővel (build.nvidia.com).
• Új eszközök és skillek: NeMo Relay és NeMo Compass. Ezekről a bejelentés részleteket nem közöl.

Kik használják már?

Az NVIDIA saját ellátási lánca a Palantir Foundryn keresztül használja az Agent Knowledge Foundationt. A Databricks a Kumo Anomalyt köti össze a Genie Ontologyval, a Snowflake Notebookban pedig elérhető a Kumo Engine és a Kumo Relational. A cég szerint a Nemotron Retriever reranker az SAP finomhangolt változatában közel 3-szor gyorsabban futott, a ServiceNow-nál pedig kb. negyedével csökkent a késleltetés jobb rerankelési minőség mellett. Ezek a gyártó saját számai, független mérés nincs mögöttük.

Miért fontos?

Az agentek gyenge pontja ritkán a modell, sokkal inkább az, hogy nem ismerik a cég adatait és fogalmait. Az Auto-Ontology pont ezt a réteget célozza: ha tényleg megbízhatóan felismeri a vevő, termék, rendelés típusú entitásokat és kapcsolataikat, rengeteg kézi RAG és sémaleíró munkát spórolhat. Mivel nyílt forrású, érdemes egy saját adatbázison kipróbálni, mielőtt bárki az egész NVIDIA stackre építene.