Ugrás a tartalomra
Neural Daily

ModellekHír

Nemotron 3.5 Super VL: nyílt NVIDIA-modell agentekhez

Az NVIDIA október 15-én kiadta a Nemotron 3.5 Super VL-t: nyílt, 120 milliárd paraméteres multimodális modellt, amely tokenenként 12 milliárd paramétert használ. Mellé két kisebb Bolt modell jön, amelyek helyi gépen futtatják az agenteket.

Írta: Mikola Máté Patrik · · 2 perc olvasás

NVIDIA Nemotron 3.5 Super VL announcement graphic
Kép: NVIDIA

Mi jelent meg?

A Nemotron 3.5 Super VL mixture-of-experts (MoE) modell: 120 milliárd paraméterből tokenenként kb. 12 milliárd aktív. Szöveget, képet, dokumentumot és videót is értelmez, és közben eszközöket hív. Az NVIDIA kifejezetten a folyamatosan futó, szakosodott agenteknek szánja (NVIDIA).

A cég szerint a modell a saját osztályában a leggyorsabb nyílt agentikus modell, ötször gyorsabb a következőnél. A technikai blog szerint akár 1M tokenes kontextust kezel, és natív MTP speculative decodinggal gyorsít (NVIDIA Technical Blog).

Chart of Artificial Analysis Intelligence Index versus output speed for open-weight models, with Nemotron 3.5 Super VL far right
NVIDIA / Artificial Analysis

Forrás: NVIDIA / Artificial Analysis. Intelligence Index és kimeneti sebesség nyílt súlyú modelleknél, 100 ezer bemeneti tokennel.

Bar chart of Artificial Analysis Intelligence Index scores including Nemotron 3.5 Super VL at 26
NVIDIA / Artificial Analysis

Forrás: NVIDIA / Artificial Analysis. Az Artificial Analysis Intelligence Index v4.3.2 pontszámai; a Super VL 26 pontot kapott.

Mire jó a gyakorlatban?

A látási képességek az agentek tipikus feladataira fókuszálnak: OCR, táblázatok, grafikonok, PDF-ek és weboldalak. A súlyok, az adatkészletek és a tanítási receptek is nyíltak, így a modell saját adatokon utótanítható és saját infrastruktúrán futtatható.

Az NVIDIA szerint a modellt kb. 26 billió tokenen tanították, majd kb. 3,8 millió mintával és több tucat RL-környezettel utótanították. Partnerként többek közt az Atlassian, a CrowdStrike, a Perplexity és a Salesforce szerepel.

Bolt: agentek a saját gépen

A Nemotron 3.5 Bolt 74B-A9B 24GB natív 2 bites kvantálással fér el 24 GB memóriában, RTX és DGX Spark gépekre szánva. A kisebb Bolt E4B 4GB hangalapú és beágyazott agentekhez készül, október 23-án érkezik.

Hol érhető el?

A Super VL már letölthető a Hugging Face-ről, és elérhető OpenRouteren, ModelScope-on és NVIDIA NIM-ként. A Bolt 74B a llama.cpp, Ollama, LM Studio, Unsloth és vLLM eszközökkel is fut.

Röviden

  • Nyílt, 120B/12B aktív paraméteres multimodális agentmodell.
  • Az NVIDIA ötszörös sebességelőnyt állít a saját kategóriájában; az AA-indexen 26 pont.
  • Bolt modellek helyi futtatásra, az E4B október 23-án jön.

    MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink

    Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk

    Kapcsolódó cikkek