Nemotron 3.5 Bolt E4B: 4 GB-os agentmodell az NVIDIA-tól

Mi jelent meg?

Az NVIDIA október 23-án kiadta a Nemotron 3.5 Bolt E4B 4GB modellt (NVIDIA). A Google Gemma 4 E4B modelljét tanították tovább a Nemotron post-training receptjeivel. A cél nem a kódolás vagy a leaderboard, hanem a gyors, helyben futó beszélgető agent: hangasszisztens, játékbeli NPC, robot vagy ipari kezelőfelület.

• Méret: 8 milliárd összes, 4 milliárd effektív paraméter. A Q4_K_M kvantált GGUF változat a célterheléseken kb. 3-5 GB VRAM-ot foglal.
• 64K tokenes kontextus, 35 támogatott nyelv. A reasoning ki-be kapcsolható, a gondolkodás hossza korlátozható.
• Külön conversational mode: rövidebb, felolvasásra alkalmas válaszokat ad.
• Többkörös tool use, aszinkron tool hívásokhoz is van integrációs útmutató.
• Licenc: OpenMDW-1.1, kereskedelmi célra is használható (
• [object Object]
• ).

Mit mutatnak a mérések?

Az NVIDIA hat benchmark (MultiChallenge, RoleMRC, BFCL-v3, IHEval, SysBench, RelyToolBench) átlagán 70,2 pontot mért. A Gemma 4 E4B 63,2, a Qwen 3.5 4B 59,1, a saját előd Nemotron 3 Nano 4B 48,8 pontot kapott. A cég szerint a Bolt átlagosan kb. 40%-kal jobb a Nano 4B-nél, reasoning módban pedig akár 80%-kal kevesebb tokent generál, mint a hasonló modellek.

Forrás: NVIDIA. Átlagpontszám és time to first token RTX 5090-en, a körök mérete a VRAM-igényt jelzi.

Nem mindenhol nyer: a Tau2-Bench többkörös ügyfélszolgálati feladatain 55,1%-ot ért el, a Qwen 3.5 4B itt 75,1%-ot. A hosszú kontextusos RULER teszten (64K) is a Qwen vezet. Erősebb viszont az utasítás-hierarchiában (IHEval 84,8) és abban, hogy mikor hívjon toolt és mikor kérdezzen vissza (When2Call-MT 63,4).

Milyen gyors?

RTX 5070-en 3,5 GB VRAM mellett 548 ms az első token, a generálás 133 token/s. Jetson Orin Nano 8GB-on 15,5 token/s, de az első tokenre közel 6 másodpercet kell várni. Gyorsításhoz kapott egy DFlash nevű párhuzamos drafter modellt is, amely az NVIDIA szerint 21%-kal nagyobb áteresztést ad a Gemma eredeti MTP drafteréhez képest.

Miért érdekes?

Aki helyi asszisztenst, kioszkot vagy robotot épít, annak a nagy felhős modellek késleltetése és költsége a fő gond. A Bolt E4B egy fogyasztói GPU-n is elfér más modellek mellett, a teljes tanítási recept nyílt. Elérhető Hugging Face-en, Ollamában, LM Studióban és Unslothon. A magyar nyelvi tudását érdemes saját promptokon tesztelni, a 35 nyelv listáját a modellkártya tartalmazza.