NVIDIA Nemotron 3.5 Transcribe: nyílt ASR 40 nyelven

Mi jelent meg?

Az NVIDIA október 28-án tette közzé a Nemotron 3.5 Transcribe modellt a Hugging Face-en és a ModelScope-on (blogposzt). Egyetlen checkpoint végzi az átírást, a beszélők szétválasztását (diarizáció), a fordítást, illetve a hanganyagra vonatkozó kérdés-válasz feladatot.

• 40 nyelven ír át, ebből 31 nyelven fordít angolra vagy angolról, 13 nyelven címkézi a beszélőket.
• Legfeljebb egyórás felvételt kezel, maximum nyolc beszélővel, szószintű időbélyegekkel.
• 30B paraméteres, de tokenenként kb. 4B aktív: a beszédenkóder mögött hibrid Mamba-Transformer MoE nyelvi modell dolgozik.
• Egy NVIDIA GPU-n fut, a Jetson AGX Thortól és a DGX Sparktól a Blackwell szerverekig. vLLM-mel vagy helyben NeMo-Speech.cpp-vel szolgálható ki.
• Felvett hanganyagra készült, élő streamingre nem.

A modell természetes nyelvű utasítással vezérelhető: ugyanabból a meetingfelvételből kérhető beszélőcímkés átirat, angol fordítás vagy összefoglaló a döntésekről. Szakszavakhoz a prompt is adhat listát, például orvosi kifejezéseket, azzal a kikötéssel, hogy csak akkor használja őket, ha a hang alátámasztja. A licenc OpenMDW 1.1 (model card).

Mit mutatnak a mérések?

Az NVIDIA szerint a Hugging Face Open ASR Leaderboard angol listáján a modell az első a nyílt súlyú modellek között, 5,33%-os átlagos szóhibaaránnyal (WER). A többnyelvű sávban 4,62%, a hosszú felvételeknél 10,98% a WER.

Az Artificial Analysis független rangsorában 2,8%-os AA-WER-rel holtversenyben első a nyílt modellek között, úgy, hogy a vele egyező modell 24B aktív paramétert használ, a Transcribe kb. 4B-t. Diarizációban a David AI 21 nyelvű listáján 18,26%-os hibaaránnyal (DER) a legjobb, a VoiceArena 14 rendszeres összevetésében is első.

Forrás: Artificial Analysis, NVIDIA blog. Szóhibaarány az aktív paraméterek függvényében, nyílt súlyú modellek. Minél lejjebb, annál pontosabb.

Sebesség: egy RTX PRO 6000 Blackwell Server Edition GPU-n NVFP4 pontossággal 100 óra hanganyagot dolgoz fel három perc alatt, 30 másodperces klipekkel, nagy párhuzamosság mellett.

Granary v2 és finomhangolás

A Granary v2 a tanítóadat-előkészítő pipeline nyilvános része, a NeMo Curatorra épül. A közzétett manifest 463 062 órát fed le 48 nyelven, 16 forráskorpuszból, az első verzió még 25 nyelvet tartalmazott (adatkészlet). Minden felvételhez három átiratforma tartozik (szó szerinti, normalizált töltelékszavakkal és anélkül), illetve fordítások, minőségi jelzők és kérdés-válasz párok. A hanganyagot az eredeti korpuszok licence szerint külön kell letölteni.

Az NVIDIA orvosi esettanulmánya jól mutatja, mennyit hoz az adaptáció. Indiai orvosok felvételein a jobb prompt 30,8%-ról 23,8%-ra vitte le a WER-t. A finomhangolás után a független beszélőkön mért WER 22,44%-ról 12,17%-ra esett, ez 45,8%-os relatív javulás. A teljes adaptáció kb. 14 GPU-órát vett igénybe egy GB300-on, általános angolon közben a WER 1,54%-ról 1,69%-ra nőtt.

Miért számít?

Eddig az átírás, a beszélőcímkézés és a fordítás jellemzően külön modellekből állt össze. Itt egy nyílt, saját gépen futtatható modell csinálja mindet, prompttal vezérelve. Ez adatvédelmi szempontból is érdekes, mert a hang nem kell, hogy egy külső API-n menjen át.

Gyakorlati tanács: magyar nyelvű céges felvételeknél érdemes saját mintán tesztelni, mielőtt bárki élesbe teszi. A benchmarkok főleg angol és nagyobb európai nyelvekre szólnak, a nevek és a beszélőváltások pedig minden ASR-nél ellenőrzést kérnek.