Mistral Voxtral 3: hangügynök SDK és beszédmodellek

Mi jelent meg?

A Mistral bemutatta a Voxtral 3-at. Ez egy új speech-to-text és text-to-speech modellcsalád, mellé pedig egy voice agent SDK érkezett, amely a hallgatást, a gondolkodást, a tool callingot és a beszédet egyetlen valós idejű streaming pipeline-ba fogja össze (Mistral). A célterep a contact center, a service desk, a virtuális asszisztens és a kihangosított copilot.

Mit tud az átírás?

A Voxtral Small Transcribe 3 több mint 50 nyelvet ismer, köztük az EU mind a 24 hivatalos nyelvét, így a magyart is. Kezeli a diarizációt (ki mikor beszélt), illetve a context biasingot: megadott kulcsszavakkal pontosabban ismeri fel a szakszavakat, finomhangolás nélkül. Azt is érzékeli, mikor fejezte be a beszélő a mondandóját, így az agent nem vág közbe és nem is késik.

A Mistral saját mérésén a FLEURS benchmark 45 nyelvén a Small nagyjából 4 százalékos szóhibaarányt (WER) ér el, a Whisper large-v3 ugyanitt 15 és 16 százalék között van. A cég szerint a Scribe v2-t és a Gemini 3.5 Transcribe-ot is megelőzi. Diarizációban 18,4 százalékos cpWER-rel vezeti a listát. A Mini változat 4 milliárd paraméteres, a Realtime Transcribe 3 pedig 500 ms alatti késleltetéssel ír át, több mint 35 nyelven.

Hogyan beszél?

A Voxtral Speech 3 több mint 35 nyelven és 50 dialektusban szól. Az érzelmet, a tempót és a hangsúlyt a szöveg kontextusából találja ki, de utasítással is állítható. Van hangklónozás, a Pro Voice pedig 30 percnyi hanganyagból adja vissza egy beszélő karakterét és stílusát, más nyelveken is. Kész hangok 18 nyelven érhetők el.

Mit csinál az SDK?

A voice agent SDK a LiveKitre épül. A Realtime Transcribe 3 hallgat, egy általános modell (például a Mistral Small) gondolkodik és hív tool-okat, a Speech 3 pedig válaszol. A szakaszok nem várják meg egymást, így a Mistral szerint egy kör egy másodperc alatt lefut. Ha a hívó közbeszól, az agent elhallgat.

Hívás közben az agent tud azonosítani, számlát ellenőrizni vagy időpontot foglalni function callinggal, webes kereséssel és saját rendszerekből vett retrievallel. Telefonon SIP-en, böngészőben és appban WebRTC-n fut. Mivel minden szakasz külön modell, az LLM, a hang vagy a nyelv cserélhető az agent újraírása nélkül.

Árak és elérhetőség

A Voxtral 3 már elérhető a Mistral API európai, amerikai és globális végpontjain, illetve a Studio playgroundban kipróbálható. A Mini Transcribe 3 batch módban 0,0035, a Small Transcribe 3 0,004, a Realtime Transcribe 3 0,008 dollárba kerül percenként. A Speech 3 ára 13 dollár millió karakterenként. A teljes stack on-prem vagy privát felhőben is futtatható, ehhez a Mistral saleshez kell fordulni.

Nekünk a legérdekesebb, hogy a magyar is a támogatott nyelvek között van. Az EU-s hosting és a saját infrán futtatás egy ügyfélszolgálati voice agentnél adatvédelmi szempontból is erős érv. A benchmarkok viszont a Mistral saját mérései, élesítés előtt érdemes saját hanganyagon is letesztelni.