Sophon-Realtime v1: nyílt full-duplex hang egy GPU-n

Mit adtak ki?

Az Adventists AI november 8-án, egy nappal a beharangozott dátum előtt tette közzé a Sophon-Realtime v1-et. Ez egy full-duplex speech-to-speech család: a modell akkor is hallgat, amikor beszél, már a felhasználó beszéde közben elkezdi a választ, abbahagyja, ha közbevágnak, egy „aha” viszont nem zökkenti ki. A kód és a súlyok Apache 2.0 licencűek (Hugging Face).

Három build van, mindegyik ugyanarra a 32B „agyra” épül, csak abban különböznek, hogyan lesz a válaszból hang:

• Tag (ajánlott): kifejező hang, kb. 0,6 s az első hangig, GPU-nként 16 felhasználó.
• Flash: könnyebb és gyorsabb hang, 0,31 s az első hangig, GPU-nként 40 felhasználó.
• E2E (preview): beépített talker külön beszédmodell nélkül, kb. 1 s, két 80 GB-os GPU kell.

Hangszínt hall, hangszínnel válaszol

A modell a beszédből felismeri a habozást, a hangsúlyt, a szarkazmust, a nevetést és a sóhajt. Saját méréseik szerint a paralingvisztikai megértésben 48,6 pontot ér el, a Gemini 3.8 Flash 46,9-et, a Qwen3-Omni 44,6-ot. A válaszba inline hangcímkéket ír, például nevetést vagy sóhajt, ezeket a hang előadja, nem olvassa fel.

További számok: VoiceBench 82,8, Big Bench Audio 81,8%, Full-Duplex-Bench v3 tool callingban Pass@1 48%. Ezek mind saját mérések, független értékelés még nincs.

Hogyan lehet futtatni?

Linux, CUDA, Python 3.12 és egy 80 GB-os GPU kell (H100, H800 vagy A100 80G), példányonként kb. 65 GB VRAM. A kiszolgálás vLLM-Omni alapú. Két API van: egy WebSocket a full-duplex módhoz és egy OpenAI-szerű chat completions végpont. Opcionálisan egy Live mode gateway is jár, amely az OpenAI GPT-Live protokollját beszéli, így a meglévő kliensek URL- és kulcscserével átállíthatók (GitHub).

Személyiséget, hangnemet és szakterületi tudást ms-swifttel lehet LoRA-val finomhangolni egy GPU-n. A hallás, a hang és a turn-taking változatlan marad.

Mire figyelj?

A modellkártya maga írja, hogy a sóhaj és a beszéd közbeni nevetés még gyenge: a modell gyakrabban írja ki ezeket a címkéket, mint ahogy a hang előadja. A mandarin kicsit kevésbé tiszta, mint az angol, a kb. egy percnél hosszabb válaszok pedig kívül esnek a tanítási tartományon. Magyar nyelvi támogatásról nincs szó.

Ha saját infrastruktúrán futó voice agentet építesz, ez most az egyik legkomolyabb nyílt opció. A zárt oldalon az Eleven Realtime és a GPT-Live a viszonyítási pont (Eleven Realtime: speech-to-speech modellek hangügynökökhöz).