ModellekHír
Eleven Realtime: speech-to-speech modellek hangügynökökhöz
Az ElevenLabs két speech-to-speech modellt adott ki hangügynökökhöz. A v1 Mini a gyors, természetes beszélgetésre, a v1 Max az összetett, eszközhívásos feladatokra készült, mindkettő az OpenAI Realtime API protokollját beszéli.
Írta: Mikola Máté Patrik · · 2 perc olvasás
Mikola Máté Patrik
Mi ez?
Az Eleven Realtime (ElevenLabs) egy teljes hangügynököt ad egyetlen modellválasztással: beszédfelismerés, hangaktivitás-érzékelés és turn-taking, LLM, illetve szövegfelolvasás, amelyeket az ElevenLabs egy rendszerként hangolt össze. Eddig ezeket külön kellett kiválasztani és összekötni.
A két modell
- v1 Mini (
eleven_realtime_v1_mini): asszisztensekhez, tutorokhoz, játékkarakterekhez. A cég szerint 620 ms az első hangig, 95,8% a Full-Duplex-Benchen. - v1 Max (
eleven_realtime_v1_max): válasz előtt gondolkodik, ügyfélszolgálatra és több lépéses tool callingra. 570 ms az első hangig, 98,8% a Big Bench Audión, 87,1% feladat-sikerarány. - Mindkettő 90+ nyelvet támogat, a hangok az ElevenLabs hangkönyvtárából jönnek.
Fejlesztői oldal
A modellek az ElevenAgentsben egy legördülő menüből választhatók, illetve egy WebSocket API-n érhetők el, amely ugyanazt az esemény- és üzenetformátumot használja, mint az OpenAI Realtime API. A dokumentáció szerint egy meglévő OpenAI Realtime SDK-s app átirányítható rá SDK-csere nélkül.
Korlátok is vannak: a Mini nem érhető el Zero Retention módban és HIPAA alatt, a Max nem fut az indiai és szingapúri adatrezidencia-környezetben. A Max emellett legalább 1024 tokenes limitet kér. Az árazás percenként 0,08 dollár plusz az LLM-használat, a Max tokenenként drágább.
A számok gyártói benchmarkok. Aki most rakja össze a saját ASR + LLM + TTS láncát, annak érdemes egy Mini-alapú prototípussal összevetni a késleltetést.
MI segítségével készült, szerkesztő ellenőrizte. Hogyan készülnek a cikkeink
Szerkesztőségünk ellenőrizte és szerkesztette. Rólunk
