Block Dessa: csak beszédhangon tanított hangmodell

Mi ez?

A Jack Dorsey vezette Block október 23-án mutatta be a Dessát (Block). Ez egy speech-to-speech modell: hangot kap, hangot ad vissza, közben nem alakítja szöveggé a beszédet. A cég szerint a nulláról tanították, kizárólag emberi beszélgetések hanganyagán, szöveg és előtanított modellek nélkül.

Mit tud?

• Full-duplex: egyszerre hallgat és beszél, ahogy az emberek. Tudja, mikor vágjon közbe. Közben visszajelez („aha”, „értem”).
• Hallja és használja az érzelmeket: nevetést, szarkazmust, sóhajt. Szöveges átalakításnál ezek elvesznek.
• Az inferencia gyorsabb a valós időnél, így nincs várakozás a válaszra.
• Helyben fut MacBook Pro M4 Max vagy erősebb gépen.
• A Block szerint több százszor kevesebb szóból tanult nyelvet, mint az LLM-ek. A tanítás egyetlen NVIDIA GB200 NVL72 rendszeren zajlott.

A bemutatott felvételek élő beszélgetések, utólag feliratozva. Az egyikben a Dessa az OpenAI GPT-Live-1 modelljével beszélget. A The Verge szerint a beszélgetések néha esetlenek: egy felvételen a modell elsőre „Ronaldónak” szólítja a beszélgetőtársát. A GPT-Live-1-gyel folytatott beszélgetésben viszont a Dessa hat természetesebbnek.

Ki áll mögötte?

A fejlesztő egy kis kutatólabor a Blockon belül, a torontói Dessa deep learning startup egykori tagjaiból. Közvetlenül Jack Dorseynak jelentenek, a csapatot Ragavan Thurairatnam vezeti.

Hogyan lehet kipróbálni?

Egyelőre sehogy: van várólista, API, súlyok, árazás és benchmark nincs. A Block egy kis csoport AI-biztonsági kutatónak ad korai hozzáférést, hogy feltárják a nem várt kockázatokat.

Miért fontos?

A legtöbb hangalapú AI ma beszédfelismerés, LLM és hangszintézis láncolata, ez késleltetéssel jár, illetve elveszíti a hangsúlyt és az érzelmet. A Dessa azt mutatja, hogy szöveg nélkül is lehet beszélgetőképes modellt tanítani, ráadásul viszonylag kis számítással. Hogy tényszerű tudásban és megbízhatóságban hol áll, az független mérések nélkül egyelőre nyitott kérdés.