Block ukázal hlasový model Dessa, učí se jen poslechem

V kostce

• Dessa běží lokálně na MacBooku Pro s čipem M4 Max.
• Trénink zajistil jediný systém Nvidia GB200 NVL72.
• Přístup dostane nejprve malá skupina bezpečnostních výzkumníků.

Společnost Block představila hlasový model Dessa, který dokáže současně poslouchat a mluvit a učil se výhradně z lidské řeči bez psaného textu. Model běží lokálně na počítači MacBook Pro s čipem M4 Max a podle společnosti Block k tréninku stačil jediný serverový systém Nvidia GB200 NVL72. Přístup k němu zatím není veřejný, firma jej chce nejprve poskytnout malé skupině výzkumníků v oblasti bezpečnosti AI.

Dessa je navržena jako full-duplexový model, tedy poslouchá a mluví ve stejnou chvíli. Díky tomu pozná, kdy vstoupit do řeči, a průběžně dává najevo, že poslouchá, například slovy jako „jo“ nebo „chápu“. Tím se liší od běžných hlasových režimů chatbotů, které obvykle převádějí řeč na text, ten zpracuje jazykový model a odpověď se následně přečte syntetickým hlasem. Podle týmu kolem Dessy se takovým převodem ztrácí informace, které samotný text neunese, například sarkasmus, smích, povzdech či hlas lámající se smutkem.

Block tvrdí, že Dessa je podle jeho dat vůbec první AI, se kterou lze vést realistický živý rozhovor a která se učila výhradně z lidské řeči, bez textu a bez předtrénovaných modelů. Jazyk se podle týmu naučila z několikasetkrát menšího množství slov, než potřebují velké jazykové modely. Řeč je přitom pro stroj náročnějším materiálem, protože tatáž věta nikdy nezazní dvakrát stejně a jedno vyslovené slovo zabere tisíckrát více dat než napsané.

Pozornost vzbudily především zveřejněné nahrávky rozhovorů, do nichž podle společnosti Block nikdo nezasahoval. Dessa se v nich například rozesměje uprostřed věty, doplní název filmu, na který si volající nemůže vzpomenout, nebo na zprávu o překvapivém výletu do Paříže reaguje polohlasným „panebože“. Server The Verge je podle serveru CzechCrunch popsal jako místy trochu nemotorné a znepokojivě lidské. Dessa v nich působí jako rozpačitý nový kamarád.

Největší ohlas má nahrávka, v níž Dessa hovoří s hlasovým modelem GPT-Live-1 od společnosti OpenAI. Podle serveru The Verge zní Dessa přirozeněji, zatímco Mehab Qureshi ze serveru TheStreet popsal model od společnosti OpenAI jako zdvořilého asistenta, který čte z kartičky. Qureshi podle zdrojů uvedl, že u Dessy na okamžik zapomněl, že poslouchá stroj, zatímco hlasový režim ChatGPT mu vždy připomínal rozhovor s mrtvým člověkem.

Zvenku zatím nelze ověřit, jak emoce v hlase Dessy vznikají. Konkurenční modely, například od společnosti ElevenLabs, řídí emoce textovými značkami a podle serveru TechCrunch není jasné, zda podobně nefunguje i Dessa, ačkoli Block tvrdí, že emoce jsou do modelu přímo vestavěné. Samotný zakladatel Jack Dorsey na síti X uvedl, že jde o něco velkého, ale zároveň dost malého na to, aby to běželo na MacBooku. Vyzkoušet si Dessu zatím nelze, k dispozici je pouze poslech ukázek.

Bezpečnost je jedním ze tří důvodů vývoje, které tým uvádí, vedle zvědavosti a lepšího porozumění mezi lidmi a AI. Šéf projektu Ragavan Thurairatnam napsal, že si lze představit situaci, kdy má člověk velké bolesti a hlasová AI o tom nemá tušení a prostě pokračuje dál. Server TheStreet zároveň upozornil, že hlas, který projde jako lidský, mohou zneužít podvodníci při volání blízkým. Tým má s takovými riziky zkušenost, protože vznikl z torontského startupu Dessa, který v roce 2019 proslul nahrávkou napodobeniny hlasu podcastera Joea Rogana a model tehdy kvůli riziku zneužití nezveřejnil.

Startup v roce 2020 koupila společnost Square, která se později přejmenovala na Block, a dva inženýři stojící za napodobeninou Rogana, Hashiam Kadhim a Rayhane Mama, jsou členy i současného týmu. Laboratoř, ze které Dessa vzešla, je podle společnosti Block malá a podléhá přímo Dorseymu. Pro Block, který stojí hlavně na platebních terminálech Square a aplikaci Cash App, je AI letos hlavním tématem a Square již podle serveru TechCrunch využívá hlasovou AI k přijímání objednávek, přičemž vlastní model běžící přímo v zařízení by mu umožnil takové služby nabízet levněji.

Zdroje

1. CzechCrunchcc.cz
2. TechCrunch AItechcrunch.com