Směje se uprostřed věty a mluví jako člověk. Jack Dorsey ukázal hlasovou AI, která se učila jen posloucháním

Do vyprávění volajícího se rozesměje uprostřed věty, a když je člověk příliš daleko od mikrofonu, požádá ho, ať se přiblíží. Jindy ale omylem osloví muže jménem Dheer jako Ronalda a musí se nechat opravit. Tak zní ukázky hlasového modelu Dessa, který představila platební firma Block zakladatele Twitteru Jacka Dorseyho. Na rozdíl od dnešních hlasových asistentů se nikdy nesetkal s psaným textem, mluvit se naučil jen posloucháním lidských rozhovorů. „Mluvit s ním je jako mluvit s člověkem, je to plné emocí, nuancí, pauz a přirozeného rytmu,“ popisuje Dorsey.

Dnešní hlasové režimy chatbotů obvykle převádějí řeč na text, ten zpracuje jazykový model a odpověď se zase přečte syntetickým hlasem. Podle týmu kolem Dessy se tím ztrácí obrovské množství informací, které text neunese: sarkasmus, smích, povzdech nebo hlas, který se láme smutkem. Dessa pracuje se zvukem na vstupu i výstupu a je takzvaně full-duplexová, tedy poslouchá a mluví současně, stejně jako letošní GPT-Live od OpenAI. Ví proto, kdy skočit do řeči, a průběžně dává najevo, že poslouchá (slovy jako „jo“ nebo „chápu“). Běží lokálně na MacBooku Pro s čipem M4 Max nebo výkonnějším.

Block tvrdí, že jde podle jeho dat o vůbec první AI, se kterou lze vést realistický živý rozhovor a která se učila výhradně z lidské řeči, bez textu a bez předtrénovaných modelů. Jazyk se podle týmu naučila z několiksetkrát menšího množství slov, než potřebují velké jazykové modely. Řeč je přitom pro stroj mnohem těžší materiál: tatáž věta nikdy nezazní dvakrát stejně a jedno vyslovené slovo zabere tisíckrát víc dat než napsané. Na trénink podle Blocku stačil jediný serverový systém Nvidia GB200 NVL72.

Zájem technologického světa ale nevzbudila čísla, nýbrž nahrávky. Na webu modelu jsou živé záznamy rozhovorů, do nichž podle Blocku nikdo nezasahoval. Dessa v nich doplní větu, když si člověk nemůže vzpomenout na název filmu, při debatě o filmech Christophera Nolana nečekaně odbočí k Supermanovi a na zprávu o překvapivém výletu do Paříže zareaguje polohlasným „panebože“. Server The Verge rozhovory popisuje jako místy trochu nemotorné a znepokojivě lidské, Dessa podle něj působí jako rozpačitý nový kamarád. Poslechnout si je můžete všechny na webu firmy.

Nejvíc pozornosti sklízí nahrávka, v níž Dessa mluví s hlasovým modelem GPT-Live-1 od OpenAI. Dessa v ní podle The Verge zní přirozeněji. Mehab Qureshi ze serveru TheStreet popisuje, že model od OpenAI zní jako zdvořilý asistent, který čte z kartičky. Qureshi píše, že hlasový režim ChatGPT mu vždycky připomínal rozhovor s mrtvým člověkem. Když si přes hlasového agenta rezervoval stůl v restauraci, majitel prý okamžitě poznal, že volá AI. U Dessy ale prý Qureshi na okamžik zapomněl, že poslouchá stroj.

Sám Dorsey na síti X dodal, že jde o něco velkého, ale zároveň dost malého na to, aby to běželo na MacBooku. Vyzkoušet si Dessu ale zatím nikdo nemůže, dá se jen poslouchat. Block chce nejprve poskytnout přístup malé skupině výzkumníků bezpečnosti umělé inteligence, kteří mají najít rizika, se kterými tým nepočítal. Zvenku tak nejde ověřit ani to, odkud se emoce v hlase berou. Konkurenční modely, například od ElevenLabs, je řídí textovými značkami a podle serveru TechCrunch není jasné, zda podobně nefunguje i Dessa.

Bezpečnost je přitom jedním ze tří důvodů, které tým kolem Dessy pro vývoj uvádí, vedle zvědavosti a lepšího porozumění mezi lidmi a AI. „Představte si, že máte velké bolesti a hlasová AI o tom nemá tušení a prostě pokračuje dál,“ píše šéf projektu Ragavan Thurairatnam. Server TheStreet ovšem upozorňuje i na odvrácenou stranu: hlas, který projde jako lidský, může také pomáhat podvodníkům, kteří volají vašim blízkým.

Tým to zná z vlastní zkušenosti. Vznikl z torontského startupu pojmenovaného právě Dessa, který v roce 2019 proslavila nahrávka naklonovaného hlasu podcastera Joea Rogana. Firma tehdy model kvůli riziku zneužití nezveřejnila a věnovala se také odhalování deepfaků. O rok později ji koupil Square, který se pak přejmenoval na Block. Dva z inženýrů, kteří falešného Rogana vytvořili, Hashiam Kadhim a Rayhane Mama, jsou členy i současného týmu.

Umělá inteligence je pro Block, který stojí hlavně na platebních terminálech Square a aplikaci Cash App, letos hlavním tématem. V únoru firma propustila přes čtyři tisíce lidí, zhruba 40 procent zaměstnanců. Dorsey to tehdy zdůvodnil tím, že menší tým vybavený nástroji umělé inteligence zvládne víc a lépe. Square už podle TechCrunche hlasovou AI používá na přijímání objednávek a vlastní model běžící přímo v zařízení by mu umožnil nabízet takové služby levněji. Laboratoř, ze které Dessa vzešla, je podle Blocku malá a podléhá přímo Dorseymu.