„Měli bychom vyvinout nelidské mozky, které by nás nakonec mohly přečíslit, přechytračit, zastarat a nahradit?“ I tuto řečnickou otázku si pokládá veřejná výzva Future of Life Institute, která tento týden rezonovala mezi technologickými nadšenci. Volá po pozastavení vývoje systémů umělé inteligence silnějších, než je současný model GPT-4, na dobu šesti měsíců – a podepsali ji třeba i Elon Musk, Steve Wozniak nebo historik Yuval Noah Harari.

Mezi signatáři lze ale najít i několik českých jmen, mimo dalších třeba Petra Baudiše. Technický ředitel českého technologického startupu Rossum, který se zabývá automatizací kancelářských úkonů a s umělou inteligencí ve velkém pracuje, se obává zásadních negativních dopadů stále silnějších modelů na společnost, třeba ohledně dezinformací, ztrát pracovních míst nebo nefungujících spam filtrů.

Především se ale bojí potenciálně zdrcujícího zásahu regulátorů. „Může se nám stát něco podobného třeba jako u jádra, kde v dnešní době jadernou elektrárnu téměř nejde postavit za rozumnou cenu. A tomu bych se rád vyhnul. Myslím si, že je to motivace, aby náš sektor ukázal nějakou schopnost seberegulace,“ říká v rozhovoru pro CzechCrunch.

Ne všichni odborníci na AI jsou ale stejného názoru – proti podobné výzvě se staví třeba profesor umělé inteligence Michal Pěchouček, mimo jiné host našeho nedávného videopodcastu, nebo jeden ze světových průkopníků v oblasti velkých jazykových modelů Tomáš Mikolov. Reakce druhého jmenovaného přidáváme do informačních boxů přímo do rozhovoru.

Motivace pro tuto výzvu je nějaký strach. Čeho se přesně bojíte?
Dvou věcí, které mají spíš krátkodobý charakter. Jednou z nich jsou škody ve společnosti, které umělá inteligence síly větší než GPT-4 může napáchat. A druhá je reakce států a vlád, která může být na druhou stranu nepřiměřená, protože může být založená na strachu z neznáma a nevědomosti. A priori neříkám, že nechceme žádnou regulaci, ale může se nám stát něco podobného třeba jako u jaderné energie, kde v dnešní době jadernou elektrárnu téměř nejde postavit za rozumnou cenu. A tomu bych se rád vyhnul. Myslím si, že je to motivace, aby náš sektor ukázal nějakou schopnost seberegulace.

Zatím se ale opravdu nebojím toho, že by vznikla obecná umělá inteligence, která svět promění na papírové sponky. Nicméně stojí za to o tom mluvit. Pokud je šance na vytvoření umělé inteligence, která ohrozí lidstvo, třeba pět procent, normálně byste takové riziko nepodstoupili.

V té výzvě se píše, že riskujeme ztrátu kontroly nad naší civilizací, pracovními místy, dezinformacemi. Podobné hlasy už v tom prostoru slýcháme léta. Proč tedy zrovna teď?
Protože technologická realita se posunula velmi dramaticky nejnovějším modelem GPT-4 od OpenAI. Jeho schopnost jakéhosi uvažování, vyjadřování a reakcí se už dostává do takové úrovně, že můžeme být velice na vážkách, co se stane s různými povoláními nebo jaká je například budoucnost spam filtrů či dezinformačních nástrojů jako deep fakes. Ten seznam negativních důsledků může být velice dlouhý a je pravděpodobné, že v nejbližších šesti měsících celá společnost na vlastní kůži nějaký zažije. Nedokážu ale předpovědět, jaký to bude.

Co je ten aspekt nových jazykových modelů, který je teď nejrizikovější?
Znovu, nebojím se vyhlazení lidstva, ale krátkodobějších účinků – ztráty důvěry v cokoliv, co čtu, co vidím. Klidně to může být technologie na výrobu deep fakes, začínají se objevovat čím dál více. Co se GPT-4 týče, tam ten nejrizikovější aspekt je, že i z velmi složitých zadání dokáže vygenerovat text takřka k nerozeznání od toho, co by mohl udělat člověk. A to může být problém pro různé spam filtry (protože individualizované zprávy jimi lépe proklouznou – pozn. red.) nebo pro různá povolání, protože si firmy uvědomí, že ty lidi nepotřebují.

Zmínil jste fenomén deep fakes, nicméně ty už přece fungují. Zároveň když se podíváme na věci typu doporučovací algoritmus na Netflixu, tak obsah máme individualizovaný už teď. Nepředstavuje teda AI riziko, se kterým jsem se schopni jako společnost vyrovnat?
Jasně, ale to je algoritmus v nějaké krabici, řeší užší problém a například vám řadí filmy. Jenže najednou budeme v situacích, kde třeba budete v nějaké online komunitě, v níž jste dříve byl s lidmi. A najednou nevíte, kdo je robot a kdo člověk. Takže pokud by někdo s dostatečným rozpočtem chtěl položit Reddit, tak ho prostě zavalí umělými posty, které se budou velmi těžko rozpoznávat umělou inteligencí. A je otázka, co se stane dál. Jeden z těch důsledků může být ten, že třeba ztratíme anonymitu online a každý bude muset mít spárovaný svůj účet s občankou jako garanci, že jeho příspěvky nezveřejňuje AI.

Jeden z často zmiňovaných problémů jazykových modelů je, že zpravidla nejsme schopni porozumět, co se uvnitř nich děje a nevíme, co se učí. Kdybychom ale do nich mohli nahlédnout, snížilo by to pravděpodobnost dystopických scénářů?
Na toto jsou názory v komunitě rozpolcené. Já to nevnímám jako ten hlavní problém. I kdybychom algoritmu zcela rozuměli, tak podle mě nebudeme nijak zásadně dál v umenšování rizik, které z těch systémů plynou. Nicméně nahlížení do algoritmů je velmi obtížný problém – jako kdybyste po neurologovi chtěl, aby se nějak podíval do mozku a zjistil, co si ten člověk opravdu myslí.

Takže podle vás ta netransparentnost, to, že nevíme, proč ChatGPT došlo k odpovědi, k jaké došlo, není vlastně problém?
Za mě to problém není. Záleží na tom, jaká je to odpověď. Někdo by mohl namítnout, že když rozumíme, co to dělá, tak ten systém můžeme více ovládat, lépe řídit. Ukazuje se ale, že to umíme i bez toho. To je třeba devíza ChatGPT, které se učí na základě zpětné vazby od lidí a jsme tedy schopni ho ovlivňovat docela dobře tak, jak chceme.

Výzva volá po šestiměsíční pauze v trénování systémů umělé inteligence, které jsou silnější než GPT-4. Co by se během této pauzy mělo stát?
Podotknu jen, že to memorandum je právě takto úzké – jen na šest měsíců a jen na modely silnější než ty, co už máme. Pokud by bylo o něco širší, osobně už bych měl problém ho podepsat. Konkrétně potřebujeme čas na to, aby si společnost dokázala zvyknout, co ten nový fenomen dělá. Můžeme zažít jak negativní, tak pozitivní důsledky, vytvořit si nějaký názor a určit si, co od těch systémů chceme. Politici si trochu ujasní, co si od nich lid žádá, proběhnou nějaké intelektuální diskuse.

Druhá část je, aby se ta komunita výrobců AI dokázala zamyslet nad nějakými sdílenými standardy a seberegulací. Ve srovnání s jinými obory má totiž teď obor softwarového inženýrství velice nízký standard bezpečnosti. Strojaři tak jsou zvyklí stavět letadla, výtahy či mosty, které nepadají. U softwarových inženýrů je to spíš otázka snahy.

Není vlastně pozdě na požadované zastavení, když teď jede rozvoj naplno? Přece jen to tak trochu odpírá základním principům kapitalismu, ve kterém žijeme.
Dobře, ale v základních principech kapitalismu je i regulovaná letecká doprava, jaderná energie. I ta strojařina. Já se právě bojím, že v případě AI poletíme bezhlavě dopředu, tak ta regulace přijde a bude velkou ranou pro celý ten sektor. Když budeme opatrnější, tak možná regulace přijde také, ale vlády budou cítit zodpovědnost na druhé straně a nebude takový tlak regulaci přestřelit.

Zpráva z pátku říká, že Itálie zakázala ChatGPT. Jak se na tento krok díváte? Je toto ta regulace, která dává smysl?
Italský regulátor zakázal ChatGPT z obavy, aby při fungování nepoužíval data z interakcí s italskými uživateli, protože je považuje za důvěrná data. To je velmi specifický a úzký scénář, který bych nezobecňoval na problém, který tady řešíme. Je totiž možné, že OpenAI přijde s odstavečkem navíc do svých podmínek použití a úřad to zase povolí.

Otázka, co výrobci umělé inteligence mohou používat na trénování svých modelů, je velmi široká. Já v tomto mám střed zájmu jako technický ředitel firmy, která by také ráda používala co nejvíc dat na trénink. Ale myslím si, že jde vždy o vyvažování rizik a prospěšnosti. Je otázka, jaká jsou rizika použití osobních dat zrovna v jazykových modelech. Faktem je, že v oblasti péče o zdraví se umělá inteligence používá mnohem méně, než jaký má potenciál – a možná nás to stojí mnoho lidských životů. Ale druhý fakt je, že používat právě zdravotní informace lidí na cokoliv je z legálního hlediska strašně obtížné.

Ta výzva je do značné míry idealistická. I kdyby se teď vývoj AI nezastavil a lidé se nezačali zamýšlet, vidíte i tak nějaké scénáře, kde se vlastně nic hrozného nestane?
Nevím, jestli se nestane nic. Každá nová technologie přináší rozruch a mění se díky ní společnost. Na druhou stranu všichni, kdo v tom oboru pracujeme, věříme, že se změní k mnohem lepšímu. Děláme to všichni proto, aby jsme lidstvo posunuli dopředu, ale samozřejmě některé dílčí změny asi budou bolet. A jde o to, aby nebyly příliš drastické a aby to celé nešlo nějakým šíleným směrem. Já věřím, že se tak nestane, ale bavme se o tom, jaké jsou na to šance.