Na světě existují dva druhy vědců – ti, kteří jsou experty na malý, avšak hluboký výsek lidského vědění, a ti, kteří se snaží nahlížet na co nejširší spektrum problémů přes určitý obecný nástroj. Do druhé skupiny patří i Jan Kulveit, odborník na rizika a hrozby pro lidstvo působící na Institutu budoucnosti lidstva v Oxfordu a v Centru teoretických studií na Karlově univerzitě.

Díky svému obecně znějícímu oboru už před třemi lety pomáhal vládě předpovídat vývoj covidové pandemie. Procentuální vyjádření toho, zda se ten či onen scénář stane, byla z jeho úst slyšet poměrně často. Se stejnou matematickou precizností se věnuje i výzkumu umělé inteligence a jejímu souznění s lidskými hodnotami. Její nástup podle něj může – ale také nemusí – znamenat pro lidstvo hrozbu.

„Umělá inteligence je zcela zjevně transformativní a v něčem je pravděpodobně důležitější než cokoliv, co lidstvo zatím objevilo. Opravdu je těžké ten význam přecenit,“ říká Jan Kulveit v podcastu Čestmíra Strakatého, který si můžete pustit v přehrávači níže. Podobné hlasy jsou zejména v posledních týdnech slyšet často. Jak si onu transformativnost tedy představit?

Oxfordský vědec nastiňuje příklad až s biologickou podstatou. Přestože jsme jako lidé geneticky nejblíže šimpanzům, tak zatímco tito primáti jsou ohroženým druhem na pokraji vyhynutí, my jako lidé jsme vyvinuli něco, co nás odlišuje od spousty jiných druhů. Kulveut tím myslí celou kulturu, lepší předávání myšlenek, jazyk a způsob uvažování, což je něco, co třeba kočka nedokáže. Co se ale stane, když v tomhle všem bude někdo – nebo spíš něco – lidi překonávat?

Kulveit je přesvědčený, že člověk už není tím, kdo by nové jazykové modely jako GPT-4, plně ovládal. Dynamika se podle něj začíná převracet a důvody vidí ve způsobu, jak tato technologie vzniká.  „Model se nejdřív naučil hrubě memorizovat nebo se setkal s úlohami jako jedna plus tři a někdo mu řekl, že to jsou čtyři. Když takových příkladu vidí tisíce a tisíce, může se stát, že se naučí hlubší logiku, abstrakci a vytváří si v podstatě implicitní model světa. Problém je, že nerozumíme tomu, co se přesně naučil ani jak toho docílil. A tím pádem ani plně nerozumíme jeho výsledkům,“ vysvětluje.

Odkazuje tak na problém takzvané černé skříňky, který vědci v oblasti umělé inteligence řeší už léta. U jakéhokoliv složitějšího algoritmu, který je postavený na hlubokém učení, nikdo přesně neví, proč je jeho výstupem to, co jím je. Můžete se tak smát nad tím, proč vám TikTok servíruje padesáté video s roztomilou kočkou. Jenže do smíchu už vám nejspíš tolik nebude, když stejný princip funguje i u tak mocných nástrojů, jako je jazykový model GPT.

Jedním z možných scénářů dalšího vývoje by podle Kulveita mohlo být, že lidstvo ztratí většinu kontroly nad svou budoucností. „Nedávám velkou pravděpodobnost nějaké vzpouře robotů. Ale můžeme si představit svět, kde třeba umělá inteligence kompletně řídí korporace. I když v ní vyměníte konkrétní lidi, dostanete stále přibližně stejnou korporaci. Lidské myšlení, na němž firma běží, tak postupně může nahradit umělá inteligence. Dostali bychom se tak do situace, kdy se větší část ekonomiky automatizuje a my postupně ztratíme pochopení toho, co se děje,“ popisuje Kulveit.

Za znepokojující považuje Kulveit i fakt, že do současného stavu, kdy již jazykové modely zvládají mnoho činností lépe než člověk, jsme se dostali bez zásadního vědeckého přelomu. Ve skutečnosti jsou nástroje jako ChatGPT či Dall-E jen výsledkem kontinuálního procesu, kdy inženýři do modelů vkládají stále větší množství dat, ty tak rostou a jsou schopné popisovat realitu na širším počtu parametrů.

Není přitom jasné, kde má tento růst hranice a tím pádem teoreticky není ani hranice pro to, jaké jsou jejich schopnosti. Kapitalistická logika ale zároveň velí, že jsou všechny velké technologické společnosti motivovány v tomto trendu pokračovat. A díky tvrdému konkurenčnímu boji se ani nemohou zastavit a zkusit přijít na to, proč se model chová tak, jak se chová.

Naštěstí se ale lidé umí rozhodovat i jinak než podle čísel „Lidé jsou motivováni trhem, ale nejen jím. Pokud někdo vyvine umělou inteligenci, která s padesátiprocentní pravděpodobností způsobí globální katastrofu, tak i když by na tom vydělal miliardu dolarů, ji nejspíš nevypustí. Nejsme jako lidé zas takoví šílenci. Problém je, že možná nepoznáme, že jsme takovou umělou inteligenci vyvinuli,“ říká Kulveit.

Přesto se ale považuje v rámci svého oboru spíš za optimistu. Katastrofické scénáře staví na roveň těm, v nichž bude umělá inteligence naopak v harmonii s lidmi.

„Není to tak, že by nám něco bránilo umělé inteligenci porozumět. Jen to nepůjde samo. Lidstvo už dokázalo pozoruhodné věci. Například jsme – zatím – neměli třetí světovou, jadernou válku. To je scénář, kterému po vynálezu nukleárních zbraní přikládal pravděpodobnost jen málokdo. A já si nemyslím, že jaderné zbraně jsou v principu méně řešitelné než umělá inteligence,“ uzavírá.