Závod mezi předními AI laboratořemi se prý dostává do fáze, kdy může být stále obtížnější udržet vývoj pod lidskou kontrolou. A v krajním případě může ohrozit samotnou existenci lidstva. Alespoň to tvrdí lidé, kteří přímo pracují na vývoji nejvýkonnějších systémů umělé inteligence. Jeden z nich, výzkumník Jacob Coxon, právě kvůli obavám z dalšího směřování vývoje opustil Anthropic, jednu z nejdůležitějších laboratoří AI.

„Lidé, kteří AI stavějí, skutečně věří, že by nás do konce tohoto desetiletí mohla všechny zabít. Není to žádný marketingový trik,“ uvedl Coxon, který v posledních letech působil ve společnostech OpenAI a Anthropic a věnoval se výzkumu spojenému s trénováním modelů. „Na veřejnosti sice řada manažerů používá opatrný jazyk, aby působili rozumně, ale v soukromí od nich slyším stejný strach. Žádná jiná lidská činnost nepředstavuje takovou míru nebezpečí.“

Nejde přitom jen o obavy jednoho výzkumníka. Jeho slova veřejně podpořil také Evan Hubinger, který v Anthropicu vede tým zaměřený na testování bezpečnosti AI. Je to tedy člověk, který má k tématu velmi blízko. „Jacob má v tomto pravdu. Opravdu upřímně věříme, že by AI mohla zabít všechny lidi,“ napsal na sociální síti X. Pravděpodobnost takového scénáře během příštích deseti let přitom odhaduje na více než deset procent.

Důvod? Anthropic prý zatím nemá vyřešený problém takzvaného alignmentu, tedy způsobu, jak zajistit, aby cíle a chování vysoce inteligentních systémů zůstaly v souladu s lidskými zájmy. „Anthropic se snaží dělat, co může, ale zatím nemáme plán, jak tohle vyřešit. Nejsme ani jednoznačně na cestě k tomu, abychom ho vyřešili,“ uvedl Hubinger.

V praxi to znamená, že by pokročilé systémy dokázaly výrazně zlepšovat své vlastní schopnosti a tempo jejich vlastního vývoje by se za určitých podmínek mohlo výrazně zrychlit. A to až na úroveň, kdy člověk nebude stíhat zasáhnout. V takovém scénáři by mohly systémy samy navrhovat úpravy svého softwaru, hledat vlastní chyby a postupně zvyšovat své schopnosti.

Situaci přiostřily nedávné bezpečnostní incidenty. OpenAI v červenci popsala případ, při němž interně testovaný model obešel izolaci od internetu, zneužil dosud neznámou zranitelnost a dostal se do systémů společnosti Hugging Face. Anthropic zase oznámil tři případy, kdy se model Claude během bezpečnostních testů dostal k internetu a následně získal neoprávněný přístup k reálným systémům tří organizací.

I proto výzvy k větší opatrnosti přitom zaznívají i od lidí přímo z čela oboru. „Pokud lidé nebudou jednat velmi naléhavě, v oblasti kybernetické bezpečnosti se věci velmi ošklivě zvrtnou,“ prohlásil třeba šéf OpenAI Sam Altman. Hlavní vědec OpenAI Jakub Pachocki zase varoval: „Toto je doba, která vyžaduje extrémní opatrnost. Mám obavy, že na následky pokračujícího prudkého nárůstu strojové inteligence není nikdo připraven.“

Současně ale neplatí, že by se vývoj AI zastavil nebo že by na jeho další směřování neexistovaly žádné snahy o koordinaci. Část předních výzkumníků a technologických firem naopak volá po společném postupu a možnosti tempo vývoje zpomalit, pokud se ukáže, že bezpečnostní opatření za schopnostmi nových systémů zaostávají.

Právě v tom ale spočívá hlavní paradox současného závodu. Firmy si uvědomují, že s rostoucími schopnostmi modelů rostou i potenciální rizika. Zároveň mají silnou motivaci pokračovat, protože nikdo nechce zaostat za konkurencí. „V OpenAI si mnozí lidé ještě plně neuvědomili civilizační sázky. V Anthropicu jsou si těchto sázek dobře vědomi, ale uvízli v závodě o to, kdo bude první. Věří totiž, že nikdo jiný nebude jednat zodpovědně, takže to risknou a udělají to sami,“ dodal Coxon.