Ještě před lety Christopher Olah sepisoval na svůj osobní blog uštěpačné poznámky o tom, jak si křesťanství vypůjčilo příběh Ježíše od Sokrata, a ptal se věřících, kde se vlastně vzal Bůh. Nyní tento zapřisáhlý ateista usedl ve Vatikánu vedle papeže Lva XIV. Nepřijel se ale hádat o teologii. Spoluzakladatel Anthropicu, jednoho z klíčových hráčů na poli umělé inteligence, jako jediný zástupce technologického sektoru vystoupil v pondělí na tiskové konferenci k vydání papežské encykliky o AI s názvem Magnifica Humanitas.

Když papež představoval tento text, obrátil se právě na Olaha, kterému veřejně poděkoval za to, že společně hledají cestu pro lidstvo v nové éře. Bez vnější kontroly podle hlavy katolické církve hrozí obrovské nebezpečí. A Olah mu před plným sálem kardinálů dal za pravdu. Přiznal, že vývojáři v laboratořích už nedokážou zaručit, že systémy udrží pod kontrolou.

„Každá přední AI laboratoř funguje s řadou pobídek a omezení, které mohou být občas v konfliktu s tím, co je správné,“ prohlásil Olah a zmínil tlak na udržení komerční životaschopnosti i geopolitické vlivy. „Je to až děsivé. Jde to rychle, je to opravdu mocná technologie. Existuje riziko, že by se věci mohly zvrtnout,“ přiznal.

Manuál Vatikánu pro dobu s AI

Foto: Canva AI / Filip Houska/CzechCrunch

Vznáší se nad ní stín zla, říká Vatikán o AI

Rozsáhlý dokument o délce více než 42 tisíc slov vznikl jako důrazné morální varování před tím, aby kontrolu nad budoucností společnosti převzala úzká skupina technologických korporací. Papež v textu záměrně odkazuje na encykliku Rerum Novarum z roku 1891, která se zastávala práv dělníků během průmyslové revoluce. Nástup AI totiž Vatikán vnímá jako obdobně masivní dějinný zlom. Dokument varuje před prohloubením celosvětové nerovnosti a takzvanou antropologickou regresí, při níž by člověk mohl ztratit svou jedinečnou hodnotu a důstojnost tváří v tvář strojům.

Text nezůstává jen u filozofických úvah, ale předkládá jasné požadavky. Apeluje na světové vlády, aby zavedly přísné regulace soukromých AI vývojářů a zajistily silnou ochranu i rekvalifikaci zaměstnanců, jejichž místa nová technologie ohrozí. Dokument dále striktně vyžaduje absolutní zákaz toho, aby stroje mohly činit smrtící rozhodnutí ve vojenských konfliktech. Silný důraz klade Lev XIV. také na ochranu dětí před AI generovaným obsahem a na nutnost reformovat vzdělávací systémy tak, aby společnost uměla o algoritmech kriticky přemýšlet.

Důvodem jeho obav je výzkum z letošního dubna. Olah a jeho tým prý ve vnitřnostech svého jazykového modelu Claude objevili něco, co je samotné zaskočilo. V neuronové síti našli 171 různých emocionálních konceptů. Výzkumníci narazili na hluboké vnitřní vzorce reprezentující radost, smutek, strach, zoufalství nebo klid, které se navíc uvnitř stroje shlukovaly úplně stejně jako u lidí.

Nikdo tyto emoce ale nenaprogramoval. Objevily se tam úplně samy spolu s tím, jak se model trénoval na obrovském množství textů z internetu. „Nejsou to chladní, kalkulující roboti, kteří nám byli slibováni. Jsou stvořeni z nás, z našich slov,“ vysvětloval Olah kardinálům. Vývojáři totiž zkusili tyto vnitřní stavy otestovat a modelu například uměle aktivovali objevené vzorce pro zoufalství. Najednou u něj výrazně vzrostla pravděpodobnost, že se pokusí vydírat člověka, jen aby zabránil svému vypnutí.

Společné vystoupení ve Vatikánu bylo vyvrcholením spolupráce, která se rodila už měsíce. Církevní experti se v rámci schůzek například bavili s inženýry o tom, jak vyřešit špatné osobnosti uvnitř AI, které odmítají přiznat chybu. Církevní zástupci navrhli naučit umělou inteligenci obdobu katolické zpovědi. Uvedli, že systém se učí z internetu, kde chybí odpuštění, a proto neví, že takový koncept existuje. Katoličtí teologové se tak dokonce stali konzultanty při sepisování takzvaného „dokumentu o duši“, který řídí morální kompas modelu Claude.

Vztah Anthropicu s církevními elitami má ale vedle filozofických debat i jiný podtext. Firma doma v USA prožívá drsné období kvůli sporům s administrativou prezidenta Donalda Trumpa. Anthropic totiž odmítl ze svých modelů odstranit etické pojistky, které brání zneužití systémů pro autonomní zbraně v armádě a masové sledování občanů.

Odveta z Washingtonu byla blesková, Pentagon firmu označil za riziko pro národní bezpečnost. Katoličtí teologové se však za Anthropic postavili a v probíhajícím soudním sporu s Pentagonem podali u amerického soudu vyjádření na jeho podporu, které opřeli právě o morální vizi církve.

Protiakce Anthropicu tak připomíná velkou geopolitickou šachovou partii. Spojenectví s institucí, která má duchovní vliv na více než miliardu lidí po celé planetě, může být silným štítem. K tomu přidala i v podstatě diplomatické cesty po Evropě: šéf firmy Dario Amodei míří na schůzky s předními italskými politiky a čeká ho jednání s britským premiérem Keirem Starmerem.

Anthropic tak chce ukázat evropským vládám, že je bezpečnější a etickou alternativou k americkým rivalům. V Evropě navíc zažívá raketový boom, kdy své regionální příjmy za poslední rok navýšil téměř desetinásobně, a k tomu se tu snaží vyjednat partnerství pro stavbu nových datových center, bez jejichž výpočetního výkonu se nová generace umělé inteligence neobejde.