Pětidenní převrat v OpenAI měl podle všeho hluboké a veskrze filozofické kořeny. Spíš než o boj o moc a vliv nad nejhodnotnějším startupem dneška šlo o spor o budoucnost. Ti, kteří měli strach, že firma postupuje ve vývoji umělé inteligence moc rychle a nezodpovědně, proti těm, kteří ji nechtějí brzdit. Klíčovou roli v celém příběhu sehrál mezi technologickými intelektuály velmi populární myšlenkový směr známý jako efektivní altruismus.

Koncem října vydal americký think-tank Centrum pro bezpečnost a nastupující technologie (CSET) obsáhlou studii s výmluvným názvem „Rozpoznávání skutečných záměrů: Umělá inteligence a drahé signály“. Na šedesáti stránkách poskytuje zákonodárcům a vůbec jakýmkoliv zájemcům manuál, jak se vyznat v tom, jaké mohou mít ti, kteří v oboru působí, skutečné záměry.

Na mnoha místech se tam píše o OpenAI a jeho jazykovém modelu ChatGPT a také o konkurenčním projektu Claude z dílny startupu Anthropic. Za tím stojí lidé jako Dario Amodei, kteří dříve působili v OpenAI, ale odešli, protože měli pocit, že firma věnuje málo pozornosti rizikům spojeným s umělou inteligencí. Studie spolku CSET pak naznačuje, že opatrnější přístup Anthropicu je správný.

V OpenAI vyvolal akademický materiál poprask, osobně se k němu v interním diskuzním fóru kriticky vyjadřoval i šéf společnosti Sam Altman. Důvodem zjitřené pozornosti ale nebylo to, že bývalí kolegové získali tentokrát plusové body, ačkoliv mezi týmy panuje řevnivost. Šlo o jméno jedné z autorek studie. Podepsaná pod ní byla i Helen Tonerová, členka představenstva OpenAI.

Necelý měsíc poté, minulý týden 17. listopadu, právě toto představenstvo odvolalo Altmana z postu výkonného šéfa momentálně nejžhavějšího a nejdražšího startupu světa. A rozpoutalo tak jeden z nejkurióznějších byznysových příběhů poslední dekády, který po pěti dnech skončil tak, jak začal: Altman se vrátil do čela OpenAI, zatímco strůjci jeho vyhoštění byli odejiti.

Kořeny jejich sporu jsou však, jak dokládá anabáze s vědeckým článkem, mnohem hlubší a složitější. A budou pokračovat i v budoucnu, protože právě na těchto základech OpenAI vzniklo a debaty o nebezpečích, která umělá inteligence představuje pro lidstvo, jsou v oboru inherentně obsažené: jeho klíčovými hybateli jsou mimořádně inteligentní lidé s filozofickým přesahem, kteří si uvědomují, že staví něco, co může změnit běh dějin.

Přesně takový typ programátora je Ilja Sutskever, který se podobně jako Tonerová vyjádřil pro Altmanův odchod, ačkoliv následně svého kroku litoval, a v roce 2015 s ní stál u zrodu OpenAI. Sutskever, počítačový vědec s rusko-izraelskými kořeny, studoval na univerzitě v Torontu u pionýra moderního výzkumu umělé inteligence Geoffreyho Hintona. Ten nedávno opustil Google a podobně jako řada jeho žáků se nijak netají skepsí vůči extrémně dynamickému rozvoji na poli umělé inteligence a jejímu pronikání do běžného života.

Právě Sutskever, který vedl a podle všeho i nadále má vést vývoj v OpenAI, se svým týmem letos na jaře údajně učinil výrazný pokrok ve zdokonalování toho, jak umělá inteligence funguje a jak se dokáže sama učit. A to byl, aspoň podle informací agentury Reuters a portálu The Information, další důvod názorového nesouladu uvnitř OpenAI: lidé blízcí Altmanovi začali prověřovat, jak přelomová zjištění Sutskevera a spol. integrovat do komerčních produktů.

Jde o to, že až dosud umělá inteligence nedokázala sama řešit matematické úlohy, které do ní předtím nikdo v rámci strojového učení nenahrál. Když se ChatGPT zeptáte, kolik je dva plus dva, odpoví samozřejmě správně, že čtyři. Jenže to není výsledek samostatné úvahy softwaru, ví to proto, že se naučil, jak má výsledek takové rovnice vypadat. Jenže expertům z OpenAI se údajně podařilo přijít na cestu, jak se AI dokáže popasovat i s matematickými úlohami, které předtím nikdy neviděla. Hovoří se o tajemném projektu Q* čili Q Star.

Ilja Sutskever si podle všeho uvědomoval, že to může být zlomový moment, a byl k využívání objevu skeptický. Ani mu ale na druhou stranu úplně nebránil. Několik jeho kolegů nicméně krátce předtím, než byl Sam Altman odvolán, varovalo podle Reuters interním dopisem zaměstnance, že v útrobách firmy vzniklo něco, co může nastolit cestu k superinteligenci a ohrozit bezpečnost lidstva. A že to je v přímém rozporu s ideály, na nichž OpenAI vzniklo.

A právě proto nakonec Tonerová, přesvědčená o tom, že Altman svou snahou dostat ChatGPT všude příliš riskuje, přesvědčila i další členy představenstva, včetně nalomeného a pochybujícího Sutskevera, že je třeba zakročit. Zřejmě jednala z přesvědčení, že hájí ideje, na nichž OpenAI vzniklo.

Společnost totiž nebyla vždy komerční ikonou. V roce 2015 ji zakládali Altman se Sutskeverem a Elonem Muskem právě jako projekt, který chtěl zajistit, že obecná umělá inteligence nezničí své tvůrce, jak to známe třeba z Terminátora. Později se ale jejich vzájemné pohledy začaly rozcházet, Musk v roce 2018 OpenAI úplně opustil.

Mezi Sutskeverem a Altmanem postupně narůstalo vzájemné nepochopení: oba sice neskrývali určitou nervozitu, ale zatímco v Altmanovi převládala pozitivní očekávání a také byznysový duch, jeho kolega cítil čím dál větší obavy.

Foto: FTX

Sam Bankman-Fried, zakladatel kryptoměnové burzy FTX

Odlišnost umocňoval i filozofický koncept, s nímž se Sutskever spolu s Helen Tonerovou hodně ztotožňoval, a to efektivní altruismus. Jde o teorii, kterou hodně proslavil Sam Bankman-Fried z padlé kryptoburzy FTX a která předpokládá, že její nositel by měl usilovat o materiální úspěch kvůli tomu, aby nakonec prostředky mohl věnovat společnosti.

Efektivní altruismus je v Silicon Valley poměrně vlivný myšlenkový směr, sympatizuje s ním i Elon Musk. Ostatně jeho nadace pomáhá financovat think-tank, pro který Tonerová pracuje a v jehož rámci vydala studii, kvůli níž se dostala do křížku se Samem Altmanem. Ten se s ní a se Sutskeverem neshodl nejen v pohledu na umělou inteligenci, ale i v odmítání efektivního altruismu.

Podle deníku Wall Street Journal Altman o hnutí prohlásil, že je „neuvěřitelně chybné“. Zastánci směru jsou sice v OpenAI v menšině, ale třeba v konkurenčním projektu Anthropic mu jsou nakloněni přímo zakladatelé, sourozenci Amodeiovi (a jejich investorem bylo FTX). To se odráží i na jejich přístupu k vývoji umělé inteligence: protože jim z principu jde o blaho společnosti (nebo to alespoň tvrdí), k něčemu potenciálně tak radikálnímu a přelomovému, jako je superinteligentní počítač, jsou automaticky ostražití.

Podle kritiků to ovšem může vést až ke zpátečnictví nebo k tomu, že pod vlivem hnutí USA zpomalí a ve vývoji nových technologií je předeženou jiní, především pak jejich nepřátelé. A to je ostatně i hlas, který zazníval při právě skončené přetahované o to, kdo povede OpenAI – že díky ChatGPT získala Amerika (a trochu i její spojenci) klíčový náskok a byla by chyba o něj kvůli hypotetickým rozepřím přijít.