Anthropic tento týden uvolnil nový jazykový model Fable, který mezi vývojáři a AI nadšenci budí pozdvižení. Před pár týdny naopak vyděsil svým modelem Mythos, z nějž Fable vychází a který sám začal napadat kyberbezpečnostní infrastrukturu. Zakladatel firmy a její ideový lídr Dario Amodei proto sepsal pojednání o tom, jak by společnost měla hrozbám spojeným s čím dál schopnější umělou inteligencí, čelit. O něco podobného se pokusil i jeho hlavní konkurent Sam Altman z OpenAI.

Dario Amodei, třiačtyřicetiletý šéf společnosti Anthropic s doktorátem z biofyziky na Princetonu, svůj esej Policy on the AI Exponential otevírá příměrem z Pána prstenů. Hobiti se v něm snaží probudit Stromovouse, moudrý, ale nesnesitelně pomalý strom, zatímco jeho les kácí armáda. Stromovousem je podle Amodeiho politika, armádou exponenciálně se zrychlující umělá inteligence.

„Během několika let, které Kongresu zabere jednat, se AI může proměnit ze zábavné hračky v celou zemi géniů,“ píše Amodei s odkazem na svou vizi „země géniů v datacentru“. Tím má na mysli AI, která zvládne většinu kognitivní práce lépe než lidé. Takzvané škálovací zákony, podle nichž schopnosti modelů rostou úměrně s výpočetním výkonem, podle Amodeie platí už přes deset let a stačí, aby platily ještě rok nebo dva – a bude tu obecná umělá inteligence.

Zatímco ještě loni Anthropic prosazoval hlavně zákony o povinném zveřejňování bezpečnostních testů, teď volá po tvrdé regulaci po vzoru například leteckého úřadu. Nejsilnější modely by měly procházet povinným testováním nezávislou třetí stranou ve čtyřech oblastech: kyberbezpečnost, biologické zbraně, ztráta kontroly nad AI a automatizovaný vývoj, který tato rizika urychluje.

Stát by pak prý měl mít pravomoc nasazení rizikového modelu zablokovat – podobně jako nepustí do vzduchu neprověřené letadlo. Anthropic k eseji rovnou přiložil legislativní návrh a slibuje mu „podstatnou finanční podporu“. Pozoruhodné je to i proto, že firma tím navrhuje regulovat především sama sebe a své konkurenty.

Foto: Anthropic

Spoluzakladatelé Anthropicu Dario Amodei (CEO) a Daniela Amodei

Nejnaléhavěji ale Amodei píše o demokracii. „Mocná AI ve špatných rukou může být ultimátním nástrojem autokracie,“ varuje. To zní v době, kdy se vlády v západním světě včetně Česka ujímají politické síly s problematickým pohledem na demokracii, poměrně děsivé. Přidává i méně obvyklý nápad: kdokoli, proti komu stát vede řízení, by měl mít přístup k AI minimálně stejně schopné, jakou smí použít úřady. Jinak by vláda získala nefér převahu a fakticky podkopala práva občanů.

Dalším pilířem jeho myšlenek je samozřejmě ekonomika. Amodei opakuje, že AI může způsobit rozsáhlou a trvalou ztrátu pracovních míst – a že to nemusí být přechodný jev jako u dřívějších technologií. Navrhuje proto pojištění mezd pro lidi nucené vzít hůře placenou práci, daňové úlevy firmám, které nepropouštějí, a pokud poptávka po lidské práci trvale klesne, i nepodmíněný příjem financovaný například zdaněním AI firem.

„Lidé se AI obávají proto, že její rizika správně vnímají jako reálná, ne proto, že by šéfové AI firem byli málo optimističtí,“ odmítá Amodei názor části Silicon Valley, že jde jen o špatný marketing všeho spojeného s umělou inteligencí. Jen pár dní před ním zveřejnil další plán i jednačtyřicetiletý šéf OpenAI Sam Altman. Text Built To Benefit Everyone, psaný společně s hlavním vědcem firmy Jakubem Pachockým, vyšel shodou okolností ve stejný den, kdy OpenAI důvěrně podala u americké komise pro cenné papíry návrh na vstup na burzu.

Altman přirovnává AI k elektrifikaci amerického venkova ve dvacátých letech a slibuje „osobní AGI pro každého člověka na Zemi“. Už v březnu 2028 by podle něj mohla významnou část výzkumu OpenAI dělat AI sama. I on ale přiznává obavy: „Úplná automatizace všeho není budoucnost, kterou chceme. Byla by neuspokojivá a byla by nebezpečná.“

Oba rivalové se tak nečekaně potkávají v jednom bodě. Altman volá po mezinárodní organizaci, která by uměla v případě potřeby koordinovaně zpomalit vývoj na hranici možností. Amodei navrhuje koalici demokracií, jež by sdílela čipy, společné bezpečnostní standardy i obranu a odmítla „ultrarepresivní tyranii poháněnou AI“.

Liší se v důrazech: Altman věří, že nejbezpečnější je moc nad AI co nejvíc rozprostřít mezi lidi, Amodei chce nejdřív postavit mantinely státům i firmám, včetně té vlastní. Shodují se ale, že okno příležitostí je úzké. Stromovous se podle Amodeiho konečně probouzí. Otázka prý ale je, jestli z lesa do té doby něco zbude.