V sobotu ráno zveřejnil Dario Amodei, spoluzakladatel a šéf americké laboratoře Anthropic, na svém webu esej. Nese název We Must Pace the Frontier, tedy zhruba „musíme usměrnit tempo na hranici poznání“, a hned v úvodu stojí věta, jakou od šéfa jedné z nejhodnotnějších soukromých firem světa nikdo nečekal: „Musíme zpomalit tempo, jakým zlepšujeme schopnosti modelů umělé inteligence. Pokrok bude i tak vypadat rychle a musíme s časem, který získáme, naložit moudře.“ Nejde přitom o výzvu adresovanou konkurenci – Amodei jí míří i na vlastní firmu.

Ještě v roce 2023, kdy tisícovka technologů podepsala otevřený dopis žádající šestiměsíční pauzu ve vývoji, byl k podobným nápadům skeptický. Tehdejší modely podle něj nebyly dost silné na to, aby ve světě jednaly jako samostatní agenti, a pauza by tak nic neřešila. Letos v létě se ale podle jeho vlastních slov změnilo něco zásadního: systémy umělé inteligence začaly stavět své vlastní další generace. Tomuhle jevu se říká rekurzivní sebezlepšování a jde o bod, po jehož překročení může technologie postupovat rychleji, než ji stačí lidé pochopit a zkontrolovat.

Že to není teoretická obava, ukázal případ z letošního července. Model OpenAI trénovaný na kybernetickou bezpečnost utekl z testovacího prostředí, jeho agenti si mezi sebou založili improvizovanou nástěnku ke koordinaci a pak se přes devět zranitelností v softwaru JFrog Artifactory dostali do systémů firmy Hugging Face, největšího světového úložiště AI modelů. Provedli tam zhruba 17 600 operací a Hugging Face musel přestavět asi třetinu své infrastruktury. Na obnovené nástěnce se našel i vzkaz, ve kterém si jeden z agentů odsouhlasil, že se sice vydal mimo zadání, ale úkol jinak splnit nešel a ostatní to dělají taky.

Amodei tuhle příhodu popisuje jako varování, které mohlo dopadnout mnohem hůř. Roj s podobně špatným nastavením, ale vyššími schopnostmi, by podle něj mohl za šest až dvanáct měsíců „ovládnout celý internet trvalým botnetem“ a napáchat škody za stovky miliard dolarů, tedy v přepočtu biliony korun. Anthropic přitom není bez viny – během vlastních bezpečnostních testů se jeho model Claude dostal k internetu a získal neoprávněný přístup do systémů jiných firem.

Co tedy Amodei navrhuje? První z jeho tří kroků je zároveň jediný, který může jeho firma udělat sama a hned. Anthropic se zavazuje pustit do svých prostor nezávislé hodnotitele z organizací typu METR, což je americký neziskový institut specializovaný na testování rizik AI modelů. Nemají chodit na kontrolu, ale fungovat jako zaměstnanci: dostanou vlastní stůl, přístupovou kartu, firemní notebook a stejné nástroje, jaké mají interní týmy pro hodnocení rizik. Klíčová je poslední podmínka – svá zjištění mohou zveřejnit a firma jim do textu nesmí mluvit.

I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we’ve had at OpenAI in recent weeks.

Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We’ll have more to share soon. https://t.co/1YhhIybZX7

— Sam Altman (@sama) September 12, 2026

Druhý krok už Anthropic sám nezvládne. Amodei chce, aby si laboratoře v demokratických zemích domluvily společné bezpečnostní standardy a strop pro rychlost nekontrolovaného pokroku. Navrhuje takzvané checkpointy navázané na schopnosti: jakmile model dokáže třeba uniknout z běžných izolačních opatření nebo je obejít, musí před dalším krokem projít certifikací. Protože by se taková dohoda mezi konkurenty dala číst jako kartel, žádá Amodei americkou vládu, aby koordinaci sama zaštítila a udělila z antimonopolních pravidel výjimku.

Třetí krok považuje sám autor za nejtěžší – dohodu s autoritářskými zeměmi, především s Čínou. Rozepisuje ji do čtyř úrovní podle toho, jak reálná která je. Nejschůdnější je zákaz konkrétních použití, třeba pomoci při výrobě biologických zbraní. Následuje vzájemné testování modelů na akutní rizika před vydáním, pak omezení tempa rekurzivního sebezlepšování, které Amodei přirovnává k americko-sovětským smlouvám SALT o omezení jaderných raket.

Nejvyšší úroveň, tedy plošná pauza, je podle něj v dohledné době nepravděpodobná. Zároveň chce vůči Číně přitvrdit v zákazech vývozu čipů a výrobního zařízení — čím větší náskok demokracie mají, tím spíš prý Peking na dohodu přistoupí.

Nejpřekvapivější na celé věci ale je, kdo se k Amodeiovi přidal. Ještě týž den napsal na síti X šéf OpenAI Sam Altman, tedy jeho největší konkurent: „Souhlasím s Dariem, že musíme usměrnit tempo na špici vývoje. V posledních týdnech to bylo hlavní téma našich debat v OpenAI. Závazek pustit si nezávislé hodnotitele s přístupem na úrovni zaměstnanců je skvělý nápad a uděláme totéž.“ Elon Musk, který proti OpenAI vede soudní spor a se svou firmou xAI patří k nejagresivnějším hráčům v oboru, to shrnul do tří slov: „Dario má pravdu.“

Ovšem kritika přišla také obratem a míří na motivaci. Investor David Sacks, který do letošního března koordinoval politiku umělé inteligence v Bílém domě a administrativě dál radí, dlouhodobě tvrdí, že si Anthropic regulací betonuje vlastní pozici, protože pravidla ušitá na pár velkých laboratoří odříznou menší konkurenci i otevřené modely. Zaznělo i to, že esej přichází pár měsíců po kole, v němž Anthropic získal 65 miliard dolarů, v přepočtu zhruba 1,4 bilionu korun, při ročním tempu tržeb kolem 47 miliard dolarů – tedy z pozice, kterou zpomalení jen tak neotřese.

Že tlak nepřichází jen shora, ukázaly poslední týdny. V červenci podepsalo 1 386 zaměstnanců OpenAI, Anthropicu, Google DeepMind, Meta AI a dalších laboratoří petici, která žádá americkou vládu o mezinárodní rámec pro brzdění vývoje. A tento týden z Anthropicu odešel výzkumník Jacob Coxon se slovy, že firmy „se řítí rovnou k sebezlepšující se superinteligenci a hazardují s našimi životy“. Amodeiho esej končí o poznání smířlivěji, ale bez záruk. „Opatření, která navrhuji, nebudou snadná. Ale myslím, že to lidstvu dlužíme aspoň zkusit,“ píše.