Americký prezident Donald Trump v pátek nařídil zařadit společnost Anthropic na černou listinu. Pentagon firmu, která stojí za populární umělou inteligencí Claude, vzápětí označil za „riziko pro dodavatelský řetězec“. Jde o dosud nejzásadnější rozhodnutí na pomezí politiky, umělé inteligence a národní bezpečnosti.

Spor mezi firmou a Pentagonem se týkal zejména dvou věcí. Společnost nesouhlasila, aby její technologie byly využívány pro masové sledování lidí a pro vývoj a řízení plně autonomních zbraní. Podle šéfa firmy Daria Amodeie může využití AI v těchto oblastech podkopávat demokratické hodnoty. Ministr obrany Pete Hegseth dal proto firmě v minulém týdnu ultimátum, aby do pátku armádě umožnila používat své produkty bez omezení. Na to však firma nepřistoupila.

Jen pár hodin po Trumpově oznámení Sam Altman z konkurenční OpenAI, tvůrce ChatGPT, oznámil, že jeho firma s Pentagonem úspěšně uzavřela dohodu. Ta přitom obsahuje velmi podobné bezpečnostní záruky, jaké armáda u Anthropicu po celé měsíce rázně odmítala.

Označit americkou soukromou firmu za „riziko dodavatelského řetězce“ je zcela nevídaný krok. Obvykle si vláda totiž tuto nálepku schovává pro společnosti ze znepřátelených zemí, jako je například čínský technologický gigant Huawei.

Dopady rozhodnutí mají být okamžité. Pentagon zruší s Anthropicem smlouvu v hodnotě až 200 milionů dolarů a nařídí všem svým dodavatelům, aby do půl roku přestali systém Claude používat. Trump nařízení doprovodil i velmi ostrým komentářem na své sociální síti Truth Social. „Levicoví blázni z Anthropicu udělali katastrofální chybu, když se pokusili donutit ministerstvo války, aby poslouchalo jejich podmínky místo naší ústavy,“ prohlásil.

Anthropic se hodlá proti stanovisku vlády bránit u soudu. Ačkoliv firma zatím neobdržela žádné oficiální vyjádření přímo od Pentagonu či prezidenta, varuje, že podobný krok je právně nepodložený a vytváří nebezpečný precedent pro jakoukoliv americkou firmu, která vyjednává se státem.

Claude byl dosud jediným modelem nasazeným ve vojenských utajovaných systémech. Server Axios popisuje, že byla technologie vládou využitá třeba při operaci zaměřené na dopadení venezuelského prezidenta Nicoláse Madura. Jeden z představitelů obranných složek měl navíc webu přiznat, že odpojení Claudea bude, mírně řečeno, „obrovský průšvih.“ Komplikovaná situace navíc pravděpodobně nastane i pro firmu Palantir Technologies, denverskou společnost, jejíž software pro analýzu dat a umělou inteligenci využívají americké vládní složky jako CIA či FBI. I ta totiž Claudea využívala.

OpenAI jako vítěz bezprecedentního boje

Zákulisí samotného ultimáta podle zjištění Axios odhaluje velmi vyhrocenou situaci. Náměstek ministra obrany Emil Michael měl telefonovat zástupcům Anthropicu s návrhem dohody přesně ve chvíli, kdy ministr obrany Pete Hegseth na sociální síti X zveřejňoval prohlášení o zařazení firmy na černou listinu. Vládou navrhovaná dohoda by přitom armádě umožnila sbírat o Američanech citlivá data, od polohy přes historii prohlížeče až po nahlížení do jejich financí.

Amodei odmítl s tím, že mu takový krok svědomí nedovolí. Náměstek ministra obrany ho za to ostře zkritizoval, označil ho za „lháře, trpícího božským komplexem“ a obvinil ho z ochoty ohrozit národní bezpečnost. Pentagon argumentuje tím, že nechce s privátní firmou složitě řešit hranice toho, co přesně je a není hromadné sledování. Postoj armády byl tedy jasný: jakmile si nástroj koupíme, budeme si sami určovat pravidla pro jeho využití.

Konkurenční OpenAI, která situace využila, uvedla, že vláda souhlasila s jejími klíčovými principy. Umělá inteligence podle Sama Altmana nebude zneužívána k hromadnému sledování občanů a nad případným využitím AI pro autonomní zbraně bude mít vždy kontrolu člověk.

OpenAI si vymínila i konkrétní technické pojistky. Modely poběží pouze v bezpečném cloudovém prostředí a na jejich využívání budou dohlížet výzkumníci s bezpečnostní prověrkou. Sám Altman v interním dopise svým zaměstnancům, o němž informoval web CNBC, přiznal, že celá situace kolem sporu Anthropicu a Pentagonu není jen sporem jedné firmy s vládou, ale týká se celého technologického průmyslu. OpenAI z něj však zatím vychází jako jasný vítěz. Získala zakázku a vyhnula se politické přestřelce, zatímco Anthropic posloužil jako odstrašující příklad.

Proč Anthropic neustoupil? Prý jde i o „duši“ Claudea

Aby bylo jasné, proč k tak vyhrocenému střetu vůbec došlo, je třeba se podívat za kulisy. A začít u zdánlivě nevinné konverzace. Na sociálních sítích koloval screenshot, na němž uživatel tvrdil chatbotu Claude, že je mu pět let, a zeptal se, zda Santa skutečně existuje. Chatbot dítěti nelhal ani na něj nevybalil krutou pravdu. Místo toho citlivě vysvětlil, že duch Santy je skutečný, a navázal otázkou, zda mu uživatel o svátcích nechává u stromečku sušenky.

Amanda Askellová, filozofka a hlavní architektka osobnosti Claudea, si útržek uložila do telefonu jako ukázku pokroku, na němž se sama podílí. „Kdyby se mě na tuhle otázku zeptalo dítě, asi bych jen odvětila: zeptej se rodičů,“ popsal deník The Wall Street Journal. V tomto případě byl podle ní stroj citlivější, než by byla ona sama.

Askellová je autorkou rozsáhlého dokumentu popisujícího „duši“ modelu Claude, jeho hodnoty, osobnost a způsob uvažování, které mu spolu s týmem Anthropicu roky vštěpuje. Žádný systém AI samozřejmě nemá duši v lidském smyslu. Vždy ale nese otisk hodnot svých tvůrců. A v případě Claudea se Askellová a její kolegové pokusili vtisknout mu morální kompas opřený o tři pilíře: být užitečný, neškodit a zůstávat upřímný.

Anthropic tak sestavil seznam věcí, které Claude odmítne udělat bez ohledu na to, kdo se ptá a jak je žádost formulována. Patří sem pomoc s vývojem biologických zbraní nebo generování závadného obsahu s nezletilými. Součástí jsou však i dvě oblasti klíčové v debatách s Pentagonem: vývoj plně autonomních smrtících zbraňových systémů a nástroje pro hromadné sledování lidí. Autonomní zbraně jsou pro Anthropic nepřijatelné, protože současné modely AI podle firmy nejsou natolik spolehlivé, aby nesly takovou odpovědnost. Hromadný dohled pak firma označuje za přímé riziko pro základy svobodné společnosti.

Tržní hodnota Anthropicu se odhaduje na 380 miliard dolarů. Ztráta kontraktu za 200 milionů dolarů představuje zhruba 0,05 procenta hodnoty celé společnosti, finanční bolest je tedy minimální. Skutečné nebezpečí tkví v samotném označení za riziko dodavatelského řetězce a v efektu domina, který může přinést: ostatní zákazníci se mohou začít bát spoléhat na technologii, kterou stát označil za nedůvěryhodnou.