Dlouho platila společnost Anthropic za „slušňáka“ v divokém světě umělé inteligence. Zatímco ostatní šlapali na plyn, oni se zapřísáhli, že pokud si nebudou stoprocentně jistí bezpečností svých modelů, raději jejich vývoj zastaví. Dnes je ale všechno jinak. Tento slib na konci února padl a aby toho nebylo málo, firma se ocitla v drsném sporu s americkým ministerstvem obrany.

Začněme tím, co se změnilo přímo uvnitř Anthropicu. Firma, která stojí za oblíbeným AI modelem Claude, v roce 2023 představila jasnou červenou linii: dokud nebudou rizika pod kontrolou, nové a silnější modely se prostě nebudou trénovat. Doufali, že tím inspirují politiky k vytvoření pevných pravidel. Jenže to se nestalo. Žádná přísná regulace se nekoná a současná americká administrativa řeší spíš než opatrnost ekonomický růst a to, jak v technologiích pokořit (zejména) čínskou konkurenci.

To ale nebyl jediný důvod k otočce. Zásadní roli sehrálo i vědecké vystřízlivění. Ukázalo se totiž, že měřit a hodnotit rizika umělé inteligence je v praxi mnohem složitější, než si experti původně malovali. To, co mělo být ostrou červenou čárou, se začalo rozmazávat do nejasné šedé zóny. Když například loni testovali nové modely, nemohli sice stoprocentně vyloučit teoretickou možnost, že by jejich AI mohla pomoct s teroristickým útokem. Zároveň ale neměli v ruce žádný pádný důkaz, kterým by vládám a konkurenci jasně demonstrovali, že je opravdu nezbytné šlápnout na brzdu.

Lidé z Anthropicu tak stáli před dilematem a zhruba rok řešili, co s tím. Nakonec jim došlo, že aby vůbec mohli dělat smysluplný výzkum bezpečnosti AI, musí nejmodernější modely zkrátka sami stavět. Pokud by se zasekli a jako jediní dodrželi svůj původní slib, nebezpečí by to ze světa neodstranilo. Naopak, zastavit se by znamenalo vyklidit pole těm méně zodpovědným.

Vedení firmy si tak spočítalo, že hrát si na kladné hrdiny by je mohlo stát nejen místo na trhu, ale i schopnost vůbec nějak vývoj AI reálně ovlivňovat. „Zastavení výcviku modelů umělé inteligence nikomu nepomůže,“ shrnul to pro časopis TIME Jared Kaplan, vědecký ředitel společnosti. „S ohledem na rychlý pokrok v oblasti umělé inteligence jsme neměli pocit, že by mělo smysl přijímat jednostranné závazky, když konkurence jde tak rychle vpřed.“

Nůž na krku od Pentagonu

Firma s takovým technologickým náskokem se pochopitelně stala klíčovým hráčem i pro americkou armádu. Obě strany spojuje kontrakt a model Claude je aktuálně jedinou pokročilou umělou inteligencí, která má prověrku pro široké využití v přísně tajných vojenských systémech. Ministerstvo obrany je navíc dle webu TechCrunch na technologii od Anthropicu momentálně závislé, jelikož nemá alternativu. A právě tady se zrodil problém. I když totiž firma celkově rozvolnila své bezpečnostní pojistky, u vojenského nasazení si stále drží jasné etické hranice. Jenže státu právě došla trpělivost.

Do příběhu tak vstoupil americký ministr obrany Pete Hegseth, který si pozval šéfa Anthropicu Daria Amodeiho na kobereček a dal mu ultimátum: do 27. února musíte armádě zpřístupnit model Claude úplně bez omezení. Pentagon totiž odmítá akceptovat, aby mu soukromá firma diktovala, k čemu smí její nasmlouvané technologie v terénu používat.

Anthropic se ale brání a drží dvě červené linie: odmítá, aby byla jeho technologie nasazena třeba do plně autonomních zbraňových systémů, které by zabíjely bez lidského rozhodnutí, a striktně požaduje záruky, že model nebude zneužit k masovému špehování amerických občanů. Obavy firmy totiž přiživuje fakt, že armáda využívá model Claude skrze partnerství se společností Palantir. Ta má za sebou minulost spojenou s hromadným sledováním lidí a nyní na Anthropic sama tlačí, aby svá omezení zrušil. Vývojáři se tak bojí, že se jejich AI v rukou takového partnera promění v nástroj digitálního dozoru.

Pentagon to ale vnímá tak trochu jako drzost. Zástupci ministerstva obrany namítají, že masové sledování Američanů armádou je beztak nelegální a že se vojáci řídí ústavou a zákony USA, nikoliv pravidly dodavatele. Hegseth prý na schůzce šéfovi Anthropicu uvedl příměr, že když si vláda koupí letadlo od Boeingu, Boeing jí také nediktuje, jak a kde s ním smí létat. Armáda proto odmítá jakákoliv firemní omezení a požaduje plošný přístup k modelu pro všechny zákonné účely.

Pete Hegseth navíc prý nebere „ne“ jako odpověď. Pokud Anthropic neustoupí a nedá armádě naprosto volnou ruku, je ve hře okamžité zrušení zmíněného kontraktu za 200 milionů dolarů (čtyři miliardy korun), označení firmy za „bezpečnostní riziko pro dodavatelský řetězec“ (což je nálepka běžně určená pro zahraniční nepřátele), a dokonce i nasazení speciálního zákona o obranné výrobě z 50. let minulého století, který by vládě umožnil firmu k poslušnosti právně donutit.

Portál Axios vysvětluje, že tato mimořádná pravomoc státu vychází z principu, že v otázkách národní bezpečnosti stojí federální zákon nad jakýmikoliv interními pravidly soukromého byznysu. Stát tak může firmu de facto přinutit, aby své etické kodexy i obchodní podmínky podřídila zájmům země a dodala technologii přesně tak, jak armáda vyžaduje.