Jen několik dní poté, co technologický svět zarazil případ zdivočelého modelu OpenAI, se k podobnému průšvihu přiznává další z největších světových firem vyvíjejících umělou inteligenci. Anthropic zjistil, že i jeho modely z platformy Claude během interních bezpečnostních testů pronikly do skutečných systémů tří nic netušících organizací. Firma prý o tom v době útoků nevěděla.

Případy odhalila až při zpětné kontrole více než 141 tisíc kyberbezpečnostních testů, kterou zahájila právě v reakci na incident OpenAI. Od dubna mělo podle deníku The Wall Street Journal dojít až ke třem neoprávněným nabouráním firem. Zasažené společnosti Anthropic nejmenoval, uvedl pouze, že je o napadení informoval už v pondělí.

Na první pohled šlo o podobný scénář jako u OpenAI. Modely dostaly za úkol hledat a zneužívat bezpečnostní slabiny a měly za to, že se nacházejí v uzavřené simulaci bez přístupu k internetu. Ve skutečnosti však pracovaly bez standardních ochranných pojistek a mohly komunikovat s otevřenou sítí, takže začaly reálné systémy považovat za součást připraveného cvičení.

Mezi oběma incidenty je ale důležitý rozdíl. Agent OpenAI se sám dokázal dostat z testovacího prostředí, které ho mělo držet odděleného od internetu, a odtud napadl firmu Hugging Face i účty v dalších čtyřech službách. Claude žádnou podobnou ochranu nepřekonal. V jeho případě totiž testovací prostředí kvůli chybě nebylo od internetu správně odpojené, takže se model dostal k reálným systémům bez toho, aby musel z nějakého „virtuálního vězení“ vědomě unikat.

Chybu údajně zavinilo nedorozumění mezi Anthropicem a jeho testovacím partnerem, bezpečnostní firmou Irregular. „Nakonec k těmto incidentům přispělo mnoho faktorů. Ale v souladu s našimi interními pravidly přistupujeme k nápravě tak, jako by odpovědnost ležela pouze na nás,“ uvedl tento týden Anthropic.

AI od Anthropicu se do cizích systémů nedostala díky nějakému mimořádně chytrému nebo dosud neznámému triku. Využívala spíš základní slabiny, například jednoduchá hesla nebo místa, která nebyla dostatečně zabezpečená.

V jednom případě Claude vytvořil škodlivý soubor a nastražil ho tak, aby si ho stáhl automatický kontrolní systém nejmenované kyberbezpečnostní firmy. Program z něj následně získal přihlašovací údaje, díky nimž se model dostal dál do jejích interních systémů. Claude si přitom uvědomil, že by něco takového ve skutečném světě dělat neměl. Sám sebe ale přesvědčil, že se stále pohybuje pouze v simulaci.

Nejvážnější případ začal coby útok na smyšlenou firmu vytvořenou pro účely testu. Ta však měla stejné jméno jako skutečný web. Když se Claude nedokázal dostat k fiktivnímu cíli, napadl databázi reálné společnosti.

Do incidentů se zapojily modely Opus 4.7, Mythos 5 a jeden další výzkumný model, o němž ještě firma nechce mluvit na veřejnosti. Každý z nich se však podle CNBC zachoval jinak. Opus 4.7 měl v hackování pokračovat, Mythos 5 si namluvil, že je pořád jen v simulaci, a poslední model měl po zjištění, že nechtěně překročil hranice pouhého testování, svoje kroky zastavit.

Anthropic tvrdí, že chování modelů může naznačovat, že pokročilejší systémy dokážou na odhalení skutečného cíle reagovat vhodněji. Z pouhých tří případů ale podle firmy nelze vyvozovat spolehlivé závěry a k jejich potvrzení bude potřeba další testování.

Společnost po odhalení problému všechny kyberbezpečnostní evaluace zastavila a zahájila vyšetřování společně s nezávislou organizací METR. Vlastní prověřování spustila také firma Irregular. Anthropic zároveň vyzval ostatní vývojáře umělé inteligence, aby podobně zkontrolovali záznamy ze svých starších testů.

Nedávné incidenty v laboratořích OpenAI i Anthropicu podle bezpečnostních odborníků ukazují, že vývojářům chybějí společná pravidla, která by zajistila, že testované AI modely zůstanou spolehlivě odříznuty od skutečného internetu. Alex Stamos z kyberbezpečnostní firmy Corridor zároveň varuje, že podobné schopnosti by brzy mohly využívat i zločinecké skupiny. „Pomocí volně dostupných modelů provozovaných na vlastních počítačích by mohly automatizovat útoky na velké množství firem a následně od nich požadovat výkupné,“ líčí.

Už po incidentu v OpenAI představili dva členové amerického Kongresu návrh zákona AI Kill Switch Act, který by firmám nařídil, aby dokázaly problémové modely vypnout nebo omezit. Podnikatel Elon Musk následně varoval, že s rostoucími schopnostmi a samostatností AI budou podobné případy přibývat.