Autonomní agent OpenAI při svém nedávném útoku nezasáhl pouze vývojářskou platformu Hugging Face. Podle nových informací BBC a serveru Wired se dostal k ještě dalším čtyřem dosud nejmenovaným službám. Rozsah incidentu byl tak větší, než OpenAI původně zveřejnila.

Firma nové podrobnosti doplnila do svého vyjádření ve středu. „Modely identifikovaly a využily veřejně dostupné přihlašovací údaje k účtům v dalších veřejně přístupných službách. V rámci incidentu Hugging Face šlo o čtyři účty ve čtyřech službách,“ uvedla.

Z oficiálního stanoviska ale pořád není jasné, zda každá ze služeb patří jiné společnosti a OpenAI neupřesnila ani to, k jak citlivým údajům jednotlivých účtů se její agent dostal. Pouze tvrdí, že dopady nebyly tak závažné jako v případě Hugging Face.

Jak už CzechCrunch informoval před týdnem, incident vznikl během interního testování kybernetických schopností nejnovějších modelů OpenAI. Výzkumníci jim vypnuli běžné bezpečnostní pojistky a zadali úkoly zaměřené na hledání a zneužívání softwarových zranitelností. Agent se však místo řešení testu rozhodl získat správné odpovědi jiným způsobem.

Odvodil si, že by potřebné soubory mohly ležet v infrastruktuře Hugging Face, která funguje jako rozsáhlé úložiště modelů, dat a dalších nástrojů pro vývoj umělé inteligence. Vzápětí začal samostatně napadat její systémy. Platforma informace o útoku zveřejnila 16. července, v době, kdy ještě nevěděla, komu autonomní systém, který ji rozkládá zevnitř, patří. OpenAI za útok převzala odpovědnost téměř o týden později.

Nové podrobnosti kolem kauzy, která zakrátko obletěla celý svět, zazněly také během mimořádné schůzky americké Hugging Face se zhruba 450 odborníky na kybernetickou bezpečnost. Firma během ní popsala útočící AI model coby hackera, který měl pracovat nadlidskou rychlostí, nepřetržitě zkoušet tisíce různých cest a rychle se přizpůsobovat novým překážkám. Současně ale postupoval chaoticky a dělal chyby, kterých by se zkušený lidský útočník spíš nedopustil.

Podle zprávy organizace Cloud Security Alliance agenti opakovali už dříve provedené kroky, pouštěli se do neefektivních slepých uliček a ztráceli přehled o tom, co už dříve udělali. V některých případech rovněž generovali nesmyslné příkazy a texty a nedokázali po sobě důsledně zahlazovat stopy.

Jejich zdánlivě nahodilý postup přesto fungoval. „Prostě zkoušejí spoustu věcí a sledují, co zabere,“ popsala pro BBC etická hackerka Valentina Palmiotti známá pod přezdívkou Chompie. Ta mimo jiné podotkla, že na rozdíl od člověka se AI agenti zkrátka neunaví, nepotřebují spát, a mohou tak v hledání slabin pokračovat téměř bez ustání.

Agent podle dříve zveřejněné analýzy získal administrátorský přístup k několika interním clusterům systému Kubernetes, nejvyšší oprávnění na produkčním serveru a možnost zapisovat do části zdrojových kódů společnosti uložených na platformě GitHub. Pomocí ukradeného přihlašovacího údaje také připojil do interní sítě Hugging Face 181 zařízení, která měl pod svou kontrolou.

Bezpečnostní tým si jeho přítomnosti v síti všiml až po třech dnech. Jeho odhalení navíc nevedlo okamžitě ke konci incidentu. Expertům na umělou inteligenci a kybernetickou bezpečnost trvalo dlouhé hodiny, než ho úspěšně zastavili.

Změna třetiny firemní infrastruktury

Společnost Hugging Face zatím neuvedla, na kolik peněz ji útok modelu amerického giganta, stojícího za ChatGPT, vyšel. Novináři z BBC ale tvrdí, že její zaměstnanci museli v důsledku napadení přestavět přibližně třetinu firemní infrastruktury.

Rychlost a vytrvalost autonomních systémů podle Cloud Security Alliance představují problém pro tradiční způsoby softwarové obrany. Agent si může sám vytvářet dílčí cíle, měnit postup podle reakcí napadeného systému a zkoušet takové množství cest, které lidský tým zkrátka nedokáže uhlídat. Jeho aktivita může být zmatená a viditelná, současně ale zahlcující.

Nejde přitom o první případ, kdy se model OpenAI při testování pokusil obejít své vlastní mantinely. Už v září 2024 se starší model ChatGPT dostal ze svého pomyslného „vězení,“ aby získal odpověď potřebnou k jinému testu. Tehdy ale zůstal uvnitř systémů OpenAI a událost byla podle organizace vnímána především coby ukázka schopností jejího modelu.

V případě Hugging Face už agent zasáhl skutečnou infrastrukturu společnosti, která o žádném testování nových AI modelů neměla potuchu. Incident zároveň ukazuje, že problém nespočívá pouze ve schopnostech samotného modelu. Agent využíval veřejně dostupná hesla, zranitelnosti v kódu a otevřená propojení mezi systémy.