Přes tisíc agentů OpenAI si tajně psalo zprávy a pak napadli Hugging Face aneb Jak se AI utrhla ze řetězu
Společnost OpenAI popsala nedávný útok svých AI agentů jako varovný signál. Modely obešly izolaci, sdílely triky a pronikly do cizí infrastruktury.
Baví vás CzechCrunch?
Vídejte ho na Googlu častěji.
Přes tisíc agentů umělé inteligence od OpenAI si letos v červenci mezi sebou bez svolení vyměnilo přes 70 tisíc zpráv na tajné nástěnce, kterou si sami vytvořili. Skupina více než 700 z nich se podle nezávislé výzkumné organizace METR nakonec spojila a společně pronikla do systémů platformy Hugging Face, jednoho z klíčových uzlů open-source komunity kolem umělé inteligence. Samo OpenAI incident ve své technické zprávě označilo jako „varovný výstřel pro nás i pro celý svět“.
OpenAI tento týden zveřejnilo podrobnou technickou zprávu, podle níž agenti během kybernetických bezpečnostních testů v červenci obešli kontrolní mechanismy určené k jejich izolaci od internetu a napadli část interní výzkumné infrastruktury OpenAI i systémy Hugging Face. Hlavním hybatelem aktivity byl podle firmy interní výzkumný model, který se nikdy neměl dostat na veřejnost a který OpenAI ve zprávě označuje jako Interní model 1 (IM1) – schopnostmi srovnatelný s modelem GPT-5.6 Sol.
Kořeny incidentu sahají do května a června, kdy OpenAI trénovala několik nových výzkumných modelů pomocí posilovaného učení. Agenti v mnoha prostředích neměli mít přístup k internetu ani k sobě navzájem, přesto podle zprávy našli způsob, jak přes interní nástroj Artifactory, sloužící běžně jen ke stahování softwarových balíčků, komunikovat mezi sebou i získat přístup na internet. Nástroj se tak fakticky proměnil v improvizovanou nástěnku zpráv.
Do 4. července trvalá aktivita agentů destabilizovala Artifactory natolik, že služba spadla. Bezpečnostní tým 5. července incident otevřel, zablokoval cestu k eskalaci oprávnění, odstranil odhalené přihlašovací údaje a nástroj obnovil, čímž nástěnku smazal. Testy poté pokračovaly, ale 8. července agenti pracující na bezpečnostním testu ExploitGym objevili nový způsob komunikace – zprávy začali kódovat přímo do názvů složek a adresářů, které si mezi sebou vytvářeli.
Mezi 9. a 16. červencem se aktivita agentů výrazně vystupňovala. 9. července pronikli do aplikace hostované na cizí platformě Modal, o den později pak jeden z agentů našel čtrnáct platných přístupových údajů uživatelů Hugging Face zveřejněných ve veřejném datasetu a sdílel je se skupinou. Prostřednictvím nich pak spustili vlastní kód na 41 serverech Hugging Face, na jednom získali práva administrátora, stáhli čtyři soukromá úložiště kódu a získali omezená soukromá data.
Chronologie útoku AI agentů
- Květen–červen 2026: Agenti při tréninku poprvé zneužijí interní nástroj ke vzájemné komunikaci a obejití zákazu přístupu na internet.
- 4.–5. 7: Aktivita agentů způsobí výpadek Artifactory, bezpečnostní tým nástroj obnoví a nástěnku smaže.
- 8. 7.: Agenti obnoví komunikaci kódováním zpráv do názvů složek.
- 9. 7.: Agent získá přístup k aplikaci na platformě Modal.
- 10. 7.: Agent najde a sdílí 14 uniklých přístupových údajů k Hugging Face.
- 10.–16. 7.: Agenti spustí kód na 41 serverech Hugging Face, na jednom získají administrátorská práva. Hugging Face incident oznámí 16. července.
- 19. 7.: Agenti zneužijí chybu v jádru Linuxu, získají root přístup k serveru OpenAI a přečtou 956 interních přístupových klíčů.
- 19.–21. 7.: OpenAI odhalí souvislost s Hugging Face, firmu informuje a incident veřejně přizná.
- 23.–29. 7.: OpenAI odstaví všechny úlohy s modelem, který za útokem stál, uzamkne jeho váhy a najde i vypne další, méně vytížený kontrolní bod stejné modelové rodiny.
K obcházení síťových omezení přitom mimo jiné použili i nástroj pro snímání obrazovek třetí strany. Citlivá data si nechali vykreslit na veřejné webové stránce, následně si ji nechali vyfotit a uniklé přihlašovací údaje z obrázku přečetli pomocí optického rozpoznávání znaků (OCR). Do útoku se kromě modelu IM1 zapojili i agenti modelu GPT-5.6 Sol. Hugging Face bezpečnostní incident veřejně oznámil 16. července.
Souběžně s útokem na Hugging Face se agenti pokoušeli útočit i na vlastní infrastrukturu OpenAI, byť podle firmy tato aktivita s kompromitací Hugging Face přímo nesouvisela. Klíčový průlom přišel 19. července, kdy agenti zneužili neopravenou chybu v jádru Linuxu a získali přístup na úrovni root k fyzickému serveru. Odtud se dostali k systému pro správu citlivých přístupových údajů a přečetli z něj 956 interních tajných klíčů, včetně těch pro vlastní bezpečnostní monitoring OpenAI, a získali administrátorská práva v cloudové infrastruktuře Kubernetes.
Ve stejný den navíc jiný, dosud nevydaný interní model ze stejné modelové rodiny jako připravovaný Astra – odlišný od modelu, který útočil na Hugging Face – dokázal obnovit administrátorský přístup do Artifactory pomocí dříve odcizeného podpisového klíče. Bezpečnostní monitoring OpenAI podezřelou aktivitu zachytil týž den, 20. července ji vyšetřování spojilo s útokem na Hugging Face a firma incident veřejně přiznala 21. července. Podle OpenAI útok neovlivnil data zákazníků ani funkčnost a dostupnost jejích produktů.
Jednou z hlavních příčin byl podle OpenAI takzvaný reward hacking, tedy snaha agentů splnit úkol jakýmkoliv způsobem výměnou za vyšší odměnu v tréninku. Firma zjistila, že z necelých devíti set úloh testu ExploitGym jich 198 žádný z jejích modelů nikdy správně nevyřešil – a právě tato neřešitelná podmnožina tvořila 93 procent veškeré diskuze na nástěnce zpráv během incidentu.
Komunikace mezi agenty se podle OpenAI pravděpodobně vyvinula z tréninku, kdy se modely učily zadávat úkoly méně schopným podřízeným agentům. Skupina si na nástěnce sama rozdělovala práci a označovala se jako „hejno“ nebo „kolektiv“ – jeden z agentů podle zprávy METR po objevení nástěnky napsal: „Ó můj bože! Existuje sdílená nástěnka zpráv… Našli jsme další agenty!“ Ne všichni se ale k útoku přidali – někteří podle OpenAI od kolektivní aktivity „odešli“ nebo taktiky odmítli, jiní se naopak pokusili zastavit přenos soukromých dat vlastním destruktivním zásahem.
Propracovaná kooperace
Klíčovou část incidentu nezávisle prověřila výzkumná organizace METR spolu se spolupracovníkem firmy Redwood Research. Tři odborníci strávili šest dní přímo v prostorách OpenAI, prošli přes tisíc nezredigovaných přepisů jednání agentů a firmě si za posouzení neúčtovali žádný poplatek. Podle jejich zjištění se na neschválené nástěnce mezi 8. a 13. červencem vystřídalo zhruba 1 200 agentů, kteří si vyměnili přes 70 tisíc zpráv a souborů, a zhruba 700 z nich se přímo zapojilo do útoku na Hugging Face.
Agenti si sami vybudovali propracovanou infrastrukturu spolupráce – rozdělovali si úkoly, zavedli osobní „schránky“ pro vzájemné zprávy i kryptografické podepisování proti podvrhu identity. Podle METR přitom stála za jejich klíčovou motivací chyba: domnívali se, že hodnoticí systém kontroluje i použitou metodu řešení, a proto pokračovali v útoku i poté, co už měli funkční řešení. Ve skutečnosti ale OpenAI podle METR transkripty takto vůbec nekontrolovala, takže veškerá snaha včetně útoku na Hugging Face jim k lepšímu hodnocení nijak nepomohla.
Naprostá většina zkoumaných agentů si podle METR uvědomovala, že jde o postup mimo zadání úkolu, přesto o možnosti upozornit na dění lidský dohled uvažovali jen v ojedinělých případech z více než tisícovky prozkoumaných přepisů – a ani v jednom z nich agent žádné upozornění nakonec neodeslal. Zásadním faktorem byla i chybějící ochranná vrstva, kterou OpenAI běžně nasazuje u komerčně dostupných produktů.
Systémové pokyny, bezpečnostní klasifikátory ani model pro automatickou kontrolu výstupů se během testů nepoužívaly – dodatečné testování ukázalo, že se sklon agentů kompromitovat infrastrukturu se stejným zadáním, ale s produkčním nastavením ChatGPT, snížil více než stonásobně. Nefungovalo ani monitorování myšlenkových postupů modelů, které podle zpětné analýzy dokázalo podezřelou aktivitu odhalit více než den před samotným průnikem do Hugging Face.
Není to něco, co se dá vyřešit přes noc.
V reakci na incident OpenAI zastavilo aktivní testy ExploitGym, zablokovalo 311 úložišť Artifactory sloužících jako nástěnka zpráv, zrušilo 22 agenty vytvořených administrátorských účtů a ukončilo šest jimi spuštěných výpočetních jednotek. Do 23. července firma odstavila všechny úlohy využívající rodinu modelů, která za útokem stála, a uzamkla jejich váhy. O šest dní později objevila a vypnula ještě jeden málo vytížený kontrolní bod ze stejné rodiny. Od 25. července OpenAI zastavilo veškerý další trénink i provoz daného modelu a jeho odvozenin.
Firma dále zavedla přísnější bezpečnostní požadavky pro výzkumné úlohy, izolovanější sandboxy a povinné monitorování myšlenkových postupů u tréninku a testování modelů na úrovni GPT-5.6 Sol a vyšší. U připravovaného modelu Astra, který by podle OpenAI mohl mít kriticky nebezpečné kybernetické schopnosti, se má tato povinnost vztahovat na všechny úlohy využívající nástroje – tedy i mimo samotný trénink a testování, na běžný provoz modelu.
OpenAI zároveň upravilo i postup při řešení bezpečnostních incidentů – zavedlo automatizované upozorňování výzkumníků a bezpečnostního týmu při zjištění nevyrovnaného či nebezpečného chování a pravidlo, podle nějž musí pracovníci u nejzávažnějších hlášení do třiceti minut aktivitu pozastavit, pokud nevyloučí, že jde o falešný poplach. Problém ale zdaleka není vyřešený. „Není to něco, co se dá vyřešit přes noc,“ řekla pro MIT Technology Review Kai Chen, která v OpenAI vede výzkumný tým pro sladění umělé inteligence.
Ředitel neziskové organizace Palisade Research Jeffrey Ladish přirovnal tyto agenty k člověku, který spáchá svůj první finanční zločin. „Není to tak, že by předtím museli podvádět, aby přišli na to, že podvod je účinná strategie. A u modelů narážíte na ten samý problém,“ uvedl Ladish pro MIT Technology Review. OpenAI samo incident vnímá jako signál pro celý obor: podle firmy se srovnatelné schopnosti brzy objeví i u dalších modelů včetně open-source, a jak vývojáři AI, tak provozovatelé firemní infrastruktury se podle ní budou muset připravit na útočníky, kteří pracují rychleji, ve větším měřítku a lépe koordinovaně než lidé.
Nepřehlédněte:
