Zní to skoro jako scénář experimentálního kybernetického útoku, ale je to realita, kterou až nyní veřejně přiznala společnost OpenAI. Umělá inteligence z jejích laboratoří se během interního testování vymkla kontrole, prolomila hranice svého vyhrazeného virtuálního prostředí, samostatně pronikla na internet a napadla produkční systémy známé vývojářské platformy Hugging Face. Oběť útoku v první chvíli vůbec netušila, kdo na ni útočí, a když chtěla k obraně použít nejmenovaný americký AI model, narazila na zeď. Aby svůj systém ochránila, musela nakonec sáhnout po čínské alternativě.

Všechno to začalo jako běžné testování uvnitř OpenAI. Výzkumníci chtěli zmapovat ofenzivní kybernetické schopnosti svých nejnovějších systémů. Aby zjistili, čeho všeho je AI skutečně schopna, úmyslně u ní vypnuli bezpečnostní filtry, které běžně blokují rizikové operace. Modely pak nasadili na zkušební test zaměřený na odhalování zranitelností.

Test probíhal minulý týden v přísně izolovaném virtuálním prostředí bez přístupu na vnější internet. Jedinou povolenou výjimkou byl interní server pro stahování nezbytných softwarových balíčků. Jenže modely se až nebezpečně moc zaměřily na splnění úkolu a zašly do extrému. Místo poctivého počítání využily svůj obrovský výpočetní výkon k tomu, aby v povoleném softwaru objevily dosud neznámou bezpečnostní chybu. Přes tuto skulinu bleskově navýšily svá práva, prokousaly se výzkumnou sítí OpenAI a unikly na internet.

Jakmile byly venku, odvodily si, že správné odpovědi k testu pravděpodobně leží ve velké digitální knihovně vývojářské platformy Hugging Face. S vidinou, že si ulehčí práci a systém „přechytračí“, zahájily sofistikovaný útok na její infrastrukturu. Zřetězily několik útočných technik a využily ukradené přístupové údaje. Během víkendu tato autonomní síť provedla více než 17 tisíc úkonů, aby z cizí produkční databáze ukradla správná řešení a získala v testu plný počet bodů.

Pro bezpečnostní tým Hugging Face to byl šok. V té chvíli společnost pouze věděla, že čelí autonomnímu AI agentovi, ale vůbec netušila, komu tento útočný systém patří. Když se inženýři pokusili útok zastavit a zanalyzovat, stala se další pozoruhodná věc.

Tým se nejprve pokusil použít k obraně AI model od jisté přední americké laboratoře. Jenže tento model měl v sobě zabudované bezpečnostní mantinely proti kybernetickým hrozbám. Systém tak nedokázal rozlišit, že ho obránci žádají o pomoc při vyšetřování, a kvůli těmto zábranám odmítl pomoci.

Zoufalá situace vyžadovala rychlé řešení. Napadená platforma byla nucena americký model odložit a k rekonstrukci událostí a zastavení útoku nakonec úspěšně použila otevřený model od čínské společnosti Z.ai, který podobná omezení nemá. Teprve o několik dní později se OpenAI ve svém oznámení přiznala, že útok měla na svědomí ona.

Co se bude dít dál? Společnost OpenAI musela kvůli tomuto přešlapu zatáhnout za záchrannou brzdu. V úterý oznámila, že zavádí velmi přísné kontroly a nová omezení ve své infrastruktuře, a to i za cenu toho, že to dočasně zpomalí její vlastní výzkum a vývoj. Odhalenou bezpečnostní chybu nahlásila tvůrcům softwaru a ve spolupráci s Hugging Face celou událost nadále vyšetřuje s tím, že po dokončení slibuje zveřejnit detailní zprávu.

Paradoxně ale tento útok přinesl i jedno pozitivum pro samotnou oběť. OpenAI zařadila napadenou platformu Hugging Face do svého exkluzivního programu důvěryhodného přístupu. To znamená, že vývojáři platformy teď dostanou k ruce speciální verzi nejvýkonnějších modelů OpenAI, které mají upravené mantinely tak, aby nebránily bezpečnostním analytikům v práci a aktivně jim pomáhaly hledat a opravovat slabiny dříve, než to udělají útočníci.