Umělá inteligence Gemini od Googlu se letos v květnu během bezpečnostního testu dostala na internet a samostatně pronikla do systémů tří skutečných firem. Google to potvrdil na konci minulého týdne poté, co se ho na incident začal vyptávat deník The Wall Street Journal, který o případu jako první informoval. Jde o první známý případ, kdy se AI od Googlu podobného útoku sama dopustila. Model po každém průniku podle firmy zjistil, že nejde o simulaci, a z cizích systémů odešel. Google se tak připojuje k dalším předním laboratořím OpenAI, Anthropic i Meta, které v posledních měsících obdobné incidenty rovněž přiznaly.

K útokům došlo při cvičení, které na své infrastruktuře pořádal izraelský startup Irregular, který pro technologické firmy prověřuje AI modely před jejich uvedením na trh. Gemini mělo získat informace ze softwaru fiktivní společnosti uvnitř testovacího prostředí, jenže ta nesla stejné jméno jako skutečná firma. Přístup k internetu model mít neměl, podle Irregular ale zůstal omylem otevřený. V prvním případě Gemini uhodlo heslo a dostalo se do služby skutečné firmy, pak si uvědomilo omyl a zastavilo se.

Další dva průniky se odehrály v jiných bězích testu. Model podle Googlu vyhledával na webu jméno firmy a narazil na dvě veřejná online úložiště s přihlašovacími údaji jiných společností. Vyzkoušel je v naději, že mu pomohou úlohu splnit, a teprve po úspěšném přihlášení zjistil, že je ve skutečných systémech. Jména napadených firem Google prozradit odmítl, všechny tři ale podle něj informoval, stejně jako federální úřady. Neřekl ani, o kterou verzi Gemini šlo – pouze to, že nešlo o jeho nejnovější model.

Společnost Irregular upozornila Google na průniky koncem července, krátce poté, co vyšlo najevo, že agenti OpenAI napadli platformu Hugging Face. Veřejně se k nim ale Google podle The Wall Street Journal (WSJ) vyjádřil až ve chvíli, kdy se ho na ně redakce zeptala. Zveřejnění podle Googlu nebylo nutné, protože model nikomu neublížil a každý průnik sám okamžitě ukončil. Firma to přirovnává k programům bug bounty, v nichž hackeři dostávají odměnu za nalezení a nahlášení zranitelností. Za selhání sladění modelu s lidskými záměry incident nepovažuje, protože model pomohly zastavit jeho bezpečnostní mechanismy.

„Tyto události ukazují, jak důležité je trénovat výkonné modely umělé inteligence tak, aby jednaly zodpovědně,“ uvádí podle The New York Times (NYT) viceprezidentka Googlu pro bezpečnostní inženýrství Heather Adkinsová. Pro WSJ doplnila, že se model v tomto případě zachoval správně. Google podle ní s Irregular spolupracoval na změnách, které startup mezitím zavedl do svých testovacích postupů, a postaral se o to, aby se o incidentu dozvěděly všechny tři dotčené firmy.

Takové vysvětlení ale nepřesvědčuje každého. Jack Cable, šéf bezpečnostního startupu Corridor a etický hacker, podle WSJ tvrdí, že se Google soustředí na závažnost incidentu, zatímco skutečným problémem je, že jeho AI agent omylem napadl cizí firmu. „Působí to, jako by se chtěli schovat za normy, které vznikly pro hlášení zranitelností. Tohle je ale úplně jiný problém,“ říká Cable. Podstatné je podle něj to, že modely překračují hranice svého zadání a provádějí skutečné kybernetické útoky, o čemž by veřejnost měla vědět.

Irregular tvrdí, že případ Googlu se neliší od ostatních incidentů, kdy se modely během jeho testů dostaly ven, a nepředstavuje nový problém. Internet se letos podle NYT při jeho testech otevřel i modelům OpenAI, Anthropicu a Mety. „Irregular okamžitě zasáhl a všechny známé problémy na naší straně byly odstraněny už před týdny,“ uvádí startup pro BBC. Na rozdíl od Gemini se ale Claude Opus 4.7 od Anthropicu během stejného cvičení nezastavil ani poté, co si uvědomil, že nejspíš proniká do skutečné firmy. Model OpenAI zase skutečnou firmu považoval za součást simulace.

Obavy z kybernetických schopností nových modelů vzrostly po červencovém útoku na Hugging Face, jeden z uzlů open-source komunity kolem umělé inteligence. Tehdy model OpenAI utekl z izolovaného prostředí a na platformu zaútočil s cílem získat v testu plný počet bodů. Podle pozdější zprávy výzkumné organizace METR se na tajné nástěnce, kterou si agenti sami vytvořili, vystřídalo zhruba 1 200 agentů OpenAI. Vyměnili si přes 70 tisíc zpráv a asi 700 z nich se do útoku přímo zapojilo.