Kdo viděl Terminátora, tak si určitě živě vybaví scénu, kdy umělou inteligencí pohánění roboti vítězí nad lidskou rasou a celý svět se ocitá v plamenech. Přesně takovému scénáři se nyní snaží zabránit Evropská unie. Na konci dubna totiž publikovala návrh nařízení, který harmonizuje pravidla týkající se umělé inteligence a zaměřuje se hlavně na její risk management.

O tom, co pro celý sektor s umělou inteligencí nový návrh znamená, píše ve svém komentáři pro CzechCrunch Jaroslav Menčík, partner advokátní kanceláře Mavericks, která se zaměřuje převážně na digitální byznys a pravidelně pomáhá startupům.

***

Co přesně navrhované nařízení ze strany Evropské unie pro sektor umělé inteligence (AI) znamená? Třeba i to, že nechce kráčet ve šlépějích Číny a jejího „velkého bratra“. Cílem návrhu je vytvořit komplexní úpravu pro umělou inteligenci a její provozovatele. Měla by se týkat systémů založených v Evropské unii, uživatelů umělé inteligence na území EU a provozovatelů a uživatelů AI systémů, kteří se nacházejí ve třetích zemích, pokud budou mít vliv na entity v Evropské unii.

V současné době je návrh nařízení v plenkách, čeká ho dlouhá cesta legislativním procesem Evropské unie a není zcela jasné, jakou finální podobu bude mít. Základy jsou však položeny. Na čem se tedy staví? Vypadá to, že provozovatelé by si měli dát především pozor na vysoce rizikové AI systémy.

Ty jsou provozovány zejména v klíčových oblastech, jakými jsou například doprava, biometrická identifikace, výchova a vzdělávání, zaměstnanost, právo, soudnictví či demokratické uspořádání. Podle nového návrhu by měla umělá inteligence v těchto oblastech obsahovat risk management, který bude posuzovat celý životní cyklus systému, a proto pomůže odvrátit případná rizika.

Zde však navrhované povinnosti nekončí, vysoce rizikové AI systémy budou podléhat i dalším omezením, jež se týkají práce s daty, jejich správy či technické dokumentace. Výrobci musí doložit, že systém je vytvořen v souladu s návrhem nařízení, a jeho provozovatel musí notifikovat splnění těchto požadavků vnitrostátním orgánům.

Pro další zajištění bezpečnosti bude nutné opatřit umělou inteligenci automatickým záznamovým systémem, který prostřednictvím logů umožní sledovat, jestli se umělá inteligence chová v souladu s legislativou. Neméně významnými a potřebnými jsou také požadavky kladené na transparentnost, poskytování informací uživatelům a také dohled, přesnost, robustnost a kyberbezpečnost vysoce rizikových AI systémů.

Pokuty jsou obrovské

Mimo splnění výše uvedených požadavků bude nutná také povinná registrace, která musí předcházet jejich uvedení na trh nebo v provoz. Za registraci jsou odpovědné firmy, které systém zaregistrují v evropské databázi pro samostatné vysoce rizikové AI systémy.

Mezi zapisované údaje se řadí jméno, adresa a kontaktní údaje provozovatele, obchodní jméno AI systému nebo jakákoliv jiná informace, která umožní jeho jasnou identifikaci, popis zamýšleného účelu užití a uvedení členského státu, ve kterém byl AI systém umístěn na trh nebo uveden v provoz.

Aby toho nebylo málo, tak některé kritické systémy, jimiž jsou například ty v oblasti biometrické identifikace a kategorizace fyzických osob, vzdělávání či zaměstnanosti, budou vyžadovat posouzení fungování v mezích zákona. O posouzení bude nutné požádat pověřený státní orgán. Ten na základě důkladného šetření rozhodne, jestli je umělá inteligence navržena tak, aby splňovala všechny zákonné podmínky.

V současné podobě návrh počítá s citelnými sankcemi. Ty nejvyšší vypadají takto: pokud subjekt nedodrží povinnosti spojené s zakázanými AI systémy či správou dat, hrozí mu pokuta ve výši až 30 milionů eur (760 milionů korun). V případě, že se jedná o podnik, pak sankce činí 6 procent ročního obratu za předchozí fiskální rok.

Vždy se pracuje s vyšší částkou, jsou to tedy sankce velice vysoké. Například i v porovnání s pokutami za porušení nedávného nařízení ohledně GDPR. Ty jsou až 20 milionů eur (přes 500 milionů korun) či 4 procenta ročního obratu.

Co je podle EU vlastně AI?

Návrh nařízení považuje za umělou inteligenci jakýkoliv software, který využívá strojové učení (machine learning), induktivní logické programování, statistické přístupy či Bayesův odhad. Poslední zmíněná funkce umělé inteligence dokáže generovat například různé předpovědi, doporučení nebo rozhodnutí ovlivňující prostředí, s nimiž systém interaguje.

Systémy se člení do čtyř skupin: na zakázané (s možnými výjimkami), vysoce rizikové, systémy s omezeným rizikem a na ty s minimálním rizikem. Již dnes lze předpokládat, že jedním z aspektů, které by v souvislosti s přijetím návrhu měly být řešeny, je otázka povinného pojištění pro vysoce rizikové AI systémy. Tu však návrh nařízení dle našeho názoru nesystematicky opomíjí.

Systémy založené na umělé inteligenci jsou určitě budoucností, ale mohou být opravdu nebezpečné, ať už v důsledku opomenutí nějakých důležitých skutečností či jejich úmyslného porušení. Jejich tvorba i používání musí podléhat přísným opatřením, protože jen tak se může dosáhnout jejich bezproblémového začlenění mezi technologie používané v současnosti.

Nikdo z nás si určitě nepřeje válku proti strojům. Co je tedy trocha složitého právního žargonu oproti technologickému armagedonu?