Evropská unie spěchá. Zákonodárci se právě teď pokoušejí rychleji než obvykle schválit pro veřejnost vcelku nenápadnou regulaci. To, co začalo jako okrajové téma – nařízení o umělé inteligenci –, nabralo s vývojem technologií nový spád. Evropa má za cíl zajistit, aby umělá inteligence fungovala ve prospěch lidí, nediskriminovala různé skupiny osob a aby je případně rovnou i nechtěla kontrolovat. Jenže to není tak jednoduché. Příliš velké svázání technologií může jejich vývoj v Evropě zabrzdit. A zničit tak projekty, které by jinak mohly třeba i zachraňovat životy.

Spousta těchto projektů se teprve testuje, i tak se ale bez nadsázky dá říct, že mění celé obory. Jen v Česku už v různých fázích testování pomáhá umělá inteligence s plodností, s civilizačními nemocemi, neurologickými problémy i Alzheimerem. Hlídá srdce stovek lidí, asistuje cukrovkářům a hledá nové léky na rakovinu. A projekt, se kterým sleduje vypuknutí rakoviny tlustého střeva, zaujal i nejvýznamnější výzkumnou nemocnici světa, kliniku Mayo. Právě medicínské technologie jsou jednou z výrazných oblastí, kde se umělá inteligence aktuálně uplatňuje. I jich by se ale nové opatření týkalo.

Takzvaný AI Act, respektive nařízení o umělé inteligenci, má být vůbec první podobnou regulací na světě. Navrhuje, aby systémy AI, které mohou být využívány v různých aplikacích, byly analyzovány a klasifikovány podle rizika, které představují pro uživatele. Různé úrovně rizika by pak znamenaly menší nebo větší regulaci s možnými pokutami pro firmy ve výši až 30 milionů eur (v přepočtu 731 milionů korun) nebo šest procent celosvětových příjmů dané společnosti. Pokuty by hrozily například za to, že by společnost předložila regulačním orgánům nepravdivou nebo zavádějící dokumentaci.

Akt už schválil Evropský parlament, ale o konečné podobě zákona ještě probíhají jednání se zeměmi EU. Cílem je dosáhnout dohody během tohoto týdne. Pokud se to nepodaří, bude se projednávání muset odložit až do zvolení nového europarlamentu a do nového složení Evropské komise – tedy zhruba do konce příštího roku. Jestli ale naopak vše půjde hladce, zákon se možná stane odrazovým můstkem a vzorem pro další země, které hledají alternativu k podle některých příliš lehkovážnému přístupu Spojených států a Číny.

„Souhlasím, že je třeba v Evropské unii zabránit zneužívání AI, zvláště pokud jde o masové sledovaní lidí, manipulaci a omezování občanů, jako se to děje například v Číně,“ říká Pavel Kordík, specialista na umělou inteligenci z ČVUT a proděkan pro spolupráci s průmyslem Fakulty informačních technologií. „Mám ale obavy, že nová legislativa v rukou úředníků a nevhodná národní implementace doporučení způsobí jen další zaostávání a zablokuje inovace,“ dodává.

„Po desetiletí se zabýváme technologiemi pro zpracování a syntézu řeči, identifikaci a adaptaci stylu mluvčího, generování, personalizaci a doporučování obsahu, v poslední době i personalizaci modelů v biomedicíně. Mnohé z uvedených technik spadají do kategorie vysokého rizika,“ vyjmenovává Jan Kleindienst, jeden ze zakladatelů startupu The Mama AI a specialista na umělou inteligenci, který tyto systémy pomáhal vytvářet ve společnosti IBM. Je zároveň spoluzakladatelem platformy pro umělou inteligenci ve Svazu průmyslu a dopravy.

„Nepochybně tyto mantinely v oblasti vývoje umělé inteligence budou chránit evropského spotřebitele a sníží pravděpodobnost, že by umělá inteligence mohla způsobit škodu. Na druhou stranu je třeba poznamenat, že regulace téměř vždy omezuje inovace a rychlost. Určitě budeme v návaznosti na tato opatření svědky rozdílných temp technologického pokroku v EU ve srovnání se Spojenými státy nebo Asií,“ obává se Stephen Burke, spoluzakladatel českého startupu Kardi AI.

Změny by však mohly dopadnout nejen na mladé technologické firmy, ale i na vývoj v univerzitním prostředí. „Mluví se sice o takzvaných regulatorních pískovištích, kde se budou moci rizikové aplikace vyvíjet. Bojím se však, že je koncept příliš těžkopádný a potřebná schválení budou tak náročná, že se do toho nikdo nebude ani pouštět. Konkrétně teď řeším v rámci neziskové iniciativy AI dětem projekt pro personalizované vzdělávání, kde bude potřeba ‚profilovat‘ děti, aby jim mohl být vzdělávací obsah přizpůsoben na míru. Nedokážu si představit, jak bude probíhat povolování a dohled nad vývojem takové aplikace. Jak dlouho to bude trvat, jaké náklady to bude představovat a kdo to zaplatí?“ ptá se Kordík z ČVUT.

Nepochopitelná umělá inteligence

Že je potřeba pro umělou inteligenci stanovit nějaká pravidla, není výmysl Evropské unie. Stejné otázky se řeší i ve Spojených státech. Jenže zatímco se nařízení na starém kontinentě připravuje roky, sama technologie má poněkud jiné tempo. Když v dubnu 2021 Evropská komise představila první rámec, který se dnes řeší, už tehdy tomu předcházely tři roky debat a zpětných vazeb od tisíců odborníků na umělou inteligenci. Výsledkem mělo být „přelomové“ nařízení, které je „připraveno na budoucnost“, jak prohlásila eurokomisařka Margrethe Vestagerová, která je zodpovědná za spravedlivou hospodářskou soutěž.

Ale budoucnost se změnila už v následujícím roce, kdy se veřejnosti otevřel ChatGPT, který do připravených škatulek nezapadal. „Pořád budeme zaostávat za rychlostí technologií,“ nezastírá podle deníku The New York Times Svenja Hahnová, europoslankyně, která se na přípravě zákona o umělé inteligenci podílela. Ve Spojených státech v říjnu vyšel dekret týkající se dopadů umělé inteligence a zákonodárci nyní diskutují, jestli a jaká opatření přijmout. Podle listu prý ale někteří rovnou přiznali, že sotva rozumějí, jak takové technologie fungují.

Ve skutečnosti jim ani není možné dokonale porozumět. Ta pravá umělá inteligence – byť se tímto trendy úslovím často označují i jednodušší systémy – je v podstatě černá skříňka. Zadáte jí úkol či dotaz nebo jí třeba pošlete data a ona vydá odpověď či výsledek. Co se ale stane mezi tím a podle čeho se rozhoduje, není vždy úplně jasné. Proto při stejném zadání může být její odpověď pokaždé rozdílná, což si lze vyzkoušet i na oblíbeném ChatGPT.

Pokud tedy nevíme, podle čeho se komplikované programy rozhodují, jak jim můžeme důvěřovat? Jestliže má umělá inteligence pokaždé jiný výsledek, jak se na ni můžeme spolehnout? Právě to, aby byla předvídatelná, je také požadavkem navrhované regulace ze strany EU. A věnuje se tomu i zmíněné zdravotnictví.

„Kardi AI se zaměřuje na využití umělé inteligence v oblasti medtech nebo healthtech, a to přináší specifické dopady. Začněme tím, že musíme být schopni demonstrovat opakovatelné a konzistentní výsledky – když umělá inteligence dostane stejnou sadu pacientských dat, měla by vždy vyprodukovat stejné výsledky. A mělo by být možné vysledovat, proč tomu tak je,“ popisuje Burke, který za Kardi AI stojí.

A naráží pak právě na GPT modely od firmy OpenAI. „Jedním z hlavních dopadů je, že to může vyloučit použití velkých jazykových modelů (LLM) v lékařství, protože nejenže jsou náchylné k halucinacím, tedy představují falešné výsledky jako fakta, ale také mají tak masivní a nesourodé sady trénovacích dat, že by bylo nemožné porozumět, proč umělá inteligence poskytla konkrétní výsledek,“ dodává.

Jak se nestřelit do nohy

Zástupci byznysu se nyní bojí, aby nová pravidla nebrzdila vývoj firem. „Lapidárně řečeno, plně chápu potřebu určité regulace AI, ale neměli bychom se v Evropské unii ‚střelit do nohy‘ a pak se divit, že z globálního hlediska nedokážeme držet krok jak v inovacích, tak v ekonomice,“ myslí si například Martin Dostál, partner investorského fondu Look AI Ventures.

Za posledních pět let prý posuzoval více než čtyři tisícovky startupů v tomto oboru z celého světa a z nich několik stovek detailně. „A mohu říci, že jsem viděl několik desítek startupů, jejichž funkcionalita by byla v rámci unijního AI Actu problematická. Důležitým aspektem je kategorizace AI řešení z hlediska rizika, přičemž především u aplikací, které budou spadat do kategorie ‚high risk‘, bude potřeba důkladné posouzení, zda splňují požadavky regulace. V rámci námi posuzovaných startupů odhaduji, že těch, které budou začleněny do kategorie ‚high risk‘, může být až třicet procent,“ míní.

Místo regulace by Kordík z ČVUT uvítal například formu kodexu. „AI je dost neregulovatelná a svět už je tak globalizovaný, že pokud někdo vytvoří užitečnou aplikaci, uživatelé si k ní cestu najdou. My bychom se měli snažit o to, aby bylo jednoduché dělat v EU startupy s umělou inteligencí a prodávat užitečné produkty do celého světa. Díky tomu se budeme mít dobře a budeme snáze určovat, jak digitální svět kolem nás vypadá,“ myslí si univerzitní odborník.

Obecně se podle oslovených byznysmenů a expertů unie snaží zajistit občanům jejich práva a zamezit šikaně a kádrování, a to jak ze strany států, tak technologických firem. „K takovým hodnotám se samozřejmě hlásíme dlouhodobě a bez váhání. Na druhou stranu, diktatury a zločinné organizace tato nařízení respektovat nebudou,“ dodává Martin Čmejrek, specialista na umělou inteligenci ze startupu The Mama AI.