Regulovat, či neregulovat? To je debata, která teď běží světem umělé inteligence a budí velké vášně. Je možné, že nás jednou kvůli vyspělé umělé inteligenci ovládnou roboti, jak občas tvrdí Elon Musk? Nebo se není čeho bát a můžeme nechat inženýry u počítačů dělat s potenciálně nebezpečnou technologií doslova psí kusy?

Jedním z předních českých expertů v oboru umělé inteligence je Jan Romportl, který celou debatu bedlivě sleduje. Jeho názor je jasný: umělou inteligenci je třeba vhodným způsobem regulovat a v rozsáhlém komentáři pro CzechCrunch předkládá důvody, proč má nedávno představené Nařízení o evropském přístupu k umělé inteligenci z pera EU potenciál být tím správným krokem.

„Umělá inteligence je na tom z hlediska rizikovosti zhruba podobně jako třeba syntetická biologie, jejímž cílem je zkonstruovat zcela nové organismy a formy života. A asi by nikdo nechtěl, aby taková oblast zůstávala úplně bez dohledu,“ uvádí jeden z příkladů, proč by měla být také umělá inteligence regulována, kybernetik, filozof a ředitel centra umělé inteligence O2.

Zároveň Jan Romportl dodává: „Přál bych si, aby celá AI komunita konstruktivně dávala na stůl své konkrétní návrhy, jak Nařízení opravit, upravit a vylepšit. A aby na druhé straně bruselští úředníci tyto konkrétní návrhy vyslyšeli a zajistili jejich fundované zapracování.“

***

Na jednom ze svých pověstných seminářů k přirozenému a umělému myšlení řekl před lety Ivan M. Havel velmi trefný výrok: „Jedním z největších problémů umělé inteligence je, že vůbec nevíme, co je to umělý, ani co je inteligence.“ Tehdy jsem si ještě trochu naivně myslel, že má-li umělá inteligence (AI) někdy skutečně proniknout do přirozeného světa a usadit se v něm, tak to bude až v momentě, kdy budeme vědět, co skutečně AI vlastně je.

Spletl jsem se. Pár let nato totiž konečně přišly relativně dobře fungující hluboké neuronové sítě (tedy deep learning) a aplikovaná umělá inteligence si začala připisovat historicky první reálné komerční úspěchy.

Další raketový růst a přetavení AI z „trochu okrajového vědeckého oboru s lehkým sci-fi šmrncem“ (stav před rokem 2010) na „veleúspěšný komerčně-technologicko-marketingový hype“ (stav od roku 2015 dodnes) s sebou přinesl neuvěřitelný technologický rozvoj umělé inteligence, bezprecedentní spojení AI systémů s mnoha úrovněmi individuálního i společenského života, neuvěřitelně zajímavé a inovativní projekty, ale také slušné vytěsnění té původní otázky po podstatě umělé inteligence.

Ta zůstala relevantní jen pro pár neškodných bláznů z univerzit. Většina ostatních z nárazově přifouknuté „nové AI komunity“ měla zcela jasnou odpověď: „Umělá inteligence je přece to, co tady teď všichni děláme.“

Tak se stalo, že umělá inteligence je dnes víceméně beztvará nálepka, kterou přilepíte klidně i třeba na starou dobrou logistickou regresi nebo sto padesát pracně napsaných IF-THEN podmínek, jen abyste zvýšili šanci, že uspějete u investorů. Naproti tomu se AI také stala zástupným všeobjímajícím symbolem společensky sdíleného rozechvění z nejasné a nepředvídatelné budoucnosti a toho, co do ní vnesou miliardy globálně pospojovaných počítačů.

To je všechno celkem v pořádku. Ale stále jsme si neujasnili, co skutečně umělá inteligence je. Co je to za šelmu, kterou postupně vytváříme, probouzíme a neoddělitelně napojujeme na naše životy, a jak jí vůbec poznáme. Vadí to, že to nevíme?

Po většinu času nevadí. Rozhodně ne v aplikované umělé inteligenci. Až do momentu, kdy se rozhodneme AI právně regulovat. Pak nám totiž celá dekáda vytěsňování otázky Ivana M. Havla začne dost citelně chybět.

Většině kritiků vadí, že Nařízení o AI vůbec existuje

Tady se konečně dostáváme k nedávno zveřejněnému návrhu Nařízení o evropském přístupu k umělé inteligenci, zkráceně Nařízení o AI. Cílem návrhu je vytvořit komplexní úpravu pro umělou inteligenci a její provozovatele. Měla by se týkat systémů založených v Evropské unii, uživatelů umělé inteligence na území EU a provozovatelů a uživatelů AI systémů, kteří se nacházejí ve třetích zemích, pokud budou mít vliv na entity v Evropské unii.

Velká část výhrad proti Nařízení se opírá o samotný fakt, že Nařízení vůbec existuje. V tomto smyslu se pak výhrady orientačně rozdělují na dvě skupiny, jež bychom mohli parafrázovat takto:

1. AI žádné regulace vůbec nepotřebuje. Tuto skupinu můžeme dále dělit na:
   1. AI je a nadále bude tak neschopná, že ani nic hrozného způsobit nemůže. Proto ať si s ní každý dělá, co chce.
   2. AI je super, má velký (či dokonce přelomový) potenciál, ale doteď nic hrozného nezpůsobila, takže to tak bude i nadále. Všichni výrobci AI systémů budou mít sami od sebe dostatečnou vnitřní seberegulaci i etické standardy. Všichni uživatelé AI budou dostatečně poučení, vzdělaní, inteligentní a dobromyslní. Pokud se něco přece jen semele, tak to nevadí, protože „nešikovné maso musí pryč“. A zbytek s trochou štěstí uřídí pověstná „neviditelná ruka“.
2. Záměr Nařízení je víceméně chvályhodný, způsoby vytváření a používání AI bychom do určité míry regulovat měli, ale z právního a systémového hlediska na to Nařízení jde špatně. Už teď máme dostatečný právní rámec pro vše, co kolem AI potřebujeme regulovat (od Charty základních práv EU až po GDPR), jen nám dost drhne procesní stránka věci a vymahatelnost. Další „zahuštění právní hmoty“ novým Nařízením to ještě zhorší, protože jen zvýší tu procesní zátěž a sníží právní jistotu. EU by místo Nařízení měla v tomto vyřešit jiné, fundamentálnější věci.

Osobně se k výhradám spadajícím pod skupinu (1a) příliš vyjadřovat nebudu. Charakterizoval bych se jako „značně poučený umírněný techno-optimista“, takže základní premisu této výhrady rozhodně nesdílím. Spíše je tedy zajímavé a skoro úsměvné sledovat, jak se o tuto premisu opírají leckteří techničtí lidé přímo z vývojářské komunity kolem umělé inteligence a strojového učení.

Nabízí se totiž otázka, proč potom vůbec v té komunitě jsou a na vývoji AI se podílejí, když k předmětu své činnosti mají takový macešský vztah… Ale ono spíše jde o specifickou defenzivní racionalizaci vycházející z podvědomého strachu, že by jim někdo zvenku mohl najednou začít „kecat“ do jejich technického světa, na který jsou ve skutečnosti pyšní až do hloubi svého většinou dobromyslného srdce.

A ano: je naprostá pravda (a všichni AI insideři to vědí), že reálné schopnosti dnešní umělé inteligence jsou daleko za tím, co pomýleně předpokládá ekonomicko-společenský hype. Je také pravda, že je nesmírně těžké vytvořit jakýkoli systém strojového učení tak, aby byl opravdu prakticky a ekonomicky využitelný a překročil dost důležitý stín Paretova principu 80/20.

Dnešní AI však není zítřejší AI a všichni tak nějak už víme, že v nedaleké budoucnosti umělá inteligence překoná kognitivní a optimalizační schopnosti člověka v libovolném specificky vymezeném úkolu (nemluvím zde ještě vůbec o tzv. obecné umělé inteligenci, AGI).

Riziko samo od sebe nezmizí

Přejděme tedy k výhradám ze skupiny (1b), které jsou obvykle založeny na vědomé či nevědomé bagatelizaci rizik spojených s AI. To je natolik rozsáhlé a důležité téma, že mu věnujme samostatný článek někdy v budoucnu. Pro teď se spokojme alespoň s takovým hrubším přirovnáním: AI je na tom z hlediska rizikovosti řádově zhruba podobně jako třeba syntetická biologie nebo jaderné technologie.

A teď si představme, že by z profesních lobbistických skupin syntetických biologů zaznívalo: „My žádné regulace nepotřebujeme, akorát nás brzdí a zhoršují naši konkurenceschopnost. Tady se nic špatného nemůže stát, my máme vlastní etické kodexy. A i kdyby se něco špatného stalo, tak si s tím poradíme, dáme to na černou listinu a příště to už nebudeme dělat.“

Předpokládám, že nikdo soudný by toto od syntetických biologů slyšet nechtěl. Pro doplnění: cílem syntetické biologie je zkonstruovat zcela nové organismy a formy života. Spadají nám sem věci jako genetické inženýrství (CRISPR apod.), syntetická imunologie, syntetická genomika, ale i potenciální děsy jako DIY biotech. Chtělo by se říct: „Hmmm… jak by tady mohlo dopadnout něco špatně?“

Většina rozumných syntetických biologů nám však na rozdíl od mnoha rozumných AI inženýrů nic o absolutní nepotřebnosti regulace neřekne. Proč? Představme si to přes tuto metaforu: co je nejzáludnější vlastností covidu? To, že je zprvu tak nenápadný a bezpříznakový. Proto se tolik šíří, a nakonec tolik zabíjí.

Kdyby totiž časté příznaky covidu zahrnovaly například to, že nemocným poteče krev z očí, tak bychom si velmi rozmýšleli, jestli s nimi budeme pít z jednoho brčka v některém z klubů. A zde ta metafora: tvar a dynamika rizika v syntetické biologii je jako nemoc, při které teče krev z očí. Prostě vám nedá na to nemyslet a nevšímat si toho.

Zatímco tvar rizika celé AI domény je jako klasický covid. Je obtížně zahlédnutelné dřív, než se naplno rozvine. Proto dokážou leckteří AI inženýři s nesnesitelnou lehkostí bytí chodit se sdílenými brčky do nočních klubů, a ještě se tím vytahovat.

To mimo jiné napomáhá přeceňování autoregulačních a autocenzurních schopností vnitřní inženýrské etiky jednotlivců uvnitř vývojářské AI komunity. Tedy k přeceňování představy: „Nechme to na AI inženýrech; většina z nich jsou dobří a inteligentní lidé, takže oni sami poznají, co je dobré, a vyvinou odspodu tlak na svoje firmy.“

Ano, průměrný AI inženýr je většinou dobrý a inteligentní člověk, který dokáže zatlačit proti svému zaměstnavateli ve chvíli podpisu podivných zakázek pro armádu nebo tajné služby. Ale průměrný den v životě průměrného AI inženýra vypadá zhruba takto:

„Ach jo, mám málo dat a příliš velkou dimenzionalitu modelu strojového učení. A ještě k tomu jsou ta data v hrozné kvalitě. Zkusil jsem všechno možné, a teprve teď mi to jakž takž nad testovacími daty funguje. Tak pojďme nad tím rychle stavět MVP. Já vím… měl bych ověřit, že to žádnou skupinu uživatelů nediskriminuje… ale vždyť já na to nemám dost dat, navíc to zhorší ještě tu dimenzionalitu… Tak to teď rychle nasadíme do produktu, pěkně to vyzkoušíme v reálu, posbíráme další data, a tu bezpečnost a férovost samozřejmě vyřešíme, ale necháme to na potom… stejně jako dokumentaci.“

Jak to vím? Protože já jsem také takový! A spousta mých kamarádů jakbysmet. Milujeme umělou inteligenci ještě z dob, kdy vůbec nebyla v módě a všichni se jí vysmívali. Strašně moc si přejeme, aby AI už konečně teď uspěla. Aby zase nepřišla pověstná „AI zima“.

Lezou nám na nervy zjednodušující představy dnešních byznysových lidí o tom, jak se AI dělá a jak je to lehké a všemocné. Ale naučili jsme se s tím žít a chceme jim všem ukázat, že dělají dobře, když věří v umělou inteligenci. Takže proto občas při vývoji řízneme zatáčku. Vždyť to potom ještě napravíme… Stačí jeden pořádný úspěch, a pak už pojedeme bezpečně a všechno to doděláme lege artis.

Potřebujeme globální koordinovanou akci

Jenomže ruku na srdce: víme, že v byznysu rozhodně neplatí pravidlo „první úspěch, a pak už klídek neutrál“. Byznys je běh plnou rychlostí a napořád. Takže jakmile tu v nadkritickém rozsahu etablujeme kulturu „řezání zatáček“, je pak velmi obtížné (ne-li nemožné) najít cestu zpět. Nacházíme se totiž ve stavu, který Eliezer Yudkowsky nazývá neadekvátní ekvilibrium.

To je rovnovážný stav, kdy každý aktér individuálně jedná optimálně ve smyslu vlastních cílů – čili nejlépe, jak v daném kontextu může (jakékoli jeho jiné jednání by zhoršilo jeho situaci vůči ostatním). Jde tedy o případ tzv. Nashova ekvilibria. Ale systém jako celek zde má dynamiku směřování takovou, že není v souladu se skutečnými cíli a hodnotami většiny zúčastněných.

To znamená, že se pomalu či rychle sune do velkých problémů (podobně tomu třeba je u závodů ve zbrojení na geopolitické scéně nebo u publikačních závodů na scéně akademické). Jenomže žádný z aktérů s tím sám nemůže nic udělat. Museli by všichni aktéři koordinovaně najednou.

Jinými slovy: k vyklesnutí z neadekvátního ekvilibria je zapotřebí globální koordinovaná akce (třeba v takovém smyslu, jak o ní hovoří Jaan Tallinn, bývalý spoluzakladatel Skypu, nyní investor, filantrop a Efektivní altruista).

A já zde vyřknu troufalou věc: Nařízení o AI je zásadním pokusem o takovouto globální koordinovanou akci, přinejmenším na půdě EU. Je sice pokusem těžkopádným, nedokonalým, nesoucím značný rukopis EU byrokracie; ale pořád pokusem silným, odvážným, průlomovým a velmi důležitým.

Takže jako k takovému bychom se k němu coby AI komunita měli vztahovat – tedy nikoli defenzivně, ublíženě a rovnou zamítavě, ale otevřeně, s respektem a se snahou ho vyladit a proaktivně přiblížit co nejvíce k vysněnému ideálnímu stavu. Protože co si budeme povídat: uplyne ještě hodně vody, než dokážeme globální koordinované akce efektivně provádět zcela decentralizovaně v zero-trust režimu pomocí nějakých nových generací distribuovaných blockchainů.

A do té doby jsou demokratické nadnárodní geopolitické entity typu EU tím nejlepším, co máme. Já vím… není to nic převratně efektivního, ale pořád to je na špici toho, co živočišný druh homo sapiens v oblasti globální koordinace dokázal za celou historii své existence. A to jsme z kosmického hlediska teprve na začátku našeho dlouhodobého potenciálu. Takže trochu trpělivosti a otevřenosti vůči současným těžkotonážním pokusům o globální koordinovanou akci na poli AI by nám mělo jen prospět.

Kritici mají samozřejmě pravdu v tom, že náklady na vytváření bezpečné umělé inteligence budou vyšší. Ale to je úplně v pořádku; stejně jako jsou vyšší náklady na výrobu bezpečných aut, bezpečných elektrospotřebičů a bezpečných budov. A to, že bezpečnost AI je mnohem obtížnější ověřit než bezpečnost elektromotoru, je o jeden velmi pádný důvod více, proč se jako AI komunita musíme bezpečnosti námi vytvářených systémů věnovat.

Jenomže realita je zcela prozaická: když se dnes některý středně velký český subjekt na poli AI a strojového učení rozhodne z vnitřního přesvědčení a vlastního etického kodexu naplno preemptivně řešit bezpečnost a férovost všech svých ML modelů v celé ohromné šíři byznysových implementací, aniž by si to od něho přímo žádal zákon, zákazník či společnost, tak zvyšuje náklady na své straně už nyní. To mu sice drží čistý etický štít, ale zároveň to dost oslabuje jeho konkurenceschopnost.

Takže pokud jiný podobně velký konkurenční subjekt bude o něco dravější a bezpečnostní zatáčky řízne příkřeji, vytlačí ho z řady zakázek čistě jen nižší cenou a vyšší rychlostí implementace. Jsme tedy opět u neadekvátního ekvilibria a nutnosti globální koordinované akce.

Obecnější zákony možná nestačí

Vraťme se však nyní ještě o řadu odstavců výše k oblasti kritiky existence Nařízení ze směru, který jsem označil číslem (2). Tedy ze směru poukazujícího na právní nešikovnost či úplnou nadbytečnost Nařízení. Musím uznat, že na rozdíl od kritiky (1a) a (1b) zní kritika (2) velmi rozumně a důvěryhodně. Pokud by mě mělo něco přesvědčit o skutečné zbytečnosti Nařízení, pak by to mohla být nějaká velmi dobře vedená argumentace právě z tohoto směru.

Ale vnitřně mi něco na této kritice stále nesedí. Bohužel se necítím být dostatečně kompetentní v oblasti teorie a praxe práva, abych zde dokázal opravdu efektivně argumentovat, tak učiním alespoň amatérský pokus. Východiskem kritiky je předpoklad, že práva, která nás chrání před většinou rizik adresovaných Nařízením, už stejně dávno máme přijatá, jen je velmi obtížné či nemožné jejich vymáhání. Evropská unie by tedy měla zlepšit procesy vymahatelnosti, nikoli přidávat nová hmotná práva.

Představme si však, že bychom neměli žádné regulace třeba v potravinářství. Domnívám se, že stále bychom měli k dispozici obecnější hmotná práva, která by teoreticky zajišťovala odpovídající stupeň ochrany lidí a jejich zdraví. Ale přesto bych v takové situaci nechtěl být (a připomínám si to pokaždé, když se vracím z leckteré mimoevropské ciziny).

I kdyby se nějakým zázrakem stalo, že by práva z procesního hlediska byla vymahatelná snadno (což je bohužel utopie, na kterou nemůžeme spoléhat), v praxi by stejně nastával neřešitelný problém komplikovanosti „překladu“ z odborné potravinářsko-věcné roviny „kdo co přesně udělal či neudělal ve výrobním či jiném procesu, co to způsobilo a kdo je za to zodpovědný“ do vyšší roviny poměrně abstraktních konceptů popisujících obecnější práva člověka.

Místo toho tedy máme předpisy, kde je jasně uvedeno, že výrobce potravin musí dodržet to a to, informovat tak a tak, a komunikovat s tím a tím úřadem. Takto nastavená regulace pak působí zejména preventivně, protože nutí celý potravinářský systém pracovat takovým způsobem, který rovnou minimalizuje riziko. A jestliže se u umělé inteligence něco opravdu hodí, tak je to prevence rizika.

Kritici Nařízení z pohledu (2) namítají, že to je všechno velmi pěkné, ale že AI je tak komplexní a obtížně vymezitelná, že přece u ní nemůžeme certifikovat shodu s podmínkami Nařízení tak, jak to děláme u potravin nebo elektroniky. U AI přece nemůžeme jasně určit, zda byly vypsány všechny alergeny či zda přístroj je řádně izolovaný. Takže Nařízení nemá žádný smysl, protože to bude jen formální gumový předpis, který bude zvyšovat právní nejistotu a nikdo se jím nebude umět řídit.

A já říkám přesný opak: právě proto, že AI je tak komplexní, že jí zatím neumíme v obecnosti hodnotit, potřebujeme novou jednotící regulaci, která určuje minimální výši standardu technických, vyhodnocovacích a dalších postupů či povinností, jichž musí subjekt prokazatelně dosahovat, aby mohl umisťovat své AI systémy na trh. A tím by právě mělo být Nařízení o AI. Jenomže nesmí být napsáno jako formální gumový předpis, protože to pak všechno ztratí smysl.

Řadu věcí ještě musíme opravit

Tím se dostáváme k závěrečné části mých úvah: veškeré mé dosavadní skoro až plamenné hájení Nařízení se opírá o jednu extrémně důležitou premisu – Nařízení musí být napsáno opravdu dobře! A jaká je realita?

Upřímně jsem očekával, že to bude mnohem horší. Obecně bych řekl, že k tématu přistupuje dost konstruktivně, a nenašel jsem v něm žádné tyranské a démonické anti-AI pasáže, o jejichž existenci kolují zvěsti v AI komunitě. S mnoha věcmi se také dokážu ztotožnit a celkové vyznění se mi zdá docela rozumné.

Takže chtěl bych, aby bylo nařízení v této podobě přijaté a platné? Nechtěl! Z mého pohledu totiž obsahuje několik věcných a systémových problémů, u nichž bych za žádnou cenu nechtěl, aby se staly závazným předpisem. Nicméně u všech se domnívám, že jsou stále otevřené k diskuzi a řešitelné. A právě to je vlastně tou největší motivací, proč píšu tento text.

Přál bych si, aby celá AI komunita konstruktivně dávala na stůl své konkrétní návrhy, jak Nařízení opravit, upravit a vylepšit. A aby na druhé straně bruselští úředníci tyto konkrétní návrhy vyslyšeli a zajistili jejich fundované zapracování. Bude to nakonec mnohem plodnější než erudovaná snaha celé Nařízení sakumprásk rozstřílet.

Co jsou tedy konkrétně moje připomínky? Níže vyberu ty nejdůležitější a velmi stručně je zdůvodním. Na plnou diskuzi tu určitě není prostor, a také můj seznam zdaleka není kompletní; avšak předpokládám, že s podobnými seznamy svých návrhů by mohla přijít řada dalších lidí z AI komunity, takže společný výsledek by pak mohl být už poměrně kompletní.

1. Nejasnosti kolem testování algoritmické férovosti a ochrany osobních údajů

Jednou z důležitých podmínek je ověření, zda vysoce rizikový AI systém (tj. systém spadající do Nařízením speciálně vymezené high-risk skupiny) nediskriminuje lidi na základě některého z chráněných atributů, jako např. pohlaví, rasa, etnicita, náboženství, zdravotní postižení apod. Toto považuji za naprosto legitimní požadavek.

Myslím, že je plnou zodpovědností nás, AI komunity, poradit si s tím, že mnoho současných empirických trénovacích datasetů je nějakým způsobem zaujatých (např. proti seniorům či ženám v určitých typech zaměstnání, nebo proti etnickým menšinám v různých skóringových aplikacích). Považuji to dokonce za velkou přidanou hodnotu AI: pokud za nějaké situace rozhoduje člověk-rasista, nemáme skoro možnost s tím něco udělat a vede to k lidskému utrpení; ale při troše technické snahy a umu dokážeme AI rasismu „odnaučit“, pokud se ho nějak naučila ze zaujatých trénovacích dat.

Nařízení o AI k tomuto tématu přistupuje poměrně rozumně a ukládá nám tyto povinnosti: musíme zajistit „monitorování, detekci a opravu předsudků (biases)“ a technická dokumentace musí obsahovat „metriky použité k měření… potenciálně diskriminačních dopadů“. Jinými slovy: poskytovatel AI musí ověřit, že jeho AI nediskriminuje nad žádnou z chráněných kategorií.

Ale jak toto máme udělat, když naše trénovací a testovací datasety z principu neobsahují žádnou chráněnou proměnnou (ať už kvůli GDPR, nebo čistě z etických důvodů)? Nařízení na toto do určité míry myslí a v Článku 10(5) uvádí, že pro vyhodnocení vysoce rizikových AI systémů můžeme zpracovávat speciální kategorie osobních údajů.

Takže „můžeme“, nebo „musíme“? Pokud nemusíme, tak jak ale vyhodnotíme férovost? Nedovedu si představit, že bychom nyní začali od zákazníků sbírat informace o jejich rase, etnicitě či sexuální orientaci kvůli testování férovosti kreditních modelů. Jak tedy budou zákonné podmínky testování algoritmické férovosti skutečně vypadat? To je obrovský problém nejen právní, ale i technicko-odborný z hlediska strojového učení, sběru dat či generování syntetických dat.

2. Vyjasnění, na které AI systémy se vztahuje povinnost certifikace o shodě

Já jsem při čtení Nařízení nabyl dojmu, že se tato povinnost vztahuje pouze na vysoce rizikové AI systémy, což považuji za adekvátní. Jenomže v řadě nedávných komentářů k Nařízení od leckterých expertů jsem se dočetl, že oni to vnímají tak, že je to povinnost pro všechny AI systémy (což by bylo nesmyslné).

Úplně s nimi tento názor zatím nesdílím, nicméně v Nařízení přece jen je občas formulace, jako např.: „The provider shall draw up a written EU declaration of conformity for each AI system…“ Takže buď mi něco uniká, anebo došlo k nějakému kolektivnímu spletení různých jiných expertů, a to možná z důvodů nejasností v Nařízení. Toto by tedy mělo být zcela jasně formulováno, a rozhodně by ta povinnost měla být pouze na vysoce rizikové AI systémy.

3. Jemnější kategorizace vysoce rizikových AI systémů

Do kategorie vysoce rizikových systému spadají například biometrické identifikační systémy, systémy rozhodující o přístupu ke vzdělávání, práci apod., systémy k vymáhání práva, systémy rozhodující o azylových či migračních věcech, systémy rozhodující o přístupu k službám (například kreditní skóring), apod.

Na všechny tyto systémy se tak vztahují jednotná a dosti přísná pravidla. Domnívám se však, že v některých konkrétních případech jsou to požadavky až přehnané a že tato kategorie by měla být jemněji dělená, přinejmenším na dvě podkategorie. Jedna z nich by pak měla podmínky poněkud volnější.

Zároveň také není úplně zřejmé, jak budou do kategorie vysoce rizikových systémů v budoucnu zahrnovány nové, doposud neznámé aplikační typy AI systémů. Detailní odpověď se snaží dát Článek 7(2), avšak ten vůbec nebere v potaz budoucí „neznámé neznámé“.

4. Co je „podprahová technika“ a jak může AI způsobit „psychickou újmu“

Oceňuji, že Nařízení rovnou zakazuje jakékoli využití AI, které by využívalo „podprahové techniky“ k manipulaci člověka a zároveň které by mu mohlo způsobit „psychickou újmu“. Tuším, co se tím asi Nařízení snaží zastavit, ale myslím, že takto vágně a nejasně to prostě formulovat nelze.

5. Nedostatečná zodpovědnost pro Big Tech firmy

Je skoro ironické, že ačkoli EU se Nařízením snažila zkrotit známé monopolní Big Tech firmy a jejich toxické fungování v digitálním prostředí (od sociálních sítí až po online reklamy), tyto firmy z něj nakonec vyváznou skoro bez škrábnutí. Nařízení totiž vůbec nezařazuje do vysoce rizikových AI algoritmy sociálních sítí, internetových vyhledávačů, cílení reklamy, online retailu, app storů, mobilních aplikací či operačních systémů.

Takže na „neurohackingu“ od mobilních aplikací a sociálních sítí, který vede k likvidaci individuální pozornosti a k polarizaci společnosti, se nejspíš vůbec nic nezmění. A přitom právě enormní rozsah, dosah a každodenní všudypřítomnost těchto systémů ve všech lidských životech je činí vysoce rizikovými.

6. Sociální skóring je zakázaný nesystémově

Nesmírně oceňuji, že jednou z prvních věcí, se kterou se Nařízení vypořádává, je plošný zákaz využití AI pro sociální skóring – tedy jakýkoli pokus o napodobení nechvalně proslulého čínského Systému sociálního kreditu. Takovýto systém realizovaný v dnešní (a hlavně budoucí) digitální době totiž stojí u bran pekla Orwellovské super-stabilní totalitní dystopie toho nejtvrdšího kalibru.

Takže kde je problém? On by totiž takovýto systém sociálního skóringu nejspíš ani nebyl postavený na AI. Takže správná formulace není „Zakazuje se sociální skóring pomocí AI“, nýbrž „Zakazuje se sociální skóring. Tečka.“ Otázkou pak je, proč by toto mělo vůbec být v Nařízení o AI.

Myslím, že v obecnějším smyslu je sociální skóring zakázán již díky GDPR a Chartě základních práv. Snažím se však velmi poctivě a upřímně domyslet, jak by nám mohl tento démon do našeho života někdy v budoucnu naprosto nečekaně díky „neznámým neznámým“ kolem AI přece jen vklouznout, i navzdory GDPR a Chartě. Zatím mě nic nenapadá, ale intuice mi říká, že bychom toto měli podrobit ještě velmi důkladné diskuzi, než si potvrdíme, že toto téma je v Nařízení skutečně nadbytečné.

7. Co je to AI

Na závěr jsem si nechal problém nejpodstatnější, který nás zároveň vrací k našemu úvodu a k té klíčové otázce Ivana Havla. Takže: co je největší problém Nařízení o AI? Odpověď: že vůbec netuší, co je to AI.

Kdybych měl říct jediný důvod, pro který nesmí být Nařízení v současné podobě schváleno, tak je to velice problematicky definovaná samotná umělá inteligence. A vzhledem k tomu, že správná definice AI je základním stavebním kamenem celé další konstrukce Nařízení, tak pokud praská tento kámen, vše ostatní se hroutí a ztrácí smysl. A přesně to se nyní děje.

Při současné definici AI v Annexu I, která je založená na výčtu matematických, logických a algoritmických metod, nám Nařízení nesmyslně reguluje většinu dnešních digitálních technologií včetně zcela běžného softwaru. Pokud však jednotlivé metody začneme z definice odebírat, tak budeme naopak ztrácet poměrně důležité AI systémy, které by Nařízení asi regulovat mělo. Tudy cesta nevede.

Jak by tedy taková definice měla vypadat? Velmi dobrá otázka… a stále nás vrací k těm seminářům Ivana Havla. Zkusme si tedy na ní odpovědět – ale až v příštím článku. Nejenže si tím budeme vyjasňovat, čeho se vlastně Nařízení o AI má týkat, ale hlavně si budeme odpovídat na jednu z nejvýznamnějších filozofických otázek moderní doby.