Evropská unie se znovu ukazuje jako globální regulatorní velmoc, a to i v relativně nových tématech. Poté, co nedávno prošla kryptoměnová regulace, se nyní zákonodárci pouští do umělé inteligence. Takzvaný Akt o umělé inteligenci schválil minulý týden Evropský parlament, neobešlo se to ovšem bez kontroverzí. Nová legislativa má totiž systémy umělé inteligence rozčlenit podle způsobu užití a některé z nich zcela zakázat.

V EU by tak neměly fungovat kupříkladu ty umělé inteligence, které slouží k sociálnímu skórování nebo prediktivní policejní práci. V prvním případě jde o použití, které je viditelné hlavně v Číně, nasazení toho druhého byl v minulosti kritizováno zase v rámci Spojených států – algoritmus byl totiž zaujatý a vymezoval se často proti menšinám. Oblasti algoritmických předsudků si zákonodárci všímají i v případě systémů v HR a svou kategorii opatření mají i nové generativní modely, jako je třeba GPT od OpenAI. V jejich případě půjde především o transparentnost.

Proces schvalování regulace sleduje i právnička Alžběta Solarczyk Krausová, která je vedoucí Centra pro výzkum inovací a kybernetického práva (CICeRo) na Ústavu státu a práva Akademie věd ČR. Zdůrazňuje, že byť řada opatření není černobílá, výsledek reflektuje evropské hodnoty. „Budování důvěry je hlavním cílem regulace. Nevyužijeme maximální potenciál systémů, ale využijeme je tak, že si ponecháme určitou svobodu a soukromí,“ říká v rozhovoru pro CzechCrunch.

Akt o umělé inteligenci v první řadě rozčleňuje různé umělé inteligence do kategorií, z čehož pak vychází řada dalších předpisů. Jaké kategorie to jsou?
Kategorizace vychází z přístupu k řízení rizik a EU jednotlivé typy staví do jakési pyramidy. Úplně na vrcholu jsou systémy, které budou zcela zakázané. U nich EU vyjadřuje názor, že jdou proti evropským hodnotám. Jedná se například o systémy na rozpoznávání emocí na pracovišti, ve školách nebo systémy pro prediktivní policejní práci. Pod nimi jsou systémy s vysokým rizikem. Na ty dopadá celá řada nových povinností a jedná se třeba o systémy v HR, které zpracovávají životopisy, nebo nástroje v soudnictví či programy, které posuzují přihlášky ke studiu. Svou kategorii mají i systémy generativní umělé inteligence, které musí splňovat určité požadavky na trénování a technický popis.

Zastavil bych se u toho klastru rizikových systémů. Šéfredaktor Lupy David Slížek, psal na Twitteru, že nikdo, koho se ptal, mu ve Štrasburku nedokázal vysvětlit, proč Akt o umělé inteligenci předepisuje povinné registrace, certifikace, nový úřad a další spoustu papírování. Proč to tedy máme? Má to smysl?
Smysl to má. Chápu obavy, že jde o poměrně zásadní regulaci, která trochu zpomalí vývoj nebo minimálně vývojářům přitíží. Nicméně i evropští regulátoři se snaží zátěži předcházet, a proto z legislativy například vyjmuli umělé inteligence ve fázích vývoje, třeba na univerzitách, nebo takové, jež jsou open source. Na druhou stranu, systémy AI skutečně naše životy ovlivňují do velké míry a nesou určitá nebezpečí. To může být diskriminace, špatné zacházení s osobními údaji, dochází ke lhaní, respektive k halucinacím systémů.

Nová pravidla tedy směřují k tomu, aby se firmy, které vyvíjejí rizikové systémy, skutečně zamyslely nad tím, jak umělou inteligenci stavět, aby předešli rizikům. Budou muset dokumentovat, jakým způsobem schraňují data. A budou muset ukázat, že neporušují autorská práva třetích stran. Například tím, že budou mít seznam všech děl, na kterých programy trénovali. Ano, pro určité systémy to bude velká zátěž, ale svědčí to o způsobu života, jaký chceme v EU mít – že jsou ty systémy bezpečné, auditovatelné, transparentní a chrání naše soukromí.

Foto: Depositphotos

Unijní vlajky před sídlem Evropské parlamentu

Požadavek na transparentnost se řeší i v případě nových generativních modelů, jako je GPT. Protože když tento model dojde k nějaké odpovědi, tak dnes nevíme, proč se tak stalo. Je tedy transparentnost hlavní bod?
Příjemně mě potěšilo, že návrh bere za svá i etická pravidla na důvěryhodnou umělou inteligenci formulovaná na odborné úrovni a staví je jako závazná. Transparentnost je jen jeden z bodů a v podstatě znamená, že systémy by měly být používány a vyvíjeny tak, abychom mohli přiměřeně trasovat a vysvětlit nějaké rozhodnutí. Důležité také je, aby uživatelé byli například transparentně informováni, když komunikují s umělou inteligencí. Nicméně na několika místech se zmiňuje technická proveditelnost transparentnosti. Zákonodárci jsou si vědomi, že plná transparentnost není možná a třeba nějaké konkrétní rozhodnutí systému jako ChatGPT je těžké vysvětlit.

U jiných systémů podobné etické otázky ještě zůstávají. Zmínila jste ty pro prediktivní policejní práci. Co jsou vlastně zač a proč jsou problematické?
Prediktivní policejní systémy se používaly nějakou dobu v USA a pomáhaly předpovídat několik věcí. Buďto u konkrétních lidí dokázaly říct, jaká je pravděpodobnost, že spáchají trestný čin, nebo se u soudů používaly systémy, které navrhovaly přiměřenou výši trestu. Ukázalo se ale, že tyto nástroje jsou diskriminativní vůči určitým komunitám a že snižují lidskou důstojnost tím, že zamykají lidi v bublinách a kategoriích. Třeba si představte, že vás na ulici bude snímat kamera potom, co jste se rozešel nebo vám někdo umřel. Takový systém by si to mohl vyhodnotit tak, že něco spácháte. Takže za vámi přijde policie a bude se vyptávat a bude z toho pro vás dvojitá újma.

Někdo by nicméně mohl říct, že systémy jsou chybové, ale v nějakém procentu se trefí a zabrání trestnému činu. Není tohle argument?
Existují samozřejmě argumenty pro i proti, ale jde o to, jaká je společenská poptávka v Evropské unii a jak tady chceme žít. Možná by bylo pár vyřešených případů navíc, ale riskujeme ztrátu důvěry vůči umělé inteligenci právě proto, že by se mnohým stalo, že je bezdůvodně zastaví policie či něco podobného. Budování důvěry je ostatně hlavním cílem regulace. Jasně, nevyužijeme maximální potenciál systémů, ale využijeme je tak, že si ponecháme určitou svobodu a soukromí.

Hodně velké debaty se vedly také o systémech na rozpoznávání obličejů z bezpečnostních kamer. Víme, že jsou používané ve velkém v Číně, a tedy mohou být i represivními nástroji. Na druhou stranu mohou zvyšovat bezpečnost. Jak to tedy řešit?
Bude hodně záležet na tom, jak budou podobné systémy využité. Při správném použití bychom mohli například efektivněji hledat ztracené děti, podezřelé z trestných činů nebo osoby, co utečou z nemocničních zařízení a mohou si ublížit. Měli bychom větší kontrolu nad celou společností a mohli bychom například spoustu věcí rychleji dohledat. Na druhou stranu, tím, že by byla tato data dostupná, by hrozilo jejich zneužití třeba ve prospěch páchání trestné činnosti. Hackeři by mohli vědět, kdo se kde pohybuje, jaké má vzorce chování a podobně. A vzhledem k tomu, že i demokracie může být křehká, tak se EU chce ujistit, aby se to nezneužilo k potlačení evropských hodnot.

Návrh sice ještě musí projít Evropskou komisí i Radou EU, nicméně teď stojí tak, že podobné použití umělé inteligence by bylo možné na základě rozhodnutí soudu. Je to za vás dostatečné pojistka?
Ano, v návrhu je zakázané monitorování v reálném čase anebo s malým zpožděním. Povolené bude kontrolování videozáznamů a biometrická identifikace, ale právě jen po povolení soudu. Myslím si, že českým soudům můžeme věřit, je u nich garantována nezávislost a tato pojistka je standardně přijímána. Takže toho se neobávám, naopak si myslím, že je to vhodné. Opět je to opatření ve prospěch větší svobody a soukromí než kontroly,

Jak víme, tak regulace je vždycky trochu pozadu oproti umělé inteligenci. Chybí vám v současném návrhu něco? Je třeba nějaká otázka, typu dezinformací nebo autorského práva, která se tam neřeší a měla by?
Myslím, že ne, to nařízení je poměrně komplexní. Naopak mě překvapilo, že jsou v něm části, co by do něj tematicky nemusely patřit, jako třeba smluvní ustanovení mezi poskytovateli systémů umělé inteligence a jejich profesionálními uživateli. Zmiňujete otázky ochrany autorských práv. To je určitě potřeba řešit, protože to, co nám způsobují generativní modely, přesahuje možnosti stávající legislativy autorskoprávní ochrany, ale do nařízení o AI bych takové úpravy jen ze systematického hlediska nedávala. Stejně tak už máme směrnici o odpovědnosti umělé inteligence, ale i tento návrh by měl ve světle generativních modelů umělé inteligence doznat nějakých úprav, aby byl vhodnější pro řešení problematických situací.