Největší problém umělé inteligence? Je přesvědčivá, i když si úplně vymýšlí, říká futuristka

Aleksandra Przegalińská je polská filozofka umělé inteligence. Z ChatGPT se snaží se studenty udělat nástroj, který bude přesnější.

Jiří SvobodaJiří Svoboda

aleksandra1Rozhovor

Foto: Meta

Polská filozofka a futuristka Aleksandra Przegalińská

0Zobrazit komentáře

V poslední době snad neuplyne den, kdy by se neobjevil nový způsob použití jazykového modelu, verze obrázkového generátoru, vyhledávače nebo ChatGPT. Novinek o umělé inteligenci je zkrátka příliš, a tak lze ve smršti zpráv snadno přehlédnout větší trendy a zásadní otázky, které bychom si jako společnost měli položit. Současný boom v etice i společenských vědách zanechává řadu nezodpovězených výzev.

Právě těmi se ve svém výzkumu zabývá Aleksandra Przegalińská, polská futuristka, filozofka umělé inteligence a prorektorka varšavské Kozminského univerzity. Jako výzkumnice působí také na Harvardu.

„Jsme stále vědomými bytostmi a jako lidé také zadáváme umělé inteligenci úkoly. Stále jsme hlavními aktéry, kteří ji používají jako nástroj,“ popisuje Przegalińská roli, kterou podle ní současná umělá inteligence má. Ale zmiňuje i situace, kdy se podle ní dostáváme na tenký led. „Znepokojují mě případy, kdy se na jazykový model lidé spoléhají v rozhodování. I tady je důležité si uvědomit, že nástroje jako GPT jsou použitelné, hlavně když sami máte odborné znalosti o dané problematice. Obávám se například o děti, které mohou program používat, aniž by si uvědomovaly potřebu kritického myšlení,“ vysvětluje polská futuristka.

V rozhovoru pro CzechCrunch mluví o úskalích, která skýtá současná celospolečenská adopce velkých jazykových modelů, o vlastním výzkumu, který zahrnuje například způsob, jak snížit možnosti takzvaných halucinací umělé inteligence, nebo o tom, zda by se měl vývoj umělé inteligence zpomalit.

Nastartujte svou kariéru

Více na CzechCrunch Jobs

Když vidíte současný humbuk kolem umělé inteligence, jakou hlavní otázku si kladete ze své pozice filozofky?
Myslím, že největším problémem jsou halucinace jazykových modelů, tedy schopnost konstruovat znalosti, které neexistují. Jazykové modely jsou velmi sebejisté a přesvědčivé, i když si úplně vymýšlí. OpenAI tvrdí, že nový model GPT-4 je schopen získat přesnější výsledky. Což je pravda, ale ještě nás čeká dlouhá cesta.

OpenAI také tvrdí, že model nyní poskytuje mnohem lepší argumentaci, což si překládám tak, že je přesvědčivější i ve svém lhaní.
To skutečně může být pravda, ale myslím si, že lepší argumentací je ve skutečnosti myšleno lepší předvídání – tedy to, co myslíte určitým zadáním. Je zřejmé, že systémy umělé inteligence mohou být potenciálně naprogramovány tak, aby klamaly nebo zaváděly člověka, ale v tomto případě je lhaní bohužel vedlejším produktem samotné obecnosti modelu. OpenAI se prezentuje jako společnost na vývoj umělé inteligence, která je důvěryhodná a v souladu s lidskými hodnotami, takže si jsem jistá, že by se rádi vyhnuli halucinacím. Zatím ale dosahují jen malých výsledků.

Existuje nějaký technický způsob, jak se halucinací zbavit? Protože to je tak trochu předpokladem, aby byla umělá inteligence důvěryhodná…
Existuje. V rámci mých výzkumných skupin studenti vyrábějí malé transformátory – jakési maličké a velmi jednoduché verze nástrojů, jako je ChatGPT. Způsob, jakým se snažíme vypořádat s halucinacemi, spočívá v tom, že modely děláme záměrně méně kompetentní, konzervativnější. V praxi to funguje tak, že model se ptá na doplňující otázky, než poskytne odpověď. Z odpovědí se ihned poučí a je tak schopen poskytnout ucelenější odpovědi.

aleksandra3

Foto: Meta

Przegalińska na akci Metaverse Day 2023 ve Varšavě

Tím, že omezíte jeho schopnosti, ale také děláte určitá rozhodnutí. A tato rozhodnutí následně znamenají zkreslení odpovědí, ne?
Samozřejmě, že zkreslení algoritmů je obecně problém, ale v tomto případě je to vlastně chtěné zkreslení. Druhou možností je modely více lokalizovat, krmit je vlastními daty nebo je prostě natvrdo nastavit tak, aby poskytovaly kratší odpovědi a kladly více otázek. Aby byly více zaměřeny na spolupráci, a ne na čistý výstup na základě podnětů.

Jsme na nástup umělé inteligence jako společnost připravení? Dám příklad: Představte si, jak by svět vypadal, kdyby ekonomika nerostla o tři až čtyři procenta ročně, ale o sto procent. Podle experta na bezpečnost umělé inteligence Holdena Karnofského by se toho dosáhlo smyčkou, kdy by umělá inteligence učila další umělou inteligenci.
Zdá se mi, že jsme připraveni. Všichni zadávají dotazy do modelů a vyměňují si nejlepší nápady na prompty. Je to velmi přirozený způsob komunikace, hovoříme přes chat. Vývoj nových generativních modelů je však velmi rychlý. Myslím, že bychom měli udělat krok zpět a položit si důležité etické a velké otázky, které s tím souvisejí. Nezaměřovat se jen na to, co nového umí další verze GPT nebo Midjourney.

Myslíte tedy, že bychom měli zpomalit rychlost vývoje umělé inteligence?
Na jedné straně by zpomalení mohlo pomoci řešit některá potenciální rizika – třeba etické a společenské důsledky automatizace, obavy o soukromí a dopad na zaměstnanost. Mohlo by také poskytnout více času výzkumníkům a politikům na vypracování účinných zákonných rámců a eticky odpovědných přístupů. Na druhou stranu by zpomalení rychlosti vývoje umělé inteligence mohlo také bránit pokroku ve zdravotnictví, vzdělávání a udržitelnosti, kde má potenciál významně pozitivně přispět. Zpomalení by také mohlo znevýhodnit země nebo společnosti, které do výzkumu AI investují velké prostředky, což by mohlo vést k hospodářské a technologické nerovnováze.

Nevkládáme vlastně do současných systémů příliš mnoho důvěry? 
Mohli bychom o této otázce přemýšlet tak, že my jsme stále vědomými bytostmi a jako lidé také zadáváme umělé inteligenci úkoly. Stále jsme hlavními aktéry, kteří ji používají jako nástroj.

Užitečné pojmy

  • Jazykový model: Algoritmus nebo model strojového učení, který dokáže předpovědět, jaké nejpravděpodobnější slovo nebo věta bude následovat po zadané sekvenci slov.
  • Obecná umělá inteligence: Teoretický koncept umělé inteligence, která by měla schopnost řešit jakýkoliv problém, který by dokázal vyřešit člověk.
  • Generativní AI
    Větev umělé inteligence, která se zaměřuje na vytváření nových dat, například obrázků, videí nebo zvuků. Generativní AI využívá hlubokých neuronových sítí a jiných technik strojového učení k vytváření dat, která vypadají, jako by byla vytvořena lidmi.
  • OpenAI: Společnost původně založená Elonem Muskem kvůli tomu, aby hledala cestu k obecné umělé inteligenci. Dnes se však zaměřuje na rozvoj jazykových modelů a generativní umělé inteligence, klíčovým investorem je Microsoft.

Více: Slovníček pojmů ze světa umělé inteligence

Opravdu jsme? Často jde přece o rozhovory, jak jste řekla. Je to oboustranný proces.
Je pravda, že mě trochu znepokojují případy, kdy se na jazykový model lidé spoléhají v rozhodování. Ale je důležité si uvědomit, že nástroje jako GPT jsou použitelné, hlavně když sami máte odborné znalosti o dané problematice. Obávám se například o děti, které mohou program používat, aniž by si uvědomovaly potřebu kritického myšlení.

S kolegou Dariuszem Jemielniakem jsme ale s pomocí GPT napsali knihu o generativních modelech umělé inteligence Strategizing AI in Business and Education. Zadali jsme modelům různé podněty a ony nám s tvůrčím procesem nesmírně pomohly. Například jsme jim zadali dotaz s nějakými argumenty a ony vygenerovaly cenné protiargumenty. Stále jsme však ve fázi pochopení, jak s těmito modely pracovat.

Takže v tomto případě jste umělou inteligenci použili jako nástroj. Ale co jiné práce, které mohou být zcela nahrazeny?
Obvykle se nás jako výzkumníků umělé inteligence lidé ptají na profese, které zmizí kvůli ChatGPT. Já si ale myslím, že právě kvůli nutnosti kritického myšlení zůstanou i kreativní profese neohrožené. Spíš než by přišli o práci, budou mít k dispozici mnohem mocnější nástroje. Jiná situace je u lidí, jako jsou vývojáři. Ti se o svá místa mohou skutečně bát. Kolega mi třeba vyprávěl o příkladu lékaře, který nakrmil ChatGPT nějakými informacemi o pacientovi – a ten mu správně navrhl diagnózu a případnou léčbu.

To mi z pohledu pacienta připadá trochu děsivé. Neměl by být lékař ten, kdo bude mít potřebné znalosti?
V komplikovaných případech se lékaři vždy rozhodují v kolektivu. Takže o takovém použití můžete přemýšlet jako o rozšíření lékařského konzilia. Nakonec bude rozhodnutí vždy na člověku. Víme ostatně, že GPT je trénováno i na akademických článcích z depozitáře Science Direct.

Kvůli nutnosti kritického myšlení zůstanou i kreativní profese neohrožené.

Jedna z novinek v modelu GPT-4 je, že o osmdesát dva procent zmenšuje šanci odpovědi na zadání, které je v rozporu s podmínkami použití OpenAI. Například na dotazy, které jsou rasistické nebo jinak diskriminační. Není nicméně nebezpečné, že tato omezení neurčuje zákon, ale soukromá firma pro nástroj, který používají stovky milionů lidí?
Stále existují způsoby, jak neodpovídání obejít. Nejjednodušší způsob by bylo vložit dané zadání do příběhu nebo postavy, protože GPT-4 umí hrát postavy docela dobře. Ale abych byla upřímná, nemám na to jasnou odpověď. Samospráva velkých technologických firem se v minulosti, například v případě sociálních médií, ukázala jako poněkud problematická, ale Microsoft či OpenAI vám nejspíš řeknou, že když to neudělají oni, neudělá to nikdo.

Myslíte si, že halucinace by mohly být důvodem pro to, aby ekosystém GPT měl problém s adopcí širokou veřejností? Není prostě základním předpokladem, že budeme věřit jeho odpovědím?
Halucinace mohou být problémem pro některé aplikace jazykových modelů, ale i když jsou zdrojem obav, tak nemusí být nutně obecnou překážkou k adopci. Mnoho způsobů použití jako překlady, shrnutí textů a odpovědi na otázky, nevyžaduje vysokou úroveň koherence nebo kontextuality, proto je občasné halucinace nemusí ovlivnit. U aplikací, které vyžadují vysokou úroveň přesnosti a konzistence, jako je lékařská diagnóza nebo právní rozhodování, by však halucinace mohly být problémem. Musíme proto vyvinout strategie na to, abychom halucinaci zmírnily na výstupech. Problém je, že často vůbec nevíme, co se uvnitř modelů děje a proč si algoritmus vymýšlí.

To je ale typickým problémem všech doporučovacích algoritmů, ne? Nikdo neví, proč navrhují to, co navrhují. Jsou to černé skříňky.
Tak je potřeba z černých skříněk udělat průhledné. Nikdo to neví, protože není v zájmech velkých technologických společností, aby principy jejich cenných algoritmů byly otevřené a veřejné. Na to by musela existovat regulace.

Co si z rozhovoru odnést:

  • Největším problémem jazykových modelů je jejich halucinace – konstruování znalostí, které neexistují.
  • V případě modelu GPT je lhaní vedlejším produktem kvůli jeho obecnosti.
  • Halucinaci lze zmenšit tak, že modely budou cíleně tvořeny jako méně kompetentní a konzervativnější – tak, aby se doptávaly na doplňující dotazy, než vytvoří finální odpověď.
  • Nepřesné odpovědi jsou nebezpečné zejména, když lidé na umělé inteligenci nechávají celý svůj rozhodovací proces.

CzechCrunch Jobs

CzechCrunch Weekly

V newsletteru Weekly vám každou neděli naservírujeme porci těch nejdůležitějších zpráv, které by vám neměly uniknout.

Tvůrci umělé inteligence se musí seberegulovat. Jinak hrozí nepřiměřené zásahy vlád, říká Baudiš z Rossumu

Technický ředitel českého startupu Rossum Petr Baudiš je signatářem výzvy, která volá po pozastavení vývoje AI. Ne všichni odborníci s ní ale souhlasí.

Jiří SvobodaJiří Svoboda

baudis_1Rozhovor

Foto: Rossum

Petr Baudiš, technický šéf českého startupu Rossum

0Zobrazit komentáře

„Měli bychom vyvinout nelidské mozky, které by nás nakonec mohly přečíslit, přechytračit, zastarat a nahradit?“ I tuto řečnickou otázku si pokládá veřejná výzva Future of Life Institute, která tento týden rezonovala mezi technologickými nadšenci. Volá po pozastavení vývoje systémů umělé inteligence silnějších, než je současný model GPT-4, na dobu šesti měsíců – a podepsali ji třeba i Elon Musk, Steve Wozniak nebo historik Yuval Noah Harari.

Mezi signatáři lze ale najít i několik českých jmen, mimo dalších třeba Petra Baudiše. Technický ředitel českého technologického startupu Rossum, který se zabývá automatizací kancelářských úkonů a s umělou inteligencí ve velkém pracuje, se obává zásadních negativních dopadů stále silnějších modelů na společnost, třeba ohledně dezinformací, ztrát pracovních míst nebo nefungujících spam filtrů.

Především se ale bojí potenciálně zdrcujícího zásahu regulátorů. „Může se nám stát něco podobného třeba jako u jádra, kde v dnešní době jadernou elektrárnu téměř nejde postavit za rozumnou cenu. A tomu bych se rád vyhnul. Myslím si, že je to motivace, aby náš sektor ukázal nějakou schopnost seberegulace,“ říká v rozhovoru pro CzechCrunch.

Ne všichni odborníci na AI jsou ale stejného názoru – proti podobné výzvě se staví třeba profesor umělé inteligence Michal Pěchouček, mimo jiné host našeho nedávného videopodcastu, nebo jeden ze světových průkopníků v oblasti velkých jazykových modelů Tomáš Mikolov. Reakce druhého jmenovaného přidáváme do informačních boxů přímo do rozhovoru.

Právě čtete upravenou verzi rozhovoru s Petrem Baudišem, který jsme natočili pro podcast Weekly. Společně s dalšími zprávami týdne si ho můžete naladit každou neděli.

Více

Motivace pro tuto výzvu je nějaký strach. Čeho se přesně bojíte?
Dvou věcí, které mají spíš krátkodobý charakter. Jednou z nich jsou škody ve společnosti, které umělá inteligence síly větší než GPT-4 může napáchat. A druhá je reakce států a vlád, která může být na druhou stranu nepřiměřená, protože může být založená na strachu z neznáma a nevědomosti. A priori neříkám, že nechceme žádnou regulaci, ale může se nám stát něco podobného třeba jako u jaderné energie, kde v dnešní době jadernou elektrárnu téměř nejde postavit za rozumnou cenu. A tomu bych se rád vyhnul. Myslím si, že je to motivace, aby náš sektor ukázal nějakou schopnost seberegulace.

Zatím se ale opravdu nebojím toho, že by vznikla obecná umělá inteligence, která svět promění na papírové sponky. Nicméně stojí za to o tom mluvit. Pokud je šance na vytvoření umělé inteligence, která ohrozí lidstvo, třeba pět procent, normálně byste takové riziko nepodstoupili.

Nastartujte svou kariéru

Více na CzechCrunch Jobs

V té výzvě se píše, že riskujeme ztrátu kontroly nad naší civilizací, pracovními místy, dezinformacemi. Podobné hlasy už v tom prostoru slýcháme léta. Proč tedy zrovna teď?
Protože technologická realita se posunula velmi dramaticky nejnovějším modelem GPT-4 od OpenAI. Jeho schopnost jakéhosi uvažování, vyjadřování a reakcí se už dostává do takové úrovně, že můžeme být velice na vážkách, co se stane s různými povoláními nebo jaká je například budoucnost spam filtrů či dezinformačních nástrojů jako deep fakes. Ten seznam negativních důsledků může být velice dlouhý a je pravděpodobné, že v nejbližších šesti měsících celá společnost na vlastní kůži nějaký zažije. Nedokážu ale předpovědět, jaký to bude.

Co je ten aspekt nových jazykových modelů, který je teď nejrizikovější?
Znovu, nebojím se vyhlazení lidstva, ale krátkodobějších účinků – ztráty důvěry v cokoliv, co čtu, co vidím. Klidně to může být technologie na výrobu deep fakes, začínají se objevovat čím dál více. Co se GPT-4 týče, tam ten nejrizikovější aspekt je, že i z velmi složitých zadání dokáže vygenerovat text takřka k nerozeznání od toho, co by mohl udělat člověk. A to může být problém pro různé spam filtry (protože individualizované zprávy jimi lépe proklouznou – pozn. red.) nebo pro různá povolání, protože si firmy uvědomí, že ty lidi nepotřebují.

Co si myslí expert na jazykové modely Tomáš Mikolov o riziku většího spamu?
„Souhlasím, že spam je problém, ale nevyřešíme ho tím, že přestaneme trénovat lepší modely. Na tvorbu spamu můžeme použít nástroje jako ChatGPT, ale ty stále kontroluje OpenAI a Microsoft. Pokud by někdo používal ChatGPT na jeho masivní generování, budou schopni to zastavit.“

Zmínil jste fenomén deep fakes, nicméně ty už přece fungují. Zároveň když se podíváme na věci typu doporučovací algoritmus na Netflixu, tak obsah máme individualizovaný už teď. Nepředstavuje teda AI riziko, se kterým jsem se schopni jako společnost vyrovnat?
Jasně, ale to je algoritmus v nějaké krabici, řeší užší problém a například vám řadí filmy. Jenže najednou budeme v situacích, kde třeba budete v nějaké online komunitě, v níž jste dříve byl s lidmi. A najednou nevíte, kdo je robot a kdo člověk. Takže pokud by někdo s dostatečným rozpočtem chtěl položit Reddit, tak ho prostě zavalí umělými posty, které se budou velmi těžko rozpoznávat umělou inteligencí. A je otázka, co se stane dál. Jeden z těch důsledků může být ten, že třeba ztratíme anonymitu online a každý bude muset mít spárovaný svůj účet s občankou jako garanci, že jeho příspěvky nezveřejňuje AI.

Jeden z často zmiňovaných problémů jazykových modelů je, že zpravidla nejsme schopni porozumět, co se uvnitř nich děje a nevíme, co se učí. Kdybychom ale do nich mohli nahlédnout, snížilo by to pravděpodobnost dystopických scénářů?
Na toto jsou názory v komunitě rozpolcené. Já to nevnímám jako ten hlavní problém. I kdybychom algoritmu zcela rozuměli, tak podle mě nebudeme nijak zásadně dál v umenšování rizik, které z těch systémů plynou. Nicméně nahlížení do algoritmů je velmi obtížný problém – jako kdybyste po neurologovi chtěl, aby se nějak podíval do mozku a zjistil, co si ten člověk opravdu myslí.

Takže podle vás ta netransparentnost, to, že nevíme, proč ChatGPT došlo k odpovědi, k jaké došlo, není vlastně problém?
Za mě to problém není. Záleží na tom, jaká je to odpověď. Někdo by mohl namítnout, že když rozumíme, co to dělá, tak ten systém můžeme více ovládat, lépe řídit. Ukazuje se ale, že to umíme i bez toho. To je třeba devíza ChatGPT, které se učí na základě zpětné vazby od lidí a jsme tedy schopni ho ovlivňovat docela dobře tak, jak chceme.

Názor Tomáše Mikolova na transparentnost umělé inteligence:
„Hlavní problém interpretace AI vidím jinde, a to v trénování dat. Jsou tu lidští anotátoři, kteří systém doupravují a tlačí ho do určitých odpovědí. Jenže pak se objevují příklady, že dáte ChatGPT politický dotazník a zjistíte, že z něj vzejde jako ultralevicový. Nechci soudit, jestli je to špatně, nebo dobře, ale pokud budeme modely tlačit do názorů, je to nakonec riziko.“

Výzva volá po šestiměsíční pauze v trénování systémů umělé inteligence, které jsou silnější než GPT-4. Co by se během této pauzy mělo stát?
Podotknu jen, že to memorandum je právě takto úzké – jen na šest měsíců a jen na modely silnější než ty, co už máme. Pokud by bylo o něco širší, osobně už bych měl problém ho podepsat. Konkrétně potřebujeme čas na to, aby si společnost dokázala zvyknout, co ten nový fenomen dělá. Můžeme zažít jak negativní, tak pozitivní důsledky, vytvořit si nějaký názor a určit si, co od těch systémů chceme. Politici si trochu ujasní, co si od nich lid žádá, proběhnou nějaké intelektuální diskuse.

Druhá část je, aby se ta komunita výrobců AI dokázala zamyslet nad nějakými sdílenými standardy a seberegulací. Ve srovnání s jinými obory má totiž teď obor softwarového inženýrství velice nízký standard bezpečnosti. Strojaři tak jsou zvyklí stavět letadla, výtahy či mosty, které nepadají. U softwarových inženýrů je to spíš otázka snahy.

Není vlastně pozdě na požadované zastavení, když teď jede rozvoj naplno? Přece jen to tak trochu odpírá základním principům kapitalismu, ve kterém žijeme.
Dobře, ale v základních principech kapitalismu je i regulovaná letecká doprava, jaderná energie. I ta strojařina. Já se právě bojím, že v případě AI poletíme bezhlavě dopředu, tak ta regulace přijde a bude velkou ranou pro celý ten sektor. Když budeme opatrnější, tak možná regulace přijde také, ale vlády budou cítit zodpovědnost na druhé straně a nebude takový tlak regulaci přestřelit.

Pohled Tomáše Mikolova na regulaci umělé inteligence:
„Problém výzvy je, že vůbec není mířená na nás, na Evropu, protože velké jazykové modely se dělají téměř výhradně v USA a Číně. Ale tam se zastavením vývoje nikdo nebude zabývat. My se tu bavíme o zdánlivé regulaci, ale vůbec neřešíme příležitosti a tyto technologie tu nevznikají. Nakonec se nám pak Američané vysmějí a budou nám AI opět prodávat z monopolního postavení.“

Zpráva z pátku říká, že Itálie zakázala ChatGPT. Jak se na tento krok díváte? Je toto ta regulace, která dává smysl?
Italský regulátor zakázal ChatGPT z obavy, aby při fungování nepoužíval data z interakcí s italskými uživateli, protože je považuje za důvěrná data. To je velmi specifický a úzký scénář, který bych nezobecňoval na problém, který tady řešíme. Je totiž možné, že OpenAI přijde s odstavečkem navíc do svých podmínek použití a úřad to zase povolí.

Otázka, co výrobci umělé inteligence mohou používat na trénování svých modelů, je velmi široká. Já v tomto mám střed zájmu jako technický ředitel firmy, která by také ráda používala co nejvíc dat na trénink. Ale myslím si, že jde vždy o vyvažování rizik a prospěšnosti. Je otázka, jaká jsou rizika použití osobních dat zrovna v jazykových modelech. Faktem je, že v oblasti péče o zdraví se umělá inteligence používá mnohem méně, než jaký má potenciál – a možná nás to stojí mnoho lidských životů. Ale druhý fakt je, že používat právě zdravotní informace lidí na cokoliv je z legálního hlediska strašně obtížné.

Ta výzva je do značné míry idealistická. I kdyby se teď vývoj AI nezastavil a lidé se nezačali zamýšlet, vidíte i tak nějaké scénáře, kde se vlastně nic hrozného nestane?
Nevím, jestli se nestane nic. Každá nová technologie přináší rozruch a mění se díky ní společnost. Na druhou stranu všichni, kdo v tom oboru pracujeme, věříme, že se změní k mnohem lepšímu. Děláme to všichni proto, aby jsme lidstvo posunuli dopředu, ale samozřejmě některé dílčí změny asi budou bolet. A jde o to, aby nebyly příliš drastické a aby to celé nešlo nějakým šíleným směrem. Já věřím, že se tak nestane, ale bavme se o tom, jaké jsou na to šance.