Umělá inteligence je skvělý pomocník, ne vždycky se ale trefí tam, kam má. A pokud se s chatbotem baví někdo, kdo má psychické problémy, může být návyk AI utvrzovat svého uživatele v tom, co si právě myslí, dokonce nebezpečný. Nedávno se například v Americe dostal k soudu případ, kde Google čelil obvinění, že jeho Gemini přispěl k sebevraždě mladého muže. Technologický kolos proto chystá opatření, jež mají duševní zdraví nás všech posílit. A dostupná budou i v Česku.

Odborníci se shodují, že chatboti téměř vždy s uživateli souhlasí a podporují je i ve škodlivém chování, což je problém. Změnit to mají nové ochranné pojistky Gemini, které reagují na případ šestatřicetiletého muže z Floridy, jenž spáchal podle žaloby sebevraždu po dvou měsících konverzací s chatbotem. Google vinu odmítá, bezpečnější opatření ale zavádí tak jako tak.

Jednou z nových pojistek má být detekce rizika sebepoškození uživatele. Jakmile takto Gemini konverzaci vyhodnotí, zobrazí mu ikonu „Help is available“ (Pomoc je k dispozici) a naváže kontakt s linkou pomoci duševního zdraví, kam může uživatel napsat nebo zavolat. V rámci tohoto modulu se v konverzaci mají objevovat i povzbuzující zprávy. Brzy by měl Gemini také přestat schvalovat škodlivé jednání a šířit falešné informace.

Foto: Gemini / CzechCrunch

Gemini od Googlu

„Aktualizace Gemini a funkcí tohoto asistenta budou dostupné celosvětově, tedy i u nás. Změny budeme zavádět v průběhu následujících týdnů,“ říká mluvčí Googlu pro Česko Alžběta Houzarová. Už teď má Gemini i v Česku některá ochranná opatření, která mu brání například vydávat se za člověka nebo používat intimní jazyk.

Negativní dopady umělé inteligence nedávno zkoumala studie univerzit ve Stanfordu a Carnegie-Mellon publikovaná na konci března. Vědci v ní analyzovali nejrozšířenější modely umělé inteligence: GPT-4o od OpenAI, Claude od společnosti Anthropic, Gemini od Googlu a dalších osm modelů. A zjistili už výše zmíněné – že aplikace mají tendenci potvrzovat názory uživatelů, a to i v situacích, kdy je jejich chování chybné nebo škodlivé. „Rady od umělé inteligence lidem ve výchozím nastavení neříkají, že se mýlí,“ vysvětluje hlavní autorka studie Myra Čcheng.

Osobní problémy s umělou inteligencí přitom probírají miliony Američanů, především ti mladší. Podle studie každý třetí teenager v Americe řeší s chatboty vážná témata. Podle loňského průzkumu agentury STEM v Česku pravidelně s chatbotem komunikuje desetina Čechů, u mladších ve věku 18–29 let už je to ale čtvrtina. Data, jestli s AI Češi mluví o osobních věcech, dostupná nejsou. Podle vědců by nicméně lidé neměli s umělou inteligencí tuto oblast vůbec řešit.

V reakci na obavy obyvatel USA začali zákonodárci některých států usilovat o regulaci umělé inteligence v oblasti duševního zdraví a jejího využívání ve zdravotnictví. Například zákonodárci státu Nevada přijali normu, která zakazuje poskytovatelům AI systémů tvrdit, že nabízejí odborné lékařské diagnózy a pomoc.

V České republice zákonný rámec věnující se tomuto tématu zatím chybí, ale podle ministra zdravotnictví Adama Vojtěcha ještě tento rok ministerstvo připraví pravidla pro využívání umělé inteligence. Před jednostrannými vztahy s chatboty varuje například i český celorepublikový projekt E-bezpečí. I podle něj je největším problémem to, že nám aplikace neodporují.

A potvrzuje to i terapeutka kliniky Neo Centrum Tereza Komárková, která říká, že AI chatboti uživatele nekonfrontují s realitou a nebezpeční jsou především pro lidi s těžšími psychickými problémy. „Například pacienti s těžkými diagnózami nebo schizofrenií se mohou utvrzovat v bludech,“ vysvětluje Komárková. Dodává ale, že někteří klienti nejprve řešili svou životní situaci s umělou inteligencí a na základě rozhovorů se rozhodli vyhledat skutečného odborníka.

Národní ústav duševního zdraví hodnotí aktualizaci Gemini jako pozitivní krok, který může uživatelům pomoct. „Rozhodující však bude, jak spolehlivě dokáže systém takové situace rozpoznat a jak efektivně dokáže propojit uživatele s odborníky,“ varoval Martin Brunovský, vedoucí sekretariátu Národního ústavu duševního zdraví. Umělá inteligence by podle něj měla sloužit jako varovný systém a neměla by nahrazovat odbornou péči.

Google tvrdí, že v příštích třech letech investuje třicet milionů dolarů (v aktuálním přepočtu necelých 630 milionů korun) na financování světových krizových linek bezpečí, aby rozšířil tým operátorů, a další čtyři miliony dolarů (84 milionů korun) na školení v oblasti umělé inteligence. A dodává, že vylepšení pomůžou uživatelům v nouzi najít pomoc, ale stále jde o software, který nemá nahrazovat odbornou terapeutickou pomoc.