Online komunikace vládne světu a s každým dnem se zdá, že je více a více slyšet o umělé inteligenci. Tak moc, že lze lehce zapomenout na fakt, že za většinou toho, co se děje na sociálních sítích, ještě stále stojí lidé. Přestože se stále častěji také mluví o moderování obsahu na sociálních sítích, tedy rozhodování o tom, co se na ně dostane a zobrazí ostatním uživatelům, a co se odstraní, málokdo vlastně tuší, co se za touto činností skrývá.

V určité části společnosti tak navzdory skutečnosti převládá přesvědčení, že moderování obsahu je už dnes plně obsluhováno stroji. To je však na hony vzdáleno od pravdy a zcela zásadní roli stále hraje lidský faktor. A to má mnoho důsledků.

Upozornění: V následujícím článku je popisován explicitní a násilný obsah. Slabší povahy by měly zvážit pokračování ve čtení.

Červnová reportáž novináře Caseyho Newtona v magazínu The Verge ukázala na znepokojivé podmínky v jedné z firem, které si Facebook na moderování obsahu najímá. Právě Facebook je totiž logicky z pozice největší sociální síť na světě s moderováním obsahu nejčastěji spojován.

Trojice bývalých zaměstnanců, kteří souhlasili s porušením svých prohlášení o mlčenlivosti, popsala pro The Verge každodenní realitu při moderování obsahu. Zprvu jim vůbec nebyla prozrazena pravá povaha jejich budoucí práce, byť jim byla přislíbena nadprůměrná odměna. Poté je čekal neustálý tlak od manažerů na bezchybnost při posuzování – to všichni tři vyzpovídání shodně brali jako hlavní gró tamního byznysu. Přitom zatímco požadavek byl na 98% přesnost, většina zaměstnanců dosahovala maximálně k 80 procentům.

Následovalo například nelidské chování kolegů, takřka nulová psychická podpora (na takzvaný „wellness čas“ měli devět minut denně), krátké přestávky, špinavé pracovní místo a jedny, mnohdy navíc špinavé záchody pro stovky zaměstnanců. Vše došlo až tak daleko, že jeden ze zaměstnanců přímo na svém pracovním místě zemřel. Tyto podmínky museli snášet při práci, která není ani klidná, ani zábavná. Není to však jediný problém, na který novinář Casey Newton ve své reportáži poukázal.

Už samotná nátura podobných center totiž nevytváří místo, kde by chtěl člověk pracovat. Tři vyzpovídaní byli vystavováni stovkám videí denně, které zobrazovaly mučení zvířat, ublížení na zdraví včetně dětí i vraždy a různé jiné trestné činy – jednoduše řečeno to nejzrůdnější, co lidé ne Facebook nahrají, a zároveň to, co by se na něj nikdy nemělo dostat.

Není tak s podivem, že třiadvacetiletý Shawn Speagel byl poté, co práci opustil, diagnostikován s posttraumatickou stresovou poruchou. Všichni tři mluví také o nočních můrách a videa, která musela sledovat třeba několik dní v kuse, si živě a detailně pamatují. Při pomyšlení na týraná zvířata nebo umučené děti propukají v pláč. Dříve z práce neodešli proto, že se báli nezaměstnanosti.

Speagel popsal s pláčem a do detailů první video, které v práci viděl. „Bylo to video teenagerů, kteří našli u cesty leguána. Jeden z nich ho vzal za ocas a jeho hlavou začal mlátit do chodníku. Druhý to celé natáčel a oba se smáli. Slyšel jsem, jak ten leguán křičel, křičel… a pak už ne. Nepřestali, dokud z toho zvířete nebyla jen krvavá dřeň.“

Co víc, pod podmínkami Facebooku, které se mohly měnit každý den, takové video v tu chvíli na internetu zůstat mohlo. Protože se v něm mluvilo španělsky, Speagel ho měl pro posouzení dát na španělsky mluvící oddělení. „Upřímně si nemyslím, že nějaké španělské oddělení existuje,“ vypověděl.

Toto vše ještě stále, v roce 2019, musí dělat lidé a nikoliv stroje, kterým nikdy ze zrůdného obsahu na zvracení nebude. Zatímco ostudné pracovní prostředí může a nemusí být věcí, které je omezeno na konkrétní partnerskou firmu Facebooku, duševní zdraví moderátorů je bezpochyby problémem, se kterým se potýkají všechny sociální sítě. Je tedy Facebook opravdu černým koněm internetu?

Hlavním problémem je, že obsah Facebooku nemá na internetu obdoby. Zatímco například seznamky se musí potýkat typicky se sexuálně explicitním obsahem (nahé fotky nebo různé fetiše), na Facebook míří často horší věci. Má tu nevýhodu, že jej zná a ve vyspělejších státech i používá takřka každý. Je to obecná sociální síť sloužící k mnoha různým účelům, a tak na něm končí také smrt, vydírání, terorismus, obchod se zbraněmi a drogami, týrání a jiná zvěrstva.

Důraz na umělou inteligenci

V podobné pozici, jako je Facebook, se tak nachází i YouTube. Zdroj z české pobočky Googlu pro CzechCrunch řekl, že YouTube míří hlavně k co nejbližší implementaci umělé inteligence. Cílem je, aby YouTube zachytil škodlivý obsah ještě dříve, než ho kdokoliv uvidí. Z nepříjemné povinnosti vidět explicitní videa by tak alespoň v případě YouTube mohli být do budoucna lidští moderátoři zcela vyjmuti, ale zatím tomu tak není.

Moderátor na YouTube jsou jak lidé přímo zaměstnaní Googlem, tak kontraktoři, stejně jako v případě Facebooku. Na pracovišti mají k dispozici kvalifikovaného terapeuta i takzvané silent rooms neboli tiché pokoje na oddechnutí a zbavení se stresu.

Takzvaný Transparency Report, který Google zveřejňuje, však ukazuje na to, že největším problémem YouTube je s velkou převahou spam, nikoliv sexuální, násilný nebo bezpečnost dětí ohrožující obsah. Jen za první čtvrtletí letošního roku YouTube ze své platformy odstranil 2,8 milionu kanálů, z toho 85 % kvůli spamu. Za stejnou dobu odstranil také 8,2 milionu videí. Z nich tvořilo spam necelých 5 milionů, odstraněno ale bylo také více než 1,5 milionu sexuálních videí nebo přes 400 tisíc násilných.

Z grafů lze také vyčíst, že role lidských moderátorů je menšinová. Zatímco automatický systém upozornil na 6,3 milionu závadných videí, lidé na necelé dva miliony videí. Mnohem markantnější je rozdíl u závadných komentářů – ty jsou z 99,3 % detektovány a odstraňovány automaticky. Lidé však stále upozornili na 1,7 milionu závadných komentářů.

Terapeut zatím nebyl potřeba

O dost odlišně přistupují k moderaci svých sítí služby s užším zaměřením, například seznamky. Překvapivě, ačkoliv se jedná celkově o explicitnější síť, v některých ohledech nemusí být z pohledu obsahu tak „problémové“ jako YouTube nebo Facebook.

Například gay seznamka Surge, kterou vyvíjí české studio STRV, má vlastní tým lidských moderátorů, který rovněž plánuje implementovat umělou inteligenci. Ta by měla detekovat falešné profily nebo přímo falešné fotografie celebrit či fotky z fotobank, případně škodlivé hypertextové odkazy. Surge naopak vůbec nezasahuje do soukromých konverzací mezi uživateli, do kterých ani nemá přístup.

„Většinu adminů práce baví, je to super přivýdělek a mohou pracovat v klidu z domova,“ říká CEO Surge Jakub Chour na otázku, zda může být moderace jeho seznamky psychicky náročnou prací. S případy, kdy by nějaký z moderátorů měl psychické potíže, se zatím firma v průměrně jedenáctičlenném týmu nesetkala. „Pakliže by se taková věc objevila, ihned bychom ji začali řešit,“ ujišťuje Chour. Terapeut prý zatím nebyl potřeba.

Seznamka Surge odmítla upřesnit, s konkrétně kterým obsahem se nejčastěji potkává. Jiný zdroj blízký moderaci seznamek v portfoliu STRV upřesnil, že běžná je klasická nahota, různé fetiše, kdy se například lidé fotí pomočení, nebo v krajním případě deep fake obsah a dětská pornografie. Potvrzuje, že moderaci těchto záležitostí mají na starosti lidé, protože „algoritmus si s tím často neporadí“.

Lidští moderátoři fungují i na jiných seznamkách, jak odhalil například rozhovor s moderátorem na serveru Refinery29. Svoji práci popisuje jako zábavu, ve které mu pomáhá automatická detekce potenciálně zábavného obsahu.

Umělá inteligence je drahá

Byť operující pouze v Česku, Lidé.cz je síť, která má zkušenosti z obou úhlů pohledu – dříve fungovala jako klasická sociální síť, dnes už je z ní ale spíše seznamka, která se netají například tím, že na ní lidé hledají pouze flirt. Obsah na ní moderují nižší desítky pracovníků uživatelské podpory, kteří se podle manažera helpdesku Martina Havlíčka potkávají nejčastěji se spamem, nevhodnými příspěvky i fotografiemi a falešnými profily.

Ačkoliv moderátoři na Lidé.cz jsou speciálně trénováni, Havlíček věří, že klíč je ve výběru. Připouští, že moderace Lidé.cz může způsobit psychické problémy, pokud je k nim daný jedinec náchylný. Takový člověk ale podle něj bude mít problém s využíváním jakékoliv jiné sociální sítě.

„Školit člověka, který pro tento typ práce není vhodný, můžete klidně celý život a výsledek bude při nejlepším průměrný,“ říká Havlíček. Ostatně i to byl jeden z problémů ve výše popisovaném případu z Facebooku. Moderátorské firmy lidem často dopředu vůbec neřekly, co budou dělat, a jejich připravenost vůbec neřešily.

Nicméně ani Lidé.cz nevyužívají umělou inteligenci a Havlíček zatím nepočítá s tím, že by v blízké budoucnosti nahradila lidské moderátory. „Navíc umělá inteligence ani automatizace není zrovna levné řešení. Jen na její rozvoj a udržování potřebujete o řád či dva dražší pracovníky, než kteří moderují diskuse dnes,“ poukazuje Havlíček také na finanční aspekt věci.

Moderátoři zůstanou, ale ulehčí se jim

Mezinárodní obr jako Facebook nicméně nemusí finanční aspekt tolik trápit, a tak sociální síť Marka Zuckerberga v reakci na reportáž The Verge implementuje řešení, ve kterých sice umělá inteligence bude figurovat, ale nikoliv jako náhrada lidských moderátorů.

Podle magazínu Fast Company dostanou administrátoři Facebooku k dispozici nástroje jako možnost nepouštět u videa audio, začernění obličejů ve videu nebo jeho předělání do černobílých barev. Budou se také moci rozhodnout, zda fotka nebo video porušuje podmínky Facebooku jen na základě popisku, co k nim náleží. Tyto možnosti už nyní testuje u moderátorů ve Phoenixu a německém Essenu.

Není to totiž poprvé, co se podmínky moderátorů Facebooku dostaly na veřejnost. Průlom v tomto smyslu znamenal již německý dokument The Cleaners, který popisoval realitu moderovacích center v Manile na Filipínách – městě, které se dle tvůrců stalo v podstatě hubem pro outsourcing této činnosti ze strany Facebooku, Googlu nebo YouTube.

I filipínští moderátoři popisovali detailně některé fotografie a videa, které viděli. Když cítili psychické problémy, vedení jim nepomáhalo, a i od nich byla vyžadována naprostá bezchybnost – pouhá tři chybná rozhodnutí za měsíc je mohla stát místo. A snad to nejdůležitější – i zdejší podmínky stály život jednoho z moderátorů.

Patrně kvůli svým psychickým potížím ze zaměstnání, které, nutno podotknout, konzultoval s terapeutkou, se oběsil. Třikrát předtím žádal vedení o přeložení na jiné místo.

„Nikdo nic nedělá“

Jediný rozdíl? Filipínští moderátoři skutečně věří tomu, že svou prací bojují proti terorismu, kyberšikaně, násilí nebo dětské pornografii. V rámci celého dokumentu ji jmenují jako hlavní motivaci k práci. Shawn Speagel, jeden z moderátorů z reportáže The Verge, však mluví zcela opačně.

„Nepomáhali jsme těm zvířatům, ani lidem. Dívali jsme se na video ženy, která uškrtila dítě, a toto video na internetu zůstalo. Nikdo nic nedělá a když už, tak věc, co smažete, se tam stejně objeví znovu. (…) Nedělali jsme svět lepším. Vše, co jsme dělali, bylo, že jsme kryli chyby Facebooku.“

Při všech úvahách o tom, jestli a jak měnit moderaci, je však třeba pamatovat na to, s jakým účelem vůbec byla vytvořena. „Kořeny toho, proč vůbec moderace obsahu na sociálních sítích existuje, je docela jednoduchá ochrana značky a zmírnění zodpovědnosti platformy,“ řekla pro Motherboard Sarah T. Robertsová z University of California.