Přes systémy Apify proteče měsíčně přes petabajt dat. To by nebylo možné bez používání cloudu

Pražský startup se při budování svých produktů spoléhá na silnou infrastrukturu AWS, jež umožňuje rychlé škálování podle aktuálních potřeb.

Peter BrejčákPeter Brejčák

apify-founders-boxed-1

Foto: Apify

Zakladatelé Apify Jakub Balada a Jan Čurn

Automaticky se dívá na webové stránky, a když na nich přibude něco nového, data stáhne a nabídne je na další analýzu. České Apify pomocí takzvaného scrapování ulehčuje život více než tisícovce platících zákazníků po celém světě a dalším tisícům uživatelů v rámci své bezplatné verze. Zatímco případů, jak se dá taková technologie využít v praxi, existuje v podstatě neomezený počet, nejlépe se její fungování přibližuje na neziskových projektech, na nichž sedmiletý startup pracuje – boj s pašeráky dětí, zaznamenávání válečných zločinů i překonávání jazykových bariér migrantů. Při tom všem spoléhá na infrastrukturu Amazon Web Services.

„Scraping je hrozně důležitý nástroj, který na internetu pomáhá vytvářet hodnotu. Nejvíc na celém světě scrapují vyhledávače a přidaná hodnota jejich technologií je jasná – bez vyhledávání by byl internet horším místem,“ popsal již dříve jeden ze zakladatelů a ředitel Apify Jan Čurn pro CzechCrunch.

Když Čurn společně s Jakubem Baladou v roce 2015 Apify zakládali, prošli prestižním akceleračním programem Y Combinatoru v Silicon Valley. Startup tehdy jako jednu z výhod od Amazonu získal dvacet tisíc dolarů v kreditech na využití cloudu Amazon Web Services (AWS). „Tak jsme kolem toho nástroje začali vše stavět. Tímto krokem nám AWS přirostlo k srdci a naše infrastruktura přirostla k AWS,“ usmívá se Čurn.

Za jednu z hlavních výhod této spolupráce Apify označuje to, že kolem řešení od Amazonu může v relativně malém týmu stavět velké věci. Dlouhodobě měl startup například jen jediného člena ve svém DevOps týmu.

marek-trunkat-apify

Foto: Apify

Technologický ředitel Apify Marek Trunkát

„AWS nám také nabízí širokou podporu. Ta začala zmíněnými kredity pro startupy, širokou komunitou připravenou sdílet know-how  a pořádající paletu meetupů až po dnešní přímou podporu ze strany AWS, kdy nám pomáhají efektivněji využít jejich služby z hlediska architektury. Důležité je, že cena služeb je naprosto predikovatelná a škáluje lineárně se zátěží, což nám umožňuje generovat stabilní marži i při rychlém růstu,“ hodnotí technologický ředitel Apify Marek Trunkát.

V konkrétních číslech měsíčně Apify automatizuje kolem 20 milionů úkolů, které zprocesují přes petabajt (tisíc terabajtů) webových dat. V tak velkém objemu optimalizuje mnoha způsoby, jedním z nich je i například využití AWS spot instancí. „Ty nám dovolují v reálném čase nakupovat volné kapacity serverů za výrazně nižší cenu. Jen tohle nám snížilo náklady o čtvrtinu. AWS byl první provider, který tento produkt nabídl,“ říká Trunkát.

Boj s pašeráky dětí i zaznamenávání válečných zločinů

Scraping webů Apify kromě jiného využívá také u neziskových projektů. Jedním z největších je boj s pašeráky dětí – digitální nástroj Spotlight shromažďuje data z eskortních stránek, kde se objevují i inzeráty podezřelé z obchodu s mladistvými. Informace jsou zasílané vyšetřovatelům, kterým pomáhají rychleji nalézt oběti a dopadnout viníky. Za projektem stojí americká nezisková organizace Thorn, technologie funguje právě na řešení startupu a škáluje se i díky AWS.

„Klient za námi přišel sám, když hledal nového dodavatele dat. Jejich předchozí vendor neměl nasazený správný monitoring, takže se stalo, že Thorn přes týden nevěděl, že se nestahují inzeráty z jednoho z portálů. Což je v tomto typu projektu zásadní problém,“ přibližuje Trunkát s tím, že všechna data pro Thorn Apify transformuje na sjednocený formát a následně nahrává do AWS přímo u zákazníka.

Ryanair, Netflix, či Tinder – každý jiným způsobem, ale všichni využívají služeb AWS. Přečtěte si jejich příběhy a objevte možnosti cloudu.

Díky společné práci Thornu a Apify se podařilo identifikovat přes 17 tisíc dětí, z nichž bylo více než deset tisíc navráceno ke svým rodinám. Startup kontroluje přes deset různých portálů, což představuje 13 milionů inzerátů měsíčně, přes 12 milionů telefonních čísel a téměř 80 milionů stažených obrázků z inzerátů.

Podobných projektů pro dobrou věc ale Apify dělá několik. Dalším příkladem je digitalizace kolektivní paměti o válkách. Mezinárodní nezisková organizace Mnemonic uchovává v digitální formě důkazy o porušování lidských práv, ať už jde o reportáže, fotografie, videa nebo další příspěvky. Původně se zaměřovala na válku v Sýrii, nyní na konflikt na Ukrajině.

Startup také pomáhá překonávat jazykové bariéry. Cílem iniciativy Welcome je výzkum a vývoj inteligentních technologií na podporu přijímání a integrace migrantů a uprchlíků v Evropě. Problémem bývá mluvený dialekt lidí, který není zachycen v psané podobě. Pomocí scrapingu ale Apify dokáže najít příklady dialektů ze sociálních sítí a na základě těchto dat pomáhá trénovat umělou inteligenci, jež se učí i tato nářečí překládat.

Je skvělé být součástí rozvoje a expanze společností, jako je Apify. V AWS nabízíme startupům cloudová řešení a rozsáhlou podporu, s jejichž pomocí mohou vybudovat vlastní infrastrukturu rychleji a akcelerovat tak svůj růst. Kromě specializovaného týmu je tato podpora poskytována prostřednictvím programů, jako je AWS Activate, kde startupy získávají zdarma nástroje, zdroje informací, obsah a odbornou podporu, nebo 10týdenní program na míru AWS Startup Loft Accelerator. Ten umožňuje začít pracovat s technologiemi AWS a sdílet know-how,“ říká Tomasz Stachlewski, vedoucí technologií pro oblast Evropy, Afriky a Blízkého východu ve společnosti AWS.

Desítky tisíc českých uživatelů pak další z řešení Apify využívají v rámci Hlídače shopů, který sleduje e-commerce hráče, jestli zákazníkům férově komunikují slevy. Evropská unie totiž definovala, jak se mají zvýhodněné ceny vypočítávat, a tak Apify společně se startupy Keboola a TopMonks vyvinuly nástroj, jež dodržování tohoto nařízení sleduje.

„AWS nám pomáhá při všech těchto činnostech. Je to primárně silná infrastruktura, která nám rychle umožňuje naškálovat jakýkoliv z našich projektů. Když potřebujeme nastartovat tisíce prohlížečů během relativně krátké chvíle, není to problém, stejně tak ani stáhnout terabajty až petabajty dat,“ uzavírá Trunkát.

CC Native

Partnerem článku je Amazon Web Services

Ve virtuální realitě se můžete projít i jadernou elektrárnou Dukovany. Kam se vydáte, určíte rukou

Díky brýlím lze do českých jaderných elektráren vzít celý svět. Tu v Temelíně si prohlédnul i šéf Mezinárodní agentury pro atomovou energii.

Eliška NováEliška Nová

dukovany-ve-vr-6

Foto: ČEZ

Robin Pultera z firmy Brainz Immersive, která ČEZu zajišťuje virtuální realitu

0Zobrazit komentáře

„Systémy běží, obvody vodí a my můžeme vyrazit.“ ČEZ přenesl i druhou českou jadernou elektrárnu do virtuální reality. Podívat se je možné tam, kam smrtelníkova noha normálně nevstoupí. Po cestě se navíc lidé mohou rozhodnout, kam přesně se vypraví.

V prosinci 2021 dostalo návštěvnické centrum Temelína nový, virtuální rozměr. Od té doby si jadernou elektrárnu prohlédlo víc než třicet tisíc lidí. Od loňského listopadu jsou ve virtuální realitě také Dukovany a zážitek je to snad ještě o něco větší.

Komu sebral dech už výlet skrze chladicí věž elektrárny z jihu Čech, ten si možná myslí, že už ho v Dukovanech nic nečeká. Opak je pravdou. Prohlídka starší české jaderné elektrárny je totiž koncipována mnohem interaktivněji. A také otevřeněji. „Ideální je sedět na otočné židli, protože brýle vám umožní se otáčet do všech směrů. Děj se záměrně odehrává vzadu, aby to lidem došlo a prohlédli si opravdu všechno,“ líčí Robin Pultera, šéf společnosti Brainz Immersive, která s ČEZem na vytvářením virtuálních prohlídek spolupracuje.

V případě, že se člověk vydá na prohlídku elektrárny na Vysočině, novinkou pro něj budou ruce. Ty při prohlídce Temelína nevlastní, zato tady s nimi aktivně pracuje. Průvodce z videa dává různé možnosti a po návštěvníkovi chce, aby buď mávl doleva, nebo doprava – podle toho, jakou odpověď strana představuje.

dukovany-ve-vr

Foto: ČEZ

Díky rukám se člověk rozhoduje, kudy se vydá

„Vycházeli jsme z toho, co jsme se naučili v Temelíně. Je to autoplay, to znamená, že se rozdají brýle a sluchátka, lidé si je nasadí a samo se to rozběhne. V Dukovanech to funguje stejně, jen jim tam dodají, ať se ničeho nebojí, že jim přístroj sám naskenuje ruce, bude to intuitivní a sami uvidí, co mají dělat,“ říká vedoucí infocenter ČEZu Kateřina Bartůšková.

Průvodce virtuální realitou na začátku ponoukne, aby si to každý vyzkoušel. Nikdo s tím prý zatím neměl problém. Ten navíc nenastane ani ve chvíli, kdy nebudete dělat vůbec nic, sám přístroj pak vybere jednu z možností. Ruce jsou dobré také v tom, že se lidem, kteří jsou k tomu náchylní, nedělá ve virtuální realitě tolik špatně. Dokážou je totiž uzemnit, i když zrovna stojí ve vzduchu nad obrovskou místností.

Novinkou ve virtuální realitě vysočinské jaderné elektrárny je také to, že informace nepředává jen samotný průvodce, mnohem víc se tady zapojují také zaměstnanci. Ti prozradí například to, že reaktor se neukrývá pod zemí, ale skoro celý nad zemí, nebo proč tu vlastně nosí rukavice. „Jeden by si mohl myslet, že to je proto, aby palivo neuškodilo člověku, ale je to naopak – my nechceme uškodit jemu, třeba nečistotami nebo mastnotou,“ popisuje jeden z nich.

Nastartujte svou kariéru

Více na CzechCrunch Jobs

Do třetice je také novinkou to, že s návštěvníkem průvodkyně přímo mluví a dává mu otázky. Na ty se pak dá opět odpovídat díky rukám a máváním doleva či doprava. „V Temelíně se nám hlavně u dětí stávalo, že vstávaly a chtěly si sáhnout. Proto jsme se chtěli, aby měli návštěvníci možnost o svojí prohlídce rozhodovat,“ říká Bartůšková.

Na jihu Čech se tvůrci poučili také v tom, že odhalují i jinak zakryté přístroje. Pokud jste ve virtuální realitě, uvidíte i to, co je i zdejším zaměstnancům skryto – ve strojovně například turbínu.

Film dlouhý zhruba dvacet minut se běžně promítá v infocentru samotné elektrárny. Brýle ale mají tu výhodu, že s nimi lze i jednoduše cestovat, ČEZ je proto bere na různé akce. Třeba nedávno na olympiádu dětí a mládeže, kterou pořádal Český olympijský výbor. Před stánkem se prý stály fronty a během pár hodin se do srdce výroby elektřiny z jádra podívaly stovky dětí.

dukovany-ve-vr-3

Foto: ČEZ

Strojovna, místo, kam se běžný smrtelník nedostane

Nemusí jít ale zdaleka jen o ty nejmenší. Jaderná elektrárna v Temelíně navštívila v brýlích také mezinárodní konferenci OSN o změně klimatu COP 27. V anglické verzi si ji tam prohlédl mimo jiné i Rafael Grossi, šéf Mezinárodní agentury pro atomovou energii. Prý byl nadšený. „Je to skvělé. Máte tak malou věc, s níž můžete vzít do Temelína celý svět,“ říká Bartůšková.

Běžně elektrárnu, respektive její infocentrum, navštěvují školou povinní. Od základní až po vysoké školy tvoří žáci a studenti během školního roku valnou část těch, kteří tudy projdou. Za rok je to na 40 tisíc lidí. Za několik měsíců ale přijde i hora k Mohamedovi. ČEZ plánuje brýle vzít a vyrazit s nimi do škol.

„Ze škol máme dobré odezvy i z jiných projektů. Třeba nyní je ve školách, ale i v některých domovech pro seniory, divadelní platforma Brejlando. Technologie pomáhá udržet dětskou pozornost,“ uvádí Pultera z Brainz Immersive. Celý zážitek ale studio hodlá posunout ještě dál. Sází na nové technologie, které zlepší obraz, víc budou využívat také interaktivitu. Budoucí projekty by tak měly být hravější.

dukovany-ve-vr-1

Foto: ČEZ

Infocentrum jaderné elektrárny. Brýlí tady mají padesát

V ČEZu už mají ostatně další projekt vymyšlený. Rádi by tu zobrazili celou životní cestu elektřiny. „Chtěli bychom, aby si lidé uměli představit, jak vzniká, kudy elektrárnu opouští a co všechno se musí stát, aby se dostala až do zásuvek,“ uvádí Bartůšková. Dukovany mimochodem zásobí elektřinou na dvacet procent české spotřeby, o dalších dvacet se stará Temelín. Čtyřicet procent elektřiny v Česku má tak původ v jádru.

superman-james-gunn-01

Přečtěte si takéNový Superman funguje. Jak dokázal, že superhdinové pořád baví?Nový Superman funguje a lidé se na něj hrnou. Jak dokázal, že únava ze superhrdiny není skutečná?

Virtuální realita se minimálně ve státní společnosti osvědčila. Hlavně proto, že se díky ní daří bořit mýty. Kdo si představuje, že se v jaderné elektrárně děje něco nekalého, díky prohlídce zjistí, že není důvod mít takový strach. „Toho, co si skutečně umí představit, se člověk bojí daleko méně,“ říká šéfka infocenter.

Kdo by si chtěl obě české jaderné elektrárny prohlédnout, musí navštívit právě jejich infocentra, variantou je ale také koupit si domů vlastní brýle. Podle Pultery začínají být dostupné a v současnosti stojí kolem deseti tisíc, tedy obdobně jako třeba tablet nebo herní konzole. Prohlídky jsou navíc i v angličtině a otevřené celému širokému publiku Meta Questu. To má komunitu asi dvaceti milionů lidí. Temelín už v nabídce pro domácí virtuální realitu je, Dukovany se k němu brzy přidají.