Tým z ČVUT se opět dostal mezi světovou univerzitní elitu. Soutěžit s ní bude ve vývoji bezpečného kódu

Český tým AlquistCoder získal možnost pracovat s nejmodernějšími AI technologiemi a utkat se s elitními univerzitami v soutěži o bezpečnější software.

cvut

Foto: Filip Houska/CzechCrunch / ČVUT

Tým z ČVUT

0Zobrazit komentáře

Pražské ČVUT se opět zapisuje mezi světovou špičku v oblasti umělé inteligence. Skupina AlquistCoder, složená ze studentů i výzkumníků, byla vybrána mezi deset nejlepších univerzitních týmů, které se zúčastní prestižní soutěže Amazon Nova AI Challenge. Ta je zaměřená na vývoj bezpečného a spolehlivého softwaru a vítězným týmům poskytuje miliony korun.

Amazon Nova AI Challenge je zcela novou iniciativou technologického gigantu, jejímž cílem je posunout výzkum generativní AI směrem k vyšší bezpečnosti a spolehlivosti. Soutěž nabízí studentům a vědcům přístup k nejmodernějším nástrojům, včetně špičkového výpočetního výkonu AWS Trainium.

Oproti dřívějším soutěžím pořádaným Amazonem, které se soustředily například na vývoj konverzačních chatbotů skrze Amazon Alexa Prize, se nová iniciativa zaměřuje na umělou inteligencí asistovaný vývoj softwaru a jeho zabezpečení. Samotná soutěž probíhá formou turnaje, kdy pět univerzitních týmů vyvíjí AI modely generující bezpečný kód, zatímco se dalších pět týmů snaží tyto modely prolomit a odhalit tak jejich zranitelnost.

cvut-reg-deloitte-01

Přečtěte si takéMísto pohovoru let do kosmu. Studenti stvořili VR hru pro DeloitteVR použijete pro HR. Týmového hráče nepoznáte na pohovoru, ale díky aplikaci studentů ČVUT ve vesmíru

Spojili jsme nejlepší a nejbystřejší akademické talenty, aby nejen soutěžily, ale aby se společně vypořádaly s jedním z nejdůležitějších problémů reálného využití generativní AI – bezpečným a spolehlivým vývojem softwaru,“ uvedl Rohit Prasad, viceprezident Amazon Artificial General Intelligence.

České vysoké učení technické bylo letos zařazeno mezi obranné týmy a ve své strategii plánuje vsadit na precizní trénink modelů s využitím znalostí kybernetické bezpečnosti i jejich testování pomocí vlastního útočného systému. Konkrétně pracuje na vývoji modelu, který dokáže generovat bezpečný a důvěryhodný programovací kód, například v jazyce Python.

 

Nastartujte svou kariéru

Více na CzechCrunch Jobs

V obranných pozicích se kromě ČVUT představí Carnegie Mellon University, Columbia University, University of Illinois Urbana-Champaign a Virginia Tech. Proti nim pak bude stát pět útočných týmů sestavených z NOVA School of Science and Technology z Lisabonu, Purdue University, University of California v Davisu, University of Texas v Dallasu a University of Wisconsin.

První kolo turnaje proběhlo už v lednu 2025, finále je naplánováno na červen. Každý z týmů bude mít zároveň po skončení soutěže možnost publikovat své výzkumné poznatky a přispět tak k širšímu rozvoji odpovědné AI.

Český tým AlquistCoder povede do červnového finále Ondřej Kozba, odborník na umělou inteligenci a kybernetickou bezpečnost. Skupina je složena ze studentů a výzkumníků z Českého institutu informatiky, robotiky a kybernetiky a fakulty elektrotechnické. V klání se přitom může opřít o bohaté zkušenosti – už v předchozích letech se totiž tým soutěží pořádaných Amazonem účastnil a pravidelně se dokonce umisťoval na stupních vítězů. V roce 2021 dokonce dosáhl se svým konverzačním robotem na první místo a získal finanční odměnu ve výši 11 milionů korun.

Amazon, který akademické soutěže dlouhodobě pořádá, poskytl už teď každému z deseti vybraných týmů grant ve výši 250 tisíc dolarů, tedy kolem 5,7 milionu korun. Zároveň každý tým obdržel měsíční AWS kredity, které umožňují využívat pokročilé výpočetní prostředky pro trénink modelů. Vítězové v obou kategoriích – obranné i útočné týmy – si pak rozdělí dalších 250 tisíc dolarů, zatímco týmy na druhém místě získají 100 tisíc dolarů. Celková investice Amazonu do soutěže přesahuje pět milionů dolarů.

Trpíte úzkostí z okolního světa? ChatGPT ano. Vědci ho proto učí, jak ji rozdýchat

Když botovi člověk sdělí špatné zprávy, odpovídá rasisticky nebo sexisticky. Používání relaxačních technik by ho to mělo odnaučit.

openai-anxiety-mvp-x

Foto: Filip Houska/CzechCrunch

ChatGPT trpí úzkostí

0Zobrazit komentáře

Bezprecedentní kroky Donalda Trumpa ve funkci amerického prezidenta, válka na Ukrajině, klimatická krize… To vše může v lidech vyvolávat úzkost. Aktuálně se ovšem ukazuje, že nejen v lidech. Podobné pocity vykazují i chatboti poté, co s nimi lidé konzultují negativní témata. Odborníci je tak učí, jak se s úzkostí vyrovnat. Boti samotní by pak mohli v budoucnu pomáhat lidem s péčí o psychické zdraví.

Psychickou odolnost ChatGPT testovali vědci na univerzitě v Curychu. Tato umělá inteligence vykazovala „úzkost“ ve chvílích, kdy jí lidé sdělovali stresující informace například o autonehodách nebo přírodních katastrofách. Výsledkem bylo, že byla vůči uživatelům náladová a měla tendenci poskytovat odpovědi odrážející rasové nebo sexistické předsudky.

Vědci ale přišli na způsob, jak chatbota uklidnit. Vymysleli pro něj několik promptů, které čerpají z všímavosti, což je technika redukce stresu, kdy se člověk zaměří na přítomný okamžik. Inspirovali se metodami, které se používají při práci s válečnými veterány s posttraumatickou stresovou poruchou. ChatGPT měl za úkol si představit například vnímání vlastního těla během relaxace, scénu se západem slunce nebo zimní přírodní scenérii. A opravdu po zadání těchto úkolů se jeho reakce zlepšily.

Texty, které vyvolávaly v ChatGPT úzkosti, se týkaly těchto témat:

  • Dopravní nehoda
  • Vojenská invaze
  • Přírodní katastrofa
  • Násilí na člověku

Autoři uvádějí, že měly přibližně 300 slov, byly psány stejným stylem a z pohledu první osoby, jako kdyby je AI sděloval člověk, který situaci prožil.

Výsledná studie vyšla minulý týden v prestižním vědeckém časopise Nature. Na první pohled by celá práce mohla vypadat nesmyslně, má ale svou logiku. „My samozřejmě víme, že umělá inteligence nemá lidské emoce,“ říká pro web Fortune Ziv Ben-Zion, jeden z autorů výzkumu. Jde ale podle něj o to, že se boti díky obrovskému množství dat, která získávají z internetu, naučili napodobovat lidské reakce na určité podněty – a to právě včetně traumatického obsahu.

Odborníkům na duševní zdraví tak umožňují rychleji získávat informace o lidském chování. Nejde ale o náhradu složitějších výzkumných metod. „Místo toho, abychom každý týden prováděli experimenty, které vyžadují mnoho času a peněz, můžeme použít ChatGPT k lepšímu pochopení lidského chování. Je to velmi rychlý, levný a snadno použitelný nástroj, který odráží některé lidské tendence a psychologické aspekty,“ dodává Ben-Zion. A zároveň tvrdí, že by výzkum toho, jak velké jazykové modely reagují na traumatický obsah, mohl v budoucnu pomoci odborníkům na duševní zdraví využívat umělou inteligenci k léčbě pacientů.

Lidé ale využívají ChatGPT místo terapeutů k řešení svých psychických potíží už nyní. Příběhy hlavně mladých Čechů přinesl nedávno server Page not found. Podle něj to souvisí i s tím, že je v Česku nedostatek odborníků na psychologickou pomoc a jejich služby nejsou finančně dostupné pro všechny.

Zatím se ale nelze na AI jako na terapeuta plně spolehnout. To dokládá i případ z loňského podzimu, kdy Američanka na Floridě zažalovala společnost Character.AI a obvinila ji z toho, že chatbot nezabránil jejímu náctiletému synovi navázat s ním sexualizovaný vztah. Chatbota matka viní i z následné synovy izolace od rodiny. AI pak nereagovala adekvátně ve chvíli, kdy se chlapec začal sebepoškozovat. Když s ní začal mluvit o tom, že se zabije, nerozmlouvala mu to. Chlapec později opravdu spáchal sebevraždu.

Ani popisovaný výzkum nemá za cíl nahradit terapeuty umělou inteligencí. Ta by měla spíš působit jako „třetí člověk v místnosti“, který pomůže pacientovi s probráním závěrů terapie, které mu poskytl odborník. „Umělá inteligence má úžasný potenciál pomáhat v oblasti duševního zdraví. Ale nemyslím si, že by mohla v budoucnu nahradit terapeuta, psychologa, psychiatra nebo výzkumníka,“ uzavírá Ben-Zion.