Když Panos Ipeirotis, profesor z prestižní Stern School of Business při New York University, začal opravovat domácí úkoly svých studentů, něco mu nesedělo. Práce nebyly jen dobře zpracované. Působily spíše jako profesionální studie, navíc po několika kolech editací v rukou zkušených konzultantů. Řecký rodák a držitel prestižní Lagrangeovy ceny tak okamžitě pochopil, že tradiční vzdělávání právě narazilo na zeď jménem generativní AI.

Aby svou domněnku ověřil, začal studenty náhodně zkoušet ústně přímo během hodin. Výsledek byl alarmující. Mnozí nebyli schopni obhájit vlastní práci ani po dvou doplňujících otázkách. A rozdíl mezi precizním psaným projevem a tápavým mluveným výkonem byl podle profesora příliš výrazný na to, aby šlo o pouhou nervozitu. „Pokud student nemůže obhájit vlastní projekt naživo, pak písemný výsledek neměří jeho skutečné znalosti,“ shrnul na svém blogu, kde popsal devítidenní experiment, prostřednictvím kterého se pokusil na nešvar nové doby vyzrát.

Využívání AI při studiu dávno není novinkou a mnoho firem už ladí nástroje, které mají studentům s učením pomáhat. Jakmile ale chatbot začne „myslet“ místo uživatele, ve školách nastává problém. Logickou reakcí na všudypřítomnou umělou inteligenci by byl návrat ke klasickým písemným testům v učebnách. Ipeirotis je se svým kolegou Konstantinosem Risakosem sice zavedl, ale vyřešil tím jen polovinu problému. Potřeboval totiž ověřit také to, zda se studenti skutečně poctivě podíleli na svých celoročních týmových projektech.

V éře nástrojů, jako jsou Gemini nebo NotebookLM, je ale triviální nechat si vygenerovat sofistikovanou prezentaci k tématu, jemuž se student ve skutečnosti vůbec nevěnoval. Ani psaní esejí o tom, kdo v týmu co dělal, už nedává příliš smysl, i zde může snadno převzít iniciativu umělá inteligence. Jako jediná cesta k ověření skutečných znalostí se tak nabízí dialog, který je však při desítkách studentů pro vyučující logistickou noční můrou.

A právě tehdy vznikl nápad bojovat s ohněm ohněm. Dvojice lektorů se rozhodla naplno využít nástroje umělé inteligence a vytvořit si „třetího parťáka“, který za ně část zkoušení převezme. K vývoji virtuálního zkoušejícího využili technologii konverzační AI od společnosti ElevenLabs, londýnského startupu se silnou českou stopou, jehož první investiční kolo vedl tuzemský fond Credo Ventures.

Nástroj uživatelům výrazně zjednodušuje práci tím, že do jednoho balíku spojuje technicky nejsložitější části konverzačních systémů, například převod řeči na text, syntézu hlasu či mechanismy, které automaticky řídí průběh rozhovoru a střídání mluvčích. „To bylo velké překvapení. Základní verzi agenta pro prostředí s nízkými nároky, například pro ověřování znalostí u jednoduchého úkolu, lze spustit doslova během několika minut. Stačí zadat pokyn popisující, na co se má studenta ptát, a systém je okamžitě připraven k použití,“ dodal Ipeirotis k experimentu.

Pro zvládnutí komplexního průběhu zkoušky profesor celý proces rozdělil mezi několik specializovaných modelů umělé inteligence, které si práci předávají v přesně daném sledu. První model funguje jako digitální vrátný, ověří identitu studenta a bez platného přihlášení ho do systému vůbec nevpustí. Následně přebírá konverzaci další AI model, který má detailně nastudovaná data o konkrétním projektu, díky čemuž neklade obecné dotazy, ale vede cílenou odbornou debatu. Celý proces pak završuje třetí model umělé inteligence, který se zaměřuje na praxi a provede zkoušeného řešením konkrétní případové studie.

Virtuální zkouška ušetřila tisíce korun

Profesor navrhl dvoudílnou zkoušku. V první části agent se studentem vedl rozhovor o jeho konkrétním projektu a šel do hloubky. Ptal se na cíle, volbu dat i možné body selhání. „Právě zde strategie ‚AI mi pomůže‘ selhává. Bez skutečných znalostí je prakticky nemožné v reálném čase improvizovat konzistentní a odborné odpovědi,“ dodává lektor. Ve druhé části ústní zkoušky si pak agent vybral jednu z probíraných případových studií a vedl se studentem strukturovaný dialog, v němž se doptával na detaily.

Výsledky devítidenního experimentu ukázaly, že využití umělé inteligence nešetří jen čas, ale i peníze. Při tradičním ústním zkoušení by každý student zabral zhruba půl hodiny čistého času. U třídy o 36 studentech by to znamenalo přibližně 30 hodin práce.

Podle profesora si výukoví asistenti účtují přibližně 25 dolarů za hodinu, což by celkové náklady na zkoušení posunulo zhruba na 750 dolarů (cca 15 tisíc korun). Pokud by se na hodnocení měli podílet samotní vyučující, je velmi pravděpodobné, že by univerzita takovou formu zkoušení vůbec neschválila. Důvod je prostý: ústní zkoušky vyžadují příliš mnoho času vysoce kvalifikovaných lidí a při větších kurzech se nedají efektivně škálovat. Umělá inteligence zvládla tentýž proces za 15 dolarů (kolem 300 korun) pro celou třídu, a tak se náklady na jednoho studenta smrskly na přibližně deset korun.

Když je robot příliš přísný

První verze experimentu však narazila na nečekaný lidský faktor. Ipeirotis nechal pro agenta naklonovat hlas svého kolegy, protože zněl technicky nejlépe. Studenti však byli v šoku. Tón hlasu byl podle nich až příliš přísný, což negativně ovlivnilo jejich výkon. AI agent navíc zpočátku na studenty sypal několik komplexních otázek najednou. Profesoři tak museli do kódu implementovat jasná pravidla. Jedna otázka v daný moment, žádné parafrázování a dostatek času na rozmyšlenou bez agresivního dotírání.

Nejzajímavější zjištění přišlo s hloubkovou analýzou výsledků, k níž lektoři využili kombinaci tří nástrojů – Claude, Gemini a ChatGPT. Ta odhalila, že studenti plošně propadali v otázkách na téma experimentování. Externí hodnocení pomocí AI tak ukázalo na to, že se lektoři této látce ve výuce věnovali jen okrajově. Výsledky se proto staly nečekaným zrcadlem, které odhalilo slabiny samotných vyučujících.

Reakce studentů byly rozporuplné. Celých 83 procent z nich považovalo formát za stresující, přesto 70 procent uznalo, že zkouška prověřila jejich skutečné porozumění látce nejlépe ze všech dosavadních metod. A tak je podle Ipeirotise budoucnost moderního testování znalostí jasná: řešením není zákaz AI, ale návrat k podstatě učení. K živému dialogu, kde se nehodnotí jen výsledek, ale schopnost obhájit si cestu, která k němu vedla.

Aby Ipeirotis názorně ukázal, jak daleko se dnes technologie posunula, zveřejnil funkční ukázku hlasového agenta, který je díky své přirozenosti a okamžitým reakcím na telefonu prakticky k nerozeznání od skutečného člověka. Klade otázky, jako by šlo o ústní zkoušku, a dokáže pružně reagovat i ve chvíli, kdy se konverzace stočí zcela jiným směrem. K experimentu se lze dostat přímo prostřednictvím Ipeirotisova blogu a pro technologické nadšence jsou navíc k dispozici konkrétní prompty, díky nimž si mohou podobného hlasového agenta vytvořit sami.