Získá umělá inteligence univerzitní titul? Odborníci z FIT zkoumají dopad AI na vzdělávání

"Nemá smysl zavírat oči, technologie umělé inteligence tu je a bude. Namísto jejího zakazování bude pro studenty i pedagogy důležité naučit se ji správně využívat," vysvětluje Kamil Malinka z FIT VUT. Společně s dalšími kolegy vydal loni na podzim studii On the Educational Impact of ChatGPT: Is Artificial Intelligence Ready to Obtain a University Degree?. ChatGPT podle něj může studentům skvěle sloužit k brainstormingu či rychlejšímu získávání informací, kreativní řešení ale nabídnout neumí.

Některé z českých vysokých škol ruší kvůli ChatuGPT teoretické bakalářské práce. Změní AI vysokoškolské vzdělávání?

Určitě ano. Jedna z prvních reakcí akademické obce byla oprávněná obava z podvádění, kdy studenti velmi rychle přijali tuto technologii a začali je efektivně využívat i tam, kde neměli, což na některých školách vedlo k jejímu zákazu. Myslím však, že panika už trochu pominula. Zneužívání technologie je možné vyřešit tak, že se zapojí lidská složka - studenti se budou zkoušet ústně a obdobně provádět testy. Některé vysoké školy namísto bakalářských prací teď zavádějí praktičtější úlohy, kde je nutná invence studenta. Vysoké školy drží napříč Evropou konzistentní přístup a vydávají doporučení pro studenty, jak je vhodné technologii využívat. Skloňuje se nějaká akademická integrita a důraz na svědomí studentů - pokud by technologii zneužívali, okrádají sami sebe o znalosti a možnost úspěchu.

Dá se očekávat - jak říkáte v názvu své studie - že umělá inteligence získá univerzitní titul?

Pokud pomineme potřebu člověka, který ji musí použít, tak v některých aspektech je rozhodně konkurenceschopná. Dosavadní testování ukázalo, že u některých odborných problémů nemá dostatečně hluboké a spolehlivé znalosti. Zaregistroval jsem ale výzkum, kdy byl ChatGPT využit k absolvování zkoušek na právnickou vysokou školu v USA. A zvládl to, byť byl mezi nejhoršími. Na řešení některých - především znalostních - typů úloh je to mocný nástroj. Jinde ale dost selhává. Umělá inteligence nepřinese nové myšlenky, bude vždy parafrázovat už existující řešení.

Jakým způsobem probíhal váš výzkum ChatuGPT?

Na našem oboru jsme zaměřeni na kybernetickou bezpečnost. Před rokem jsme vzali kompletní zadání písemek a projektů z různých předmětů a nechali je chatbot vyřešit. Obsahem byly testové otázky i komplikovanější úkoly včetně programování kódu, ale i variace na kyberpezpečnostní cvičení Capture the Flag (CTF). Hodnotili jsme pak jak pouhé "hloupé" použití chatbotu, kde se použily výsledky bez jakékoliv úpravy, tak i pokročilejší způsoby, kdy došlo k jisté interpretaci výsledků studentem nebo i aktivního využití chatbotu jako asistenta při řešení. Výsledky jsme porovnali s reálnými studenty a byly překvapivé. Chatbot dosahoval průměrných až nadprůměrných výsledků - většinu úkolů zvládl na E nebo D. Kvantitativně jsme vyjádřili sílu tohoto nástroje, ale naznačili jsme i pozitiva.

Jak tedy mohou studenti ChatGPT používat k zefektivnění studia?

ChatGPT se za poslední rok stal hodně populární a používají ho nejen studenti, ale i pedagogové. Je to skvělý nástroj umožňující vyhnout se repetitivním činnostem, jako jsou rešerše, a uspořenou energii věnovat návrhu kreativních řešení. Skvěle se dá použít i pro brainstorming - např. máte pět myšlenek a požádáte ho o doplnění dalších tří relevantních. Studenti ho mohou používat i jako konzultační asistenční nástroj - pokud potřebují něco vysvětlit či dohledat. Jenom musí počítat s tím, že i tato technologie se může mýlit. Pokud má text nějakou kvalitu, může student chatbot využít pro kontrolu jazyka, úpravu stylistiky či zakomponování klíčových slov. To je úplně v pořádku.

Existují nějaké kontrolní mechanismy, jak zjistit, zda student při psaní diplomové práce podváděl a nechal ji celou vygenerovat ChatemGPT?

Ačkoliv detekční nástroje existují, rozhodně nejsou spolehlivé. Pokud si student vygeneruje diplomku, tak se nedá poznat, zda to napsal sám, koupil si ji na černém trhu nebo je to celé dílo AI. Pocitově to nějak zkontrolujete, ale nemáte jistotu ani měřitelné parametry. Některé testovací nástroje zkoušely využít lingvistickou analýzu - zda AI nepíše texty s odlišnou strukturou než člověk, ale výsledky nebyly průkazné.Mimochodem, po zveřejnění ChatuGPT klesl v Keni o 1/3 objem objednávaných falšovaných diplomek, které zde psali pro americký trh. Vidíme tak reálné dopady nejen na vzdělávání.

Přináší AI pro vzdělávání nějaká rizika? Třeba pro studenty a jejich osobní rozvoj?

Dle mého je to nástroj jako každý jiný. Samozřejmě svým způsobem převratný a mocný, ale nabízí se paralela s kalkulačkou. Samozřejmě chceme, aby studenti zvládali základy a uměli počítat z hlavy a ručně, ale od určité úrovně zvládnutí znalostí jim můžeme dovolit využívat i kalkulačku, která vše vypočítá rychleji a my se tak můžeme zaměřit na další oblasti.Obdobné je to u kontroly pravopisu - všichni umíme česky, ale používáme v dokumentech nástroje pro kontrolu gramatiky. Není důvod, aby si studenti nepomohli nějakým nástrojem a nezefektivnili svou práci.

Hlavní riziko tkví v tom, že studenti začnou AI využívat ve chvíli, kdy ty základní znalosti ještě nemají. Sami ale začínají chápat, že tím hlavně okrádají sami sebe a svoji budoucnost. Kdo to myslí se studiem i kariérou vážně, tak si nejdřív osvojí základní vědomostní bloky. Technologie umožní lidem, kteří nemají znalosti, generovat průměrné výsledky. Ale rozhodně jim neumožní produkovat excelentní výsledky. Excelentním lidem pak výrazně zvýší produktivitu.

Jak k ChatuGPT přistupujete na Fakultě informačních technologií?

Podvádění zatím tolik hlídat nemusíme, protože většina prací je implementačních - student musí něco naprogramovat dle zadání. Text je u nás na rozdíl od jiných vědních oborů méně rešeršní. Více se bavíme spíše o tom, jak AI vhodně začlenit do výuky. Naší povinností je absolventy připravit na to, aby fungovali v moderním prostředí. Nemůžeme tak skrývat, že tato technologie existuje, protože můžeme očekávat, že ji budou v praxi potřebovat. Informační technologie se rychle vyvíjí a my do studentů informatiky potřebujeme dostat stále větší množství informací. Učení s využitím AI jim tak může zefektivnit celé studium.

Z toho ale plynou další otázky. Máme studenty učit programovat? Nebo je efektivnější je správně naučit prompt engineering AI nástrojů?

To jsou samozřejmě otázky, které průběžně řešíme. Nicméně náš cíl je jasný. Chceme, aby naši absolventi tyto nové nástroje vymýšleli a vyvíjeli, a ne pouze používali.

zVUT.cz/ foto: Václav Koníček