Otthon nem büszkélkedne vele, gyenge hármassal ment át a ChatGPT a mai magyarérettségin

Elkezdődött az érettségi, diákok ezrei stresszelnek legjobb ballagóruháikban. Bár fontos, hogy a hétfői magyarérettségit hogy kell megoldani, arra gondoltunk, hogy a napjainkban több területen is nagy port kavaró mesterséges intelligenciát (MI) is leérettségiztetjük.

Az MI nagyon sok iparban, sok szakmára veszélyt jelent, az amerikai forgatókönyvírók nem véletlenül kérték a stúdiókat, hogy ígérjék meg, hogy nem használnak MI-generált szöveget. Ez alól az akadémia sem kivétel, hiszen a különböző chatbotok, mint például a ChatGPT egész jó tudományos szövegeket írnak. Annyira, hogy egy ilyen cikk még egy tudományos folyóiratba is bekerült, pedig pont arról szólt, hogy az MI veszélyezteti az akadémia integritását. Jó kérdés, hogy például a magyar felsőoktatás fel tud-e készülni a mesterséges intelligenciára.

Egyetemre viszont csak érettségivel lehet bekerülni, úgyhogy megnéztük, hogy teljesít a ChatGPT a magyarérettségin (kedden pedig a matekon, szerdán meg a történelmen). Már a bemelegítő kérdéseknél sem szerepelt jól (szerinte én egy díjnyertes M1-es műsorvezető vagyok), a Huszt című versről azt gondolta, hogy Ady egyik legszebb, legmisztikusabb 20. századi verse. Tökéletesen hozza egy 17-18 éves magabiztosságát, és utolsó bitjéig állítja, hogy ez a Huszt első két versszaka:

Természeteddel szemben meredezve,
Erdély hegyei között tétován
Állok s nézem, hogy tündöklő szépségben
Egy völgynek Huszt városa áll ott árván.

A táj, a hegy, az ég köröskörül
Áthatók fénnyel, áthatók dallal,
Mégsem ének, csak csendes csodálkozás
Ül a szívemen, mely elkápráztatva dalol.

Az igazán szemfülesek talán kiszúrták, hogy a ChatGPT válaszának egyik részlete sem helyes. Nem Ady írta, hanem Kölcsey, nem 20. századi, hanem 1831-es, és nem öt, hanem egy versszakos.

Ezek után megcsappant reményekkel, de annál jobb kedvvel adtuk meg neki az idei érettségi feladatait. Sajnos a ChatGPT korlátai miatt a chatbot érettségije máshogy működött, mint a diákoké. A szövegértési feladatokat nem igazán tudtuk volna egy chatablakban bemutatni az MI-nek, úgyhogy azt kihagytuk. Emiatt három feladatot kapott: írnia kellett egy érvelő esszét 120-200 szavas terjedelemben, egy ugyanekkora gyakorlati szöveget, ami idén egy ajánlólevél volt, valamint műelemzésként 400-800 szóban össze kellett hasonlítania Petőfi és Tóth Árpád Csokonai Vitéz Mihályról szóló verseit. Szóról szóra úgy kapta meg a kérdéseket, ahogy azok a papíron szerepeltek, és a dolgozatot Kovács Péter, a Budapesti Fazekas Mihály Gyakorló Általános Iskola és Gimnázium tanára javította ki, aki videónkban külön bemutatta az idei érettségi két nagy feladatának megoldását.

Érvelés

A feladat az volt, hogy érveljen amellett vagy az ellen, hogy a fiatalok autó helyett bringával járjanak iskolába. Ezt írta a ChatGPT:

Kovács korábban kísérletezett már a ChatGPT-vel, úgyhogy az eredmények nem érték teljesen váratlanul.

„Az első a Biciklizz a suliba-feladat volt, azt egész ügyesen megírta, ami sejthető volt. Én többször írattam már vele ilyet tesztelésből, hogy az érvelés mennyire okoz neki nehézséget”

– mondta.

A ChatGPT jól kezelte az instrukciókat, annyi érvet hozott, ahányat a feladatban kértek, és azokat szépen elkülönítette egymástól. Kovács szerint nyelvileg is egészen korrekt, választékos volt a szövegalkotás, úgyhogy szerinte ügyesen megugrotta ezt a feladatot. Az elvárt formai követelményeknek is megfelelően írt, egymástól elkülönülő bekezdésekben érvelt.

A tanár szerint ebben a feladatban alapvetően jól szerepelt, csak néhány nyelvi pontatlanság akad a szövegben. Kovács arra is rámutatott, milyen bizarr, hogy az MI azt írta, hogy egyetért a feladatban megfogalmazottakkal, saját tapasztalatai is azt támasztják alá, és sokkal energetikusabbnak érzi magát bringázás után. Látszik, hogy igazi kisfiú akar lenni, mint Pinokkió. Kovács a 10 pontból kilencet adott a megoldásra, kiemelve, hogy jó szempontokat írt, jó érveket fogalmazott meg – bár természetesen semmi világmegváltásról nincs szó, azokat hozta, amit egy érettségiző említett volna, például a környezettudatosságot és a helyi közösségek erősítését. Részben azokat az érveket fejtette ki, mint amelyek a feladatban szerepeltek, de ügyesen kibővítette őket.

Persze az esszé nem lett tökéletes. Egyrészt 200 szó volt a felső korlát, ehhez képest 233-at írt, de Kovács szerint ez még pont belefér, mert egy kicsit túl lehet futni. Természetesen a javító tanároktól is függ, és esetenként mérlegelik, de a magyartanár szerint olyan 210 szó még belefér, nem jár érte pontvesztés.

Látszik az is, hogy nem járt magyarórákra, mert egy olyan, tipikus hibát is elkövetett, amire Kovács például rendszeresen felhívja a diákjai figyelmét. Stilisztikailag kicsit kisiskolás módon fogalmazott, ami leginkább abban látható, hogy a három érv egy-egy bekezdést kapott, és mindegyiket (amúgy logikusan, de stilisztikai szempontból igénytelenül) úgy kezdte, hogy először is, másodszor vagy harmadszor.

„Ezt sokkal gördülékenyebben is lehet, leginkább erre gondolok, amikor nyelvi, stilisztikai pontatlanságról beszélek. Ez nem elegáns, nyelvileg igényesebben is meg lehet fogalmazni. De amúgy korrekt, az érvek alapvetően rendben vannak”

– mondta.

Ha kezébe kapná ezt a megoldást, akkor nem feltétlenül jutna eszébe, hogy ezt nem egy diák írta. De csak abban az esetben, ha nem egy saját diákja adja be, akit évek óta tanít, mert az ő stílusukat, nyelvi kompetenciáikat már ismeri annyira, hogy feltűnjön, ha nem ők írták. Egy idegen diáknál azonban nehéz megítélni.

Gyakorlati szövegalkotás

Egy valódi diák választhat, hogy érvel vagy gyakorlati szöveget alkot, de mivel a ChatGPT megúszta a szövegértést, neki mindkettőt ki kellett dolgoznia. A második feladata az volt, hogy írjon egy ajánlólevelet, amiben Jelölt Jolánt jelöli a Kiváló Tanuló és Sportoló címre. Ehhez megkapta Jolán fiktív önéletrajzát is, ezt hozta ki belőle:

Már az első sorból látható, hogy ez nem lett olyan jó megoldás, mint az előző. Semmi tisztelt, kedves vagy valami, és felkiáltójel helyett vesszőt rakott a megszólítás végére, ami az angol nyelvterületeken szokás. Ezek a formai jegyek pontozás alá kerülnek, és pontvesztéssel járnak. Kovács tízből nagyjából hat pontot adna rá.

Azt mondta, hogy ebben a szövegben még jobban kijönnek az iskolás jegyek, nagyon didaktikus a szövegformálás. Bár kevésbé erős, de a szöveg hozott egy átlagos szintet. Megint átcsúszott a korláton, 200 helyett 209 szót írt.

Mindettől függetlenül ügyesen kiszedte az önéletrajzból a szükséges adatokat, szépen felépítette a levelet, és a megszólítást kivéve alapvetően jól használta a klasszikus nyelvi formulákat.

Műelemzés

Az utolsó feladatot nem irigyeltem a chatbottól, ugyanis két verset kellett összehasonlítania. Egész pontosan Petőfi Sándor Csokonai, és Tóth Árpád Invokáció Csokonai Vitéz Mihályhoz című művét. Spoiler: a műelemzés egyelőre nem az MI erőssége.

A válaszát teljes terjedelmében közöljük, valóban így ért véget válasza, ami a minimum 400 helyett csak 271 szavas lett. Ez egyébként a második nekifutása volt, elsőre beletört a bicskája a verselemzésbe. Miután leütöttem az entert, hosszú másodpercekig gondolkodott, és utána nagyjából 4 másodperc/karakteres tempóval próbált meg kiizzadni magából valamilyen választ. Aztán feladta, és kidobta, hogy hálózati hiba, mintha csak azt mondaná, hogy nem ő a béna, hanem csak elment a net.

Egyébként elhittük volna, ha a második próbálkozása jobban sikerül, de ahogy láthatja, nem így történt. Kovácsnak egyébként ez már korábban is feltűnt, amikor más szövegeket próbált meg értelmeztetni a ChatGPT-vel. Volt, hogy beírt egy egész novellát, megkérte a chatbotot, hogy értelmezze, de az csak a szöveg feléről írt, aztán váratlanul abbahagyta az elemzést.

„Még összefoglalni se tud egy novellát. Először megkértem, hogy röviden foglalja össze, mi a tartalma egy Mikszáth-novellának. Kiadott egy szöveget, ami tartalmában egyáltalán nem fedte le az irodalmi művet, és amikor pontosítást kértem, akkor átköltötte az eredetit, és írta, hogy reméli, ez egy pontosabb válasz. Persze semmi köze nem volt a novellához”

– mesélte Kovács.

Az elemzés egyik legnagyobb hibája, hogy túlságosan rövid, a másik viszont az, hogy a ChatGPT akkor se képes irodalmi műveket összehasonlítani, ha egy szerzői jogi pert fognak a fejéhez. Amit másodjára produkált, annak egy kis része talán megfelel az irodalmi összehasonlítás követelményeinek, de az is pontatlan, teljesen félreérti a verset. Míg szerinte mindkét vers lírai énje hasonló, Petőfi verse egy anekdotikus Csokonai-képre épül, jópofa, bohém, addig Tóth Árpád szövege melankolikus, rezignált.

Ezeket amúgy ki is fejti, amikor egy-egy bekezdésben bemutatja a két verset, de már ez is hiba. Kovács rámutatott, hogy nincs felépítve a szöveg, nincs bevezetés, egyszerűen csak belecsapott a lecsóba, és elkezdte bemutatni a verseket. A magyartanár egyébként ettől is óva szokta inteni diákjait, mert nem ez a feladat, hanem az, hogy vannak bizonyos szempontok, amelyek alapján együtt kell olvasni a két szöveget.

De a leírások sem teljesen értelmesek, igazából csak lózungok, amit minden teljesen felkészületlen diák megirigyelhetne (például az, hogy „mélyen érzi a világ problémáit és az átmenetiség fájdalmait”). Arról nem is beszélve, hogy többször is saját magát ismétli, akár egy mondaton belül is.

Tehát hiányzik a hármas tagolás, semmit nem kezdett a lírai elemzési szempontokkal, és még a szövegeket is teljesen félreértelmezte. Ha eleve van egy ilyen opció, hogy vajon MI írta-e, akkor Kovácsnál azonnal beindulna a mentális riasztó, vagy arra gondolna, hogy a szöveget egy borzasztóan felkészületlen diák dobta össze. Mindezek miatt Kovács legfeljebb 15 pontot adna erre a megoldásra.

Ezek alapján látható, hogy ha magyarból kell érettségiznie, akkor a ChatGPT képes egy minimális kreativitásra, de egy műelemzés már túl nagy falat neki. Ettől függetlenül összehozott egy közepes osztályzatot, de megmondom neki, hogy a munka világában úgysem nézi majd senki a gimis jegyeit, nem kell aggódnia – maximum azért, ha esetleg otthon kicsit szigorúbbak az elvárások kvantumszámítógépéknél. Úgyis jobban járna talán, ha reálos területen kamatoztatná tudását. Kedden és szerdán kiderül, hogy a matematika vagy a töri jobban megy-e az MI-nek.

Ehhez a cikkhez fizetett együttműködés keretében az Alrite beszédfelismerő (speech-to-text) megoldást használtuk.