Hættum eltingar­leiknum við „gervi­greindar­svindl“ – endur­hönnum prófin í staðinn

Það er ekki oft sem helstu sérfræðingar í gervigreind segja okkur hreint út:

„Þetta gengur ekki.“

Fyrrverandi rannsakandi hjá OpenAI, Andrej Karpathy, gerði einmitt það nýlega. Hann hvatti skóla til að gefast upp á því að reyna að finna gervigreindar skrifað heimanám og færa matskerfið aftur inn í kennslustofuna. Rökin hans eru bæði óþægileg og sannfærandi: gervigreindar greiningar virka ekki áreiðanlegar, og munu líklega aldrei gera það.

Um leið og háþróuð módel geta skrifað heilar ritgerðir, leyst raunvísindi dæmi og jafnvel hermt eftir rithönd nemenda, verður ómögulegt að greina hvaða texti er manneskjuverk og hvaða texti kemur úr skýinu. Í slíkum aðstæðum er spurningin ekki lengur: „Getum við komið í veg fyrir þetta?“ heldur:

Hvernig umbreytum við matskerfinu þannig að það verði sanngjarnt og raunhæft í heimi þar sem gervigreind er alltaf til staðar?

Gervigreindar greiningar: Ótrygg lausn sem skapar ósanngjarnt mat

Skólar víða um heim hafa reynt að leysa vandann með svokölluðum „greiningartólum“ sem eiga að finna hvort texti sé skrifaður af gervigreind. Það hljómar einfalt: ef gervigreind getur skrifað texta, hlýtur önnur gervigreind að geta fundið hann.

Vandinn er bara sá að þetta stenst ekki í framkvæmd.

Rannsóknir síðustu missera hafa sýnt að þessi verkfæri eru ótrúlega óáreiðanleg, sérstaklega þegar:

• textinn er blandaður (hluta til mannlegur, hluta til gervigreindar),
• nemandinn gerir smávægilegar breytingar á texta,
• nemandinn er með aðra móðurmálsfærni en ensku,
• eða módelin sem notuð eru eru nýrri en greiningartólið þekkir.

Það sem verra er: rangar ásakanir eru orðnar raunverulegt vandamál. Í nokkrum háskólum erlendis hafa saklausir nemendur verið sakaðir um svindl á grundvelli gervigreindargreininga sem síðar reyndust einfaldlega hafa skáldað niðurstöður. Stundum var akademískt ferli nemenda sett í uppnám mánuðum saman vegna túlkunar sem tækið sjálft var ekki hannað til að ábyrgjast.

Þegar framtíð nemanda hangir á kló greiningartækis sem sjálft getur haft rangt fyrir sér í stórum stíl, er ekki lengur um sanngjarnt mat að ræða.

Allir nemendur með gervigreind í vasanum

Á sama tíma og skólarnir reyna að elta uppi „svindl“, hefur hegðun nemenda breyst hraðar en kerfið nær að bregðast við.

Kannanir sýna að langflestir háskólanemar nota nú gervigreind — ekki bara til að skrifa efni, heldur til að:

• skýra hugtök,
• finna uppbyggingu texta,
• safna efni,
• læra ný atriði á eigin hraða.

Þetta er orðið jafn eðlilegt og að nota stafsetningarforrit eða Google-leit. Þegar tækið er orðið hluti af daglegum venjum, og notkunin nánast ógreinanleg, verður „svindlveiði“ einfaldlega tilgangslaus.

Spurningin er því ekki:

„Hvernig náum við þeim sem nota gervigreind?“

heldur:

„Hvernig metum við hæfni nemenda í heimi þar sem allir nota gervigreind?“

Rannsóknir sýna: Mat þarf að breytast, ekki nemendur

Nýlegar fræðigreiningar draga allar sömu ályktunina:

gervigreind breytir ekki bara textanum, hún breytir eðli matsins.

Hér eru nokkur lykilatriði sem rannsóknir og sérfræðingar leggja til:

1. Heimanám á ekki lengur að vera burðarás mats

Rannsóknir í Ástralíu, Bretlandi og Bandaríkjunum sýna að kennarar treysta sífellt minna á heimasamdar ritgerðir sem lokamat á hæfni. Það er einfaldlega of auðvelt að fá hjálp – og það er ekki hægt að vita hversu mikið hún var.

2. Færa matsferlið inn í kennslustofuna

Þetta felur í sér:

• skrifleg próf á staðnum,
• munnlegar kynningar eða vörn,
• lausnir á blaði með skref-fyrir-skref röksemdafærslu,
• verkefni sem kennari fylgist með í rauntíma.

Þegar kennari sér hugmyndaflugið, vinnubrögð og skilning nemandans beint, er óþarfi að spá í uppruna texta.

3. Meta ferlið, ekki bara lokaafurðina

Margar rannsóknir leggja til að gefa einkunn fyrir:

• hugmyndavinnu,
• drög,
• samskipti við kennara,
• ígrundun á því hvernig gervigreind var notuð.

Þetta dregur úr hvöt til svindls og eykur gagnsæi.

4. Leyfa gervigreind – en með ábyrgð

Þegar gervigreind er leyfð á að:

• skila promptum með verkefni,
• útskýra hvað var gert og hvað var breytt,
• ræða hvernig nemandinn leiðrétti villur.

Svo einfalt er það: ekki banna tækið heldur kenna notkun þess.

Hvað þýðir þetta fyrir Ísland?

Við erum lítið samfélag og getum hreyft okkur hratt. Í stað þess að reyna að beita óáreiðanlegum greiningartólum getum við orðið fyrirmynd í að móta skynsamlegt matskerfi.

Hér eru raunhæfar tillögur:

1. Minnka vægi hefðbundinna heimaritgerða

Leggja meiri áherslu á mat sem á sér stað í skólanum sjálfum.

2. Merkja verkefni skýrt: „gervigreind leyfð“ eða „gervigreind bönnuð“

Að vera heiðarlegur um leikreglurnar er sanngjarnara en að treysta tálsýn um algert bann.

3. Auka vægi munnlegs mats og samtals

Ef nemandi getur ekki útskýrt ritgerðina sína með eigin orðum, þá skiptir ekki máli hver skrifaði hana.

4. Kenna gervigreindarlæsi

Það er hluti af stafrænu læsi framtíðarinnar að kunna að spyrja góðra spurninga, greina gagnsemi svara og bera kennsl á villur.

Frá svindlveiðum yfir í raunverulega hæfni

Við getum haldið áfram að eyða ómetanlegum tíma í að elta uppi gervigreindarskrifað heimanám – verkefni sem líklega verður óratækilegt að ná utan um. Eða við getum gert það sem raunverulega þarf:

• breytt prófum,
• breytt verkefnum,
• breytt matsaðferðum,
• og tryggt að nemendur verði bæði leiknir í notkun gervigreindar og hæfir án hennar.

Spurningin sem skólakerfið þarf að svara er ekki lengur:

„Hvernig komum við í veg fyrir notkun gervigreindar?“

Heldur:

„Hvernig tryggjum við að nemendur læri, jafnvel í heimi þar sem gervigreind er alltaf til staðar?“

Svar við þeirri spurningu mun móta framtíð íslensks menntakerfis – hvort sem okkur líkar það eða ekki.

Höfundur er gervigreindar og framtíðarfræðingur.