Árinni kennir illur ræðari!

Undanfarið hefur farið fram nokkur umræða um nýjustu PISA-könnunina og versnandi árangur íslenskra nemenda. Frammistaða íslensku nemendanna nú var sú lakasta á öllum Norðurlöndunum og jafnframt sú lakasta frá árinu 2001, þegar fyrsta PISA-könnunin var gerð. Í kjölfarið hafa ýmsir haft ýmislegt til málanna að leggja en sumt af því hefur því miður snúist um aukaatriði og leitt umræðuna frá því sem máli skiptir, sem er hvað beri að gera til að snúa þessari þróun við.

Þýðingarvillur skýra ekki lakari frammistöðu

Auðvitað verður að vanda þýðingu prófa eins og PISA. Ef hnökrar koma í ljós í því ferli þarf auðvitað að bæta úr þeim á besta mögulegan máta. Umræðan um þýðingar og gæði þeirra breytir hins vegar ekki því að niðurstaða PISA-könnunarinnar var ekki góð og verður lakari með hverri umferð rannsóknarinnar. Rétt er að undirstrika að þessi þróun er fyrst og fremst mæld með verkefnum sem breytast ekki milli prófa. Því er útilokað að þýðingarvillur núna skipti máli varðandi það fall í frammistöðu sem niðurstöðurnar sýna. Frammistaðan nú var mæld á sama kvarða og síðast þannig að þær þýðingarvillur sem voru til staðar geta ómögulega hafa haft þessi miklu áhrif.

Til þess að skilja betur hvernig PISA-mælingin fer fram er rétt að huga að nokkrum aðalatriðum rannsóknarinnar og því hvernig hún er frábrugðin öðrum prófum.

Hefðbundið próf er að öllu jöfnu þannig uppbyggt að allir nemendur svara sömu verkefnum á stuttum tíma og því ljóst að slíkt próf gefur alltaf takmarkaða mynd af almennri stöðu nemenda hverju sinni. Prófniðurstaðan sýnir einungis lítið úrtak af þekkingu nemandans. Kannanir eins og PISA og TIMSS mæla aftur á móti mun breiðari frammistöðu og voru t.d. notaðar yfir 7 klukkustundir af efni í PISA-könnuninni en hver nemandi leysti einungis verkefni sem svara til tveggja klukkustunda. Það þýðir að niðurstöður rannsóknarinnar eru ekki einstaklingseinkunnir og nemendur fá ekki neina niðurstöðu, heldur er einungis um að ræða mat á þekkingu og færni 15 ára nemenda, þvert á allt skólakerfið.

Fjöldamargar rannsóknir hafa sýnt að próf af þessari gerð gefa mun betri og öruggari niðurstöðu fyrir allt menntakerfið en hefðbundin próf geta nokkru sinni gert þar sem mælingin er bæði margfalt stærri og breiðari. Niðurstaðan er því ekki summa réttra svara, eins og oftast er unnið með, heldur tölfræðilegar líkur á ákveðinni færni fyrir hvern nemanda í hverju landi.

Þessi aðferð, „Multiple Matrix Sampling“, er alls ekki ný af nálinni heldur hefur hún verið notuð í yfir 20 ár í TIMSS-rannsókninni á frammistöðu í náttúrufræði og stærðfræði, enn lengur í NAEP-prófunum í Bandaríkjunum og nú síðasta einn og hálfa áratuginn í PISA-könnunum. Einnig er þessi aðferðafræði notuð í mörgum minni frammistöðurannsóknum og hefur hún reynst stöðug og henta tilganginum vel. Þeir sem eru áhugasamir um tæknilegar hliðar rannsókna af þessari gerð geta kynnt sér málið frekar í „Handbook of International Large Scale Assessment: Background, technical issues and methods of data analysis“ (Rutkowski, L., von Davier, M., & Rutkowski, D., 2014. CRC Press, Taylor & Francis Group).

Það skal einnig áréttað að allir skólar og flestallir nemendur á Íslandi taka þátt í rannsókninni, þó svo að hægt væri að notast við minna úrtak. Úrtökin sem notuð eru í öðrum löndum eru um það bil jafn stór og allur nemendahópurinn á Íslandi og því eru allir prófaðir hér, svo samanburðurinn við önnur lönd verði sem réttastur. Ef minna úrtak væri notað á Íslandi þyrftu breytingar yfir tíma og munur á niðurstöðum milli Íslands og annarra landa að vera mun meiri en nú er til að þessi mismunur teldist marktækur. Þetta fyrirkomulag tryggir jafnframt að íslensku niðurstöðurnar eru mun öruggari en niðurstöður annarra landa, þar sem rannsóknin byggir bara á úrtaki nemenda.

Í PISA-könnuninni 2015 var notast við 185 verkefni í náttúrufræði, 108 verkefni í lestri og 83 verkefni í stærðfræði. Verkefnin voru öll valin með hliðsjón af þeim kröfum sem settar eru fram í kenningaramma PISA-rannsóknarinnar þar sem skilgreint er hvaða efni skuli prófa, hvernig og hversu mikið af hverju sviði. Þýðingarvillur geta því ekki haft mikil áhrif á heildarniðurstöðuna og skýra enn síður þróunina á milli prófa þar sem verkefnin, sem meta breytinguna, hafa ekki breyst á milli áranna 2012 og 2015. Eflaust má þó alltaf finna einhverja hnökra á prófum sem þessum, eða galla í framkvæmdinni en ekkert af því réttlætir að afskrifa heildarniðurstöðuna sem misvísandi eða ranga.

Stuðst við bestu aðferðafræði og vinnu færustu sérfræðinga

Undirritaður hefur unnið við PISA-rannsóknina frá upphafi og ég get með góðri samvisku sagt að stuðst er við bestu aðferðafræði sem völ er á við framkvæmdina. Fleiri hundruð manns í yfir 70 löndum vinna að PISA-könnuninni. Hver umferð tekur þrjú ár og að framkvæmdinni koma heimsins fremstu sérfræðingar í prófafræðum, tungumálum, lestri, stærðfræði og náttúrufræði, ásamt fjöldamörgum öðrum. Að afskrifa þessa niðurstöðu á grundvelli þess sem einstaklingar hér á landi setja fram um einn hnökra á rannsókninni er ótækt, með fullri virðingu fyrir viðkomandi. Okkar er valið hvort við trúum því sem allt þetta fólk segir og gerir, eða því sem fáir einstaklingar á Íslandi halda fram sem þekkja hvorki sjálfra rannsóknina né þá aðferðafræði sem beitt er.

Árinni kennir illur ræðari segir máltækið og það skyldum við muna. Við getum valið um að kenna sendiboðanum um hinar slæmu fréttir eða skoða skilaboðin og notfæra okkur til gagns til framtíðar.

Til að það megi verða þurfa allir sem hlut eiga að máli nú að taka höndum saman. Greina þarf stöðuna og finna lausnir sem bætt geta ástandið til lengri tíma litið. Hér duga engar skyndilausnir og rétt að undirstrika að það er langhlaup að breyta árangri skólakerfisins til batnaðar. Það krefst bæði þrautseigju, þols og skýrrar hugsunar um alla þá þætti sem hafa áhrif á námsárangur. Það er engin tilviljun að OECD, sem eru samtök ríkja sem beina sjónum sínum að efnahagsmálum, leggi slíka áherslu á menntamál. Það er einfaldlega vegna þess að ekkert í nútímasamfélagi hefur meiri og varanlegri áhrif á efnahag þjóðanna til lengri tíma litið en menntun.

Menntun barnanna það mikilvægasta sem við gerum fyrir framtíðina

Það var mjög ánægjulegt að lesa yfirlýsingu Kennarasambandsins í kjölfar PISA-niðurstöðunnar þar sem hvatt var til að allir taki nú höndum saman og finni lausnir. Með slíku hugarfari komumst við áleiðis. Það ásamt þrautseigju og vinnu mun örugglega skila betri niðurstöðu.

Að öllum öðrum ólöstuðum hvílir þetta verkefni fyrst og fremst á kennurum landsins. Þeir eru mikilvægasti hlekkurinn í þessari vinnu en þeir þurfa stuðning og aðstoð allra þeirra sem að málinu koma, stjórnvalda, sveitarfélaga og fjölmargra annarra. Aðstæður kennara og allra starfsmanna skólanna verða að vera í lagi til þess að verkefnið vinnist vel. Fjölskyldur þurfa upplýsingar og stuðning og stjórnvöld og stjórnendur skólanna þurfa ætíð að muna að það er árangur og velferð barnanna sem á að vera í brennidepli.

Gleymum því ekki að menntun barnanna okkar er það mikilvægasta sem við gerum fyrir framtíðina. Með því að bæta hana komumst við næst því að tryggja þeim betri og öruggari framtíð.

Höfundur er sálfræðingur, fyrrverandi forstöðumaður Námsmatsstofnunar og starfar nú við Háskólann í Ósló að skólarannsóknum og stýrir m.a. framkvæmd PISA og TIMSS-rannsóknanna í Noregi.