Mitä PISA mittaa – Mitä PISA ei todellakaan mittaa?

Julkaistu: 20. maaliskuuta 2024 | Kirjoittanut: Juhani Rautopuro

Poikkeuksellinen PISA-kierros

PISA-tutkimus toteutettiin kahdeksannen kerran vuonna 2022. Tutkimuksen pääalueena oli matematiikka ja sen tulokset olivat yllättäviä. Tulokset heikkenivät poikkeuksellisen suuressa osassa osallistuvia maita ja alueita, ja Suomessa tulosten lasku oli muita maita jyrkempää. Suomalainen media vauhkoontui julistamaan tilannetta suorastaan järkytykseksi ja katastrofiksi.

Tutkimuksen pääalueen matematiikan pistekeskiarvo laski vertailukelpoisissa maissa jopa 41 maassa tai alueella, joista OECD-maita (Organisation for Economic Co-operation and Development) oli 35. OECD-maista vain Japanissa ja Koreassa tulos oli parantunut. Oppimistulosten laskeva trendi on toki todettu jo aiemmin myös muissa oppimistuloksia mittaavissa arvioinneissa. Laskevasta trendistä huolimatta suomalaisten nuorten tulokset ovat edelleen osallistujamaiden ja alueiden keskiarvoa parempia.

Oppimistulosten laskun lisäksi Suomen PISA-tuloksissa huomio kiinnittyy oppimistulosten polarisoitumiskehityksen jatkumiseen: heikosti suoriutuvien osuus kasvaa samalla kun hyvin ja erinomaisesti suoriutuvien osuus pienenee. Heikosti menestyvät ovat heikompia kuin aiemmin. Lisäksi vanhempien tausta ja testissä menestyminen ovat entistä enemmän yhteydessä toisiinsa. Vaikka koulujen väliset erot oppimistuloksissa ovat kansainvälisesti pieniä, nekin ovat lievässä kasvussa kuten alueelliset erotkin. Lisäksi sukupuolten väliset erot tyttöjen eduksi lukutaidossa ja luonnontieteissä ovat Suomessa osallistujamaiden suurimpia.

Pisa-tulokset ovat herättäneet laajaa keskustelua suomalaisen koulutuksen tilasta. Syyllisiä tilanteeseen on etsitty ja monenkirjavia yksinkertaisia ratkaisuja monitahoiseen ongelmaan on esitetty pilvin pimein. Useat väitteet saattavat tähdätä ihan oikeisiin Suomen koulumaailman ongelmiin, mutta niitä ei ole mahdollista verifioida Pisa-aineistolla, koska Pisassa ei ollut mitattu niitä asioita, joihin väitteet perustuvat. Ratkaisukeinoina on hyvin paljon esitetty kieltoja ja kuria – yleensäkin paluuta eiliseen – sekä populistisia pedagogisia aloitteita.

Julkisen keskustelun ongelmana on ollut se, että harva näyttää tietävän, mitä PISA-tutkimus oikeastaan mittaa ja millaisia johtopäätelmiä koulumaailman ongelmista sen pohjalta voi tehdä. Yleensäkin tietämys oppimistulosten arviointijärjestelmästä Suomessa on huteralla pohjalla. Esittelen oppimistulosten arviointijärjestelmää seuraavassa luvussa.

Oman mielenkiintoisen lisämausteensa PISA-tutkimuksen tuloksiin tuo se, että se poliittiset päättäjätkään eivät tunnu olevan kartalla siitä missä mennään. PISA on nimittäin ainoa arviointitutkimus, jolle on asetettu tulostavoitteet valtion talousarvioesityksessä. (Taulukko 1).

TAULUKKO 1. OECD:n PISA-tutkimuksen tulokset Suomen osalta 2009—2018 ja tavoitteet 2022—2025 (Valtion talousarvioesitys 2024)

¹⁾ Tutkimuksen tekovuodet. Tietojen julkistamisvuodet ovat 2010, 2013, 2016, 2019, 2023 ja 2026.

Valtion talousarvioissa on useiden vuosien ajan esitetty PISAn pistetavoitteiden lisäksi tavoitteet myös oppimistulosten vaihtelulle (keskihajonta) sekä oppilaan sosioekonomisen taustan vaikutuksille tuloksiin. Tavoitteet ovat täysin epärealistisia. Esimerkiksi vuoden 2022 tavoitteiden toteutumisesta tiedämme, että tulosten paranemisen sijaan ne ovat kääntyneet entistä suurempaan laskuun. Samanlaista häränpyllyä ovat heittäneet aiemmatkin arviot.

Oppimistulosten arviointi Suomessa

Peruskoulujärjestelmään siirtymisen myötä 1970-luvulla suomalaisen koulutuksen ohjausjärjestelmään tuli olennainen muutos. Suomessa siirryttiin kontrollista ohjaukseen. Tämän seurauksena oppimistulosten arviointijärjestelmä Suomessa on kansainvälisesti katsottuna ainutlaatuinen. Suomessa ei ole enää koulutarkastajia eikä myöskään koko ikäkohortille suunnattuja standardoituja testejä peruskoulun aikana. Opetuksen ja koulutuksen järjestäjille säädettiin 1990-luvun lopulla velvoite arvioida omaa toimintaansa ja osallistua ulkopuolisiin arviointeihin. Velvoite on siirtynyt myös voimassa olevana lainsäädäntöön (mm. Perusopetuslaki 628/1998). Oppimistulosarvioinnit ovat yksi osa perusopetuksen laadunvalvontajärjestelmää.

Suomessa perusopetuksen oppimistulosten arvioinnit eivät ole niin kutsuttuja ’high stakes’-arviointeja, joilla olisi vaikutusta oppilaan arvosanoihin tai jatko-opintomahdollisuuksiin. Niiden perusteella ei myöskään arvioida opettajia tai laadita koulujen paremmuutta kuvaavia listoja. Arviointien lähtökohtana on useimmiten opetussuunnitelman tavoitteiden toteutumisen seuranta.

Suomessa toteutetaan sekä kansallisia oppimistulosten arviointeja että kansainvälisiä vertailevia arviointeja eri oppiaineissa. Kansallisista arvioinneista vastaa Kansallinen koulutuksen arviointikeskus (Karvi, aiemmin Opetushallitus). Kansainvälisiä vertailevia oppimistulosten arviointeja koordinoivat kansainvälinen IEA-järjestö (International Association for the Evaluation of Educational Achievement) sekä taloudellisen yhteistyön ja kehityksen järjestö OECD. Kansainvälisten vertailevien oppimistulosten arvioinnin toteutuksesta Suomessa huolehtii pääsääntöisesti Koulutuksen tutkimuslaitos (KTL), joka on Jyväskylän yliopiston erillislaitos.

IEA-tutkimusten, kuten myös Karvin arviointien lähtökohtana ovat kysymykset siitä, mitä opetussuunnitelmien mukaan on tarkoitus opettaa, mitä todellisuudessa opetetaan ja miten on opittu. Kyseessä on siis ensi sijassa muodollisen koulujärjestelmän tuottamien oppimistulosten arviointi. Tunnetuimmat IEA:n arvioinnit, joissa Suomi on säännöllisesti mukana ovat muun muassa 4. ja 8. vuosiluokan oppilaiden matematiikan ja luonnontieteiden osaamista arvioiva TIMSS-tutkimus (Trends in International Mathematics and Science Study) sekä 4. vuosiluokan oppilaille suunnattu kansainvälinen lasten lukutaitotutkimus PIRLS (Progress in International Reading Literacy Study). (mm. Jakku-Sihvonen, 2014; Rautopuro ym. 2023).

PISA-tutkimus puolestaan kartoittaa sitä, miten 15-vuotiaat nuoret hallitsevat tulevaisuuden kannalta keskeisiä avaintaitoja. Nuorten opiskelutaitoja ja -valmiuksia tarkastellaan lähinnä elinikäisen oppimisen näkökulmasta mahdollisimman todenmukaisissa, arkielämän ja tulevaisuuden tarpeita muistuttavissa tilanteissa. Kyseessä on siis eräänlainen osaamispotentiaalin määrittely tulevaisuuden osaamistarpeita silmällä pitäen. Tutkimuksen kannalta ei ole olennaista se, miten tai mistä tiedot ja taidot on hankittu.

Kaikkien edellä mainittujen arviointien perusperiaate on sama: otosperustaisuus (edustavuus), huolellisesti laaditut mittarit, mittareiden esitestaus ja aineistojen laadukkaisiin tilastollisiin analyyseihin perustuvat johtopäätökset. Arvioinneissa kartoitetaan osaamisen tasoa ja osaamisen jakautumista perusjoukossa. Kyseessä ei ole siis yksittäisten koulujen ja vielä vähemmän yksittäisten oppilaiden osaamisen arviointi.

PISA-tutkimuksen mahdollisuudet ja rajoitteet

PISA-tutkimuksen – kuten myös IEA-tutkimusten – mittaristot (kognitiiviset tehtävät ja taustakyselyt) perustuvat korkean kansainvälisen tason tieteentekijöiden ja asiantuntijoiden yhteistyöhön. PISA-konsortiossa työskentelee muun muassa matematiikan ja luonnontieteiden didaktiikan asiantuntijoita sekä metodiasiantuntijoita. Mittaristojen laadinnan lisäksi tutkimuksen koejärjestelyt ja metodiset ratkaisut täyttävät tiukimmatkin tieteelliset vaatimukset (mm. Nissinen ym. 2018).

PISA-tutkimus tuottaa luotettavaa ja vertailukelpoista trenditietoa kansainvälisessä viitekehyksessä. Trendien ’ankkurivuotena’ on ensimmäinen PISA-mittaus vuonna 2000. On kuitenkin muistettava, että kukin PISA-kierros keskittyy kerrallaan vain yhteen pääarviointialueeseen. Vuonna 2022 se oli matematiikka, vuonna 2018 lukutaito ja vuonna 2015 luonnontieteet. Edellisen kerran matematiikkaa arvioitiin pääalueena 2012. Pääalueiden sykli on yleensä yhdeksän vuotta, mutta pandemian vuoksi vuoden 2021 PISA-tutkimus viivästyi vuodella. Tulosten trendejä voidaan arvioida luotettavasti pääalueittain näissä yhdeksän vuoden sykleissä. Sivuarviointialueita tekee vain osa kokeeseen valituista PISA-oppilaista, joten ne toimivat vain eräänlaisina ”väliaikatietoina”.

PISA-tutkimuksen lähtökohtana ei ole mitata sitä, miten oppilaat hallitsevat opetussuunnitelmien mukaisia sisältöjä, toisin kuin IEA-järjestön ja Karvin tutkimuksissa, vaan enemmänkin yleisten elämässä tarvittavien taitojen ja tietojen hallintaa. PISA-tulokset eivät siis kerro suoranaisesti maan koulutuspolitiikasta tai siitä, mitä kouluissa tehdään oikein tai väärin.

PISA-tutkimuksen taustakyselyt ovat laajuudeltaan suppeammat kuin IEA-tutkimusten. Muun muassa koulun opetuskäytänteitä ja varhaiskasvatukseen osallistumista koskevat tiedot ovat peräisin oppilaskyselyistä. Joihinkin oppilaskyselyistä saatuihin tietoihin on suhtauduttava varauksella, sillä 15-vuotiaat nuoret tietävät hämmästyttävän heikosti esimerkiksi vanhempiensa koulutustason. On selvää, että yksittäisten oppilaiden arvioinneissa samoistakin opiskelutilanteista on vaihtelua. PISA-aineistojen perusteella on siksi vaikea päätellä, kuinka objektiivisia oppilaiden havainnot työskentelyn oppilas- tai opettajajohtoisuudesta tai teknologian käytöstä opiskelussa ovat.

Suuri painoarvo julkisessa keskustelussa on Suomen sijoitus kansainvälisessä ’sarjataulukossa’. Ranking-listat eivät kuitenkaan ole PISA-tutkimuksen päämäärä vaan tutkimusten sivutuote, joka kuitenkin näyttää varastavan varsin monen huomion. Maiden välisiä sijoituksia tarkasteltaessa jää hyvin usein huomioimatta se, että monissa tapauksissa maiden väliset piste-erot ovat pieniä, eivätkä tilastollisesti merkitseviä. Useat maat kulkevat arkielämän esimerkillä ilmaistuna tietyllä tapaa samassa vaunussa, mutta eri penkkirivillä. Sijoitusten vertailu eri tutkimusvuosien välillä on myös hieman ongelmallista, sillä osallistuvien maiden ja alueiden määrä on kasvanut koko PISA-historian ajan.

Kommentteja PISA-keskusteluun

PISA-tulosten heikkenemisen syistä on esitetty monenlaisia arvailuja. Mahdollisina syypäinä tulosten laskuun on julkisessa keskustelussa esitetty muun muassa digitalisaatiota, maahanmuuttotaustaisia oppilaita, pandemiaa, ilmiöoppimista, inkluusiota ja itseohjautuvuutta.

Digilaitteiden käytön yhteydestä oppimistuloksiin saadaan PISA-tutkimuksessa varsin rajallinen näkemys. Oppilaat ovat kokeneet laitteiden käytön tuovan jossain määrin häiriötä oppimistilanteisiin, mutta toisaalta digitaalisten resurssien kohtuullisella käytöllä näyttäisi olevan positiivinen yhteys oppimistuloksiin (Hiltunen ym. 2023, 95–99).  Oppimistulosten laskusta on myös moitittu paljon ilmiöoppimista, inkluusiota ja itseohjautuvuutta. Näiden tekijöiden mahdollista vaikutusta ei ole mahdollista todentaa PISA-tutkimuksen aineistolla. Kyseessä ovat täysin PISA-aineiston ulkopuolelta tehdyt arvailut.

Maahanmuuttotaustaisten oppilaiden menestys ei sanottavammin selitä PISA-tulosten vaihtelua. Vaikka maahanmuuttotaustaisten oppilaiden menestys on keskimääräistä heikompi, koko aineiston tasolla selitysaste on pieni. Maahanmuuttotaustaisten ja kantaväestön oppilaiden ero oli vuoden 2022 tutkimuksessa itse asiassa kaventunut matematiikassa ja luonnontieteissä. Tärkeimpiä selittäjiä tulosten vaihtelulle matematiikassa olivat muun muassa käsitys omista kyvyistä (suoritusluottamus) ja sosioekonominen tausta (Hiltunen ym. 2023).

Maahanmuuttajataustaisten oppilaiden osaamisesta saadaan tarkempaa tietoa hieman myöhemmin. Yleensä maahanmuuttajataustaisten oppilaiden osuus arvioinneissa on pieni, joten tarkempaa arviointia ja vertailua varten suoritettiin vuoden 2022 PISA-tutkimuksessa maahanmuuttotaustaisten oppilaiden yliotostus. Tästä aiheesta julkaistaan erillinen raportti vuoden 2024 loppukeväällä.

Eräs huomionarvoinen seikka on myös se, että sinänsä pienet alueelliset erot oppimistuloksissa, samoin kuin koulujen väliset erot näyttävät olevat lievässä kasvussa. Nämä erot näyttävät kuitenkin liittyvät alueiden sosioekonomiseen rakenteeseen, eikä koulu pysty ratkaisemaan tällaisia ongelmia.

Tyttöjen ja poikien välinen ero PISA-tutkimuksen luonnontieteissä ja lukutaidossa on suuri, siitäkin huolimatta, että tyttöjen tulokset lukutaidossa ovat heikentyneet poikia enemmän. Myös matematiikassa tytöt ovat hieman edellä poikia. Jos PISA-tutkimuksen sukupuolten välisiä eroja peilaa 4. ja 8. vuosiluokan oppilaille suunnattuun matematiikan ja luonnontieteiden osaamista mittaavaan opetussuunnitelmapohjaiseen TIMSS-tutkimukseen, havaitaan jotain mielenkiintoista. Neljännen vuosiluokan oppilaiden osalta tyttöjen ja poikien oppimistuloksissa ei ole eroa matematiikassa eikä luonnontieteissä. Kahdeksannen vuosiluokan oppilailla ei edelleenkään ole eroja matematiikassa, mutta luonnontieteissä on merkitsevä ero tyttöjen hyväksi.

Muita huomioita

Oppimistuloksiin ja etenkin oppimistulosten polarisoitumiseen näyttäisi ainakin Suomessa vaikuttavan huomattavasti se, mitä tapahtuu koulujen ulkopuolisessa yhteiskunnassa: pärjääminen koulussa on vahvasti yhteydessä kotien elinolojen ja toimintatapojen vakauteen. Itsenäisyyden juhlavuoden lastensäätiön tietojen mukaan vuonna 2021 noin 121 800 lasta eli pienituloisessa perheessä. Tämä vastaa noin 12 prosenttia kaikista Suomessa asuvista lapsista. Osuus on yllättävän lähellä niiden nuorten osuutta, joiden taidot ovat PISA-tutkimuksen mukaan sellaisella tasolla, että heillä voi olla ongelmia arkielämän tilanteista selviämisessä – jatko-opintomahdollisuuksista puhumattakaan.

On myös syytä pohtia, onko Suomen oppimistulosten kehityksessä kyse oppimisvajeesta, hyvinvointivajeesta vaiko peräti sivistysvajeesta. Pohdinnan sivistysvajeesta voi ulottaa myös mediaan ja poliittisiin päättäjiin.

Joissain maissa on nähtävissä se, mistä PISA-kriitikot ovat huolissaan: maat tekevät lyhytnäköisiä uudistuksia PISA-menestyksen toivossa. Pienessä mittakaavassa samanlaisia oireita alkaa näkyä myös Suomessa. Suomessa PISA-paniikkiin ei kuitenkaan ole aihetta – peruskoulumme perusta on kunnossa. Peruskoulun kehittämiseksi tarvitaan pitkäjänteistä ja laaja-alaista näkemystä ja yhteistyötä. Tutkimuksessa tarvitaan jatkossa monialaista yhteistyötä muun muassa oppimistulosten arviointitutkimuksen, perhetutkimuksen ja nuorisotutkimuksen kesken.

Tutkimusprofessori Juhani Rautopuro työskentelee Jyväskylän yliopistossa, Koulutuksen tutkimuslaitoksessa. Hän johtaa Koulutusjärjestelmät ja yhteiskunta -tutkimusaluetta vastuualueenaan kansainväliset vertailevat arviointitutkimukset (mm. PISA, TIMSS, PIRLS) Suomessa. Hän on myös Helsingin yliopiston koulutuksen arvioinnin dosentti.

Lähteet

Hiltunen, Jenna; Ahonen, Arto; Hienonen, Ninja; Kauppinen, Heli; Kotila, Jenni; Lehtola, Piia; Leino, Kaisa; Lintuvuori, Meri; Nissinen, Kari; Puhakka, Eija; Sirén, Marjo; Vainikainen, Mari-Pauliina; Vettenranta, Jouni. 2024. PISA 2022 ensituloksia. Opetus- ja kulttuuriministeriön julkaisuja 2023:49. https://julkaisut.valtioneuvosto.fi/handle/10024/165295

Jakku-Sihvonen, Ritva. 2014. Arviointia akanvirrassa. Opetushallituksen arviointitoiminnan historiikki. Raportit ja selvitykset 2014:14. Helsinki: Karvi.

Nissinen, Kari, Rautopuro, Juhani & Puhakka, Eija. 2018. PISA-tutkimukset metodologiasta. Teoksessa Rautopuro, Juhani & Juuti, Kalle. (toim.), PISA pintaa syvemmältä. PISA 2015 Suomen pääraportti. Kasvatusalan julkaisuja 77, Helsinki: Suomen kasvatustieteellinen seura, 345–378.

Perusopetuslaki 628/1998. https://www.finlex.fi/fi/laki/ajantasa/1998/19980628

Rautopuro, Juhani, Ouakrim-Soivio, Najat, & Välimaa, Jussi. 2023. Peruskoulua oppimassa: Oppimistulosten arvioinnit koulutusta kehittämässä. Kasvatus & Aika, 17(4), 5–22. https://doi.org/10.33350/ka.119753

Valtion talousarvionesitys 2024. Talousarvioesitys 2024: Pääluokka 29 » 10.Varhaiskasvatus, esi- ja perusopetus ja vapaa sivistystyö.