AHELO-tutkimuksen taustat
AHELO-toteutettavuustutkimuksessa (International Assessment of Higher Education Learning Outcomes) haluttiin kiinnittää huomiota tutkimusperustaisten ranking-listojen sijaan oppimiseen: mitä opiskelijat oikeastaan oppivat korkeakouluopintojensa aikana? Toteutettavuustutkimuksen tavoitteet olivat tieteellisiä ja käytännöllisiä. Tieteellisesti haluttiin selvittää, onko mahdollista kehittää luotettavia mittareita, jotka ottavat huomioon korkeakoulujärjestelmien moninaisuuden kieli- ja kulttuurieroineen. Käytännöllisesti tarkasteltiin, onko tällainen tutkimus ylipäänsä mahdollista toteuttaa teknisesti ja taloudellisesti järkevällä tavalla.
AHELO-tutkimukseen osallistui 17 maata tai aluetta ja siinä oli kolme osa-aluetta: tekniset tieteet (tarkemmin rakennustekniikka), taloustieteet sekä yleisvalmiudet (analyyttinen päättely, ongelmanratkaisu, kriittinen ajattelu ja argumentatiivinen kirjoittaminen). Kullekin näistä osa-alueista kehitettiin mittavälineet ja niiden toimivuus testattiin keräämällä aineistot kussakin osallistuvassa maassa. AHELO-tutkimuksen kohderyhmänä olivat kandidaatin opintojen loppuvaiheen opiskelijat eli Suomessa käytännöllisesti katsoen kolmannen vuoden yliopisto-opiskelijat ja neljännen vuoden ammattikorkeakouluopiskelijat. Maailmanlaajuisesti tutkimukseen osallistui 249 korkeakoulua ja 23 000 opiskelijaa. Suomessa tutkimukseen ilmoittautui 22 korkeakoulua, joista hankkeen kansallinen tukiryhmä valitsi kuusi yliopistoa ja seitsemän ammattikorkeakoulua ja niiden suomenkieliset koulutusohjelmat. Testeihin saapui 330 opiskelijaa.
Yleisvalmiuksien mittaaminen AHELO-tutkimuksessa
Suomi osallistui yleisvalmiuksia kartoittavaan osa-alueeseen yhdessä Egyptin, Kolumbian, Korean, Kuwaitin, Meksikon, Norjan, Slovakian ja Yhdysvaltojen kanssa. Yleisvalmiuksien osa-alueessa – kuten myös tieteenala-alueissa – kehitettiin kaksi erilaista mittaria: monivalintaosio ja konstruktiivinen osio. Koska monivalintaosio on edelleen salainen, kuvaan seuraavassa lähemmin konstruktiivisen mittavälineen kehittelyä.
Yleisvalmiuksien konstruktiiviseksi mittariksi OECD oli jo etukäteen valinnut yhdysvaltalaisen Council for Aid to Education (CAE) kehitettämän CLA-instrumentin (Collegiate Learning Assessment). CLA mittaa opiskelijoiden analyyttista päättelyä ja arviointia, ongelmanratkaisua sekä argumentatiivista kirjoittamista. CLA koostuu tosielämän ongelmanratkaisutilanteita jäljittelevistä holistisista tehtävistä. AHELO-tutkimuksessa käännettiin ja lokalisoitiin kaksi tällaista tehtävää: ”monni” ja ”järvestä joeksi”. Yleisvalmiuksiin osallistuneiden maiden edustajat valitsivat nämä kaksi lopullista yhdeksän Yhdysvalloissa etukäteen kehitetyn tehtävän joukosta. Valinta ei välttämättä ollut yksiselitteistä, sillä tehtävien nimistäkin voi jo päätellä, että niihin liittyi olennaisena elementtinä vesi. Esimerkiksi kuwaitilaisten näkökulmasta tämä herätti pohdiskeluja siitä, osaavatko heidän opiskelijansa vastata tehtävään yhtä hyvin kuin vaikkapa suomalaiset opiskelijat. Lisäksi kritiikkiä herätti se, että tehtävät oli kehitetty Yhdysvalloissa eikä niiden sisältöihin, muotoon ja luonteeseen enää voinut vaikuttaa. Miten hyvin tehtävät sopivat kansainväliseen kontekstiin?
Tämän jälkeen englanninkieliset tehtävät käännettiin kunkin maan kohdekielelle tarkkaan määritettyjen ohjeiden ja laadunvarmistusmenettelyiden mukaisesti, ja esimerkiksi paikan- ja henkilöiden nimet lokalisoitiin. Monni-tehtävässä muun muassa englanninkielinen nimi Lily Stone taipui muotoon Liisa Kivi ja Milltown muuttui Myllyjärveksi. Seuraavaksi käännettyjen tehtävien toimivuus vielä varmistettiin kognitiivisen laboratorion menetelmällä. Tässä menetelmässä kutsuttiin yhteensä 12 opiskelijaa tekemään testi ja samanaikaisesti ajattelemaan ääneen, miten tehtävänannon on ymmärtänyt ja miten vastauksensa kuhunkin kysymykseen on rakentanut. Viimeisessä vaiheessa ennen varsinaista testausta tehtävät siirrettiin sähköiseen ympäristöön, ja tarkastettiin järjestelmän toimivuus.
Testitilanteessa opiskelija sai täytettäväkseen toisen tehtävistä. Opiskelijan piti perustaa vastauksensa käytettävissä oleviin taustamateriaaleihin, jotka saattoivat olla esimerkiksi tieteellisiä artikkeleita, sähköpostikeskusteluja, radiohaastatteluja, taulukoita ja kuvioita tai mielipidekirjoituksia. Nämä taustamateriaalit sisälsivät vastauksen kannalta olennaista ja epäolennaista, luotettavaa ja epäluotettavaa sekä jopa harhauttavaa tietoa. Opiskelijan piti esimerkiksi ymmärtää, mikä on kausaalisuuden ja korrelaation välinen ero. Vastausten pituutta ei ollut rajattu.
Valvotut ja tietokonevälitteiset testit toteutettiin kaikissa maissa keväällä 2012. Kustakin korkeakoulusta valittiin satunnaisesti 200 kandidaatin opintojen loppuvaiheen opiskelijaa. Testissä opiskelijalla oli ensin 90 minuuttia aikaa täyttää CLA-instrumentti, johon tietokone arpoi satunnaisesti toisen tehtävistä. Tämän jälkeen opiskelija vastasi vielä 25 monivalintakysymykseen 30 minuutissa ja lopuksi täytti vielä lyhyen taustakyselyn. Kokonaisuudessaan testitilanne kesti enimmillään 150 minuuttia. Ottaen huomioon korkeakoulujen lyhyen valmistautumisen testien toteuttamiseen, testit sujuivat Suomessa varsin hyvin. Suomessa ylivoimaisesti suurimmaksi haasteeksi muodostui kuitenkin opiskelijoiden osallistaminen testeihin. Heikoimmillaan korkeakoulut saivat paikalle alle kymmenen opiskelijaa ja parhaimmillaan vähän yli 60 opiskelijaa. Osallistumisaktiivisuus Suomessa jäi 14 prosenttiin, mikä oli yksi heikoimmista kaikista AHELO-tutkimukseen osallistuneista maista. Keskeisin syy tähän oli testien järjestäminen kevätlukukaudella, jolloin osa opiskelijoista oli lähtenyt jo kampuksilta esimerkiksi tekemään opinnäytetyötä tai harjoittelua. Lisäksi opiskelijoita oli vaikea houkutella testeihin pelkin ulkoisin kannustimin, kuten matkapuhelin- tai taulutietokonearvonnoin. Parempi tapa olisi ollut antaa testiin osallistumisesta opintopisteitä tai edes testitulos. Kumpaakaan ei tutkimuksessa kuitenkaan pystytty lupaamaan opiskelijoille.
Kun kaikki testit oli saatu suoritettua, kunkin vastauksen pisteytti kaksi henkilöä asteikolla 0–6. Pisteyttäjät koulutettiin tehtävään ja lisäksi pääpisteyttäjä valvoi prosessia. Analyyttisen päättelyn ja arvioinnin pisteytyksessä tarkasteltiin muun muassa, miten opiskelija osaa identifioida vaihtoehtoisten perusteluiden heikkoudet ja vahvuudet sekä miten hän osaa erottaa luotettavat lähteet epäluotettavista. Ongelmanratkaisun arvioinnissa kiinnitettiin huomiota esimerkiksi siihen, miten opiskelija on taustadokumentteihin nojaten päätökseensä päätynyt. Argumentatiivisessa kirjoittamisessa arvioitiin erityisesti tekstin vakuuttavuutta eli sitä, miten loogisesti ja selkeästi vastaus oli rakennettu. Pisteyttäjien työn tukena oli 6-portainen arviointimatriisi, jossa oli eritelty eri pistemäärien väliset erot arviointikohteittain. Opiskelija sai pistemääräkseen 0–18 pistettä.
AHELO-tutkimuksen tulevaisuus – onko sitä?
Toteutettavuustutkimuksen tavoitteena oli siis saada tietoa siitä, onko tieteellisesti ja käytännöllisesti mahdollista mitata korkeakouluopiskelijoiden oppimista. Lopputulos oli, että tämä on mahdollista, mutta mittaamiseen liittyy paljon tieteellisiä ja käytännöllisiä haasteita. Tieteelliset haasteet liittyivät esimerkiksi mittavälineiden reliaabeliuteen ja erityisesti keskusteluun monivalintatehtävien vs. konstruktiivisten testien luotettavuudesta, sekä jo mainittuun osallistumisaktiivisuuden heikkouteen myös muissakin maissa kuin Suomessa. Vaikka tietokonevälitteinen testaus onnistui kokonaisuutena yllättävänkin hyvin, se aiheutti vaikeuksia erityisesti arabiankielisissä maissa, sillä tekstin tuottaminen tietokoneella on huomattavasti käsin kirjoittamista hitaampaa.
AHELO-tutkimuksen tulevaisuuden kannalta keskeiset haasteet ovat kuitenkin käytännöllisiä: mitä lisäarvoa tutkimus antaa opiskelijoille, korkeakouluille ja päättäjille. Testeihin osallistuneet opiskelijathan eivät saaneet tuloksiaan tietoonsa. Toteutettavuustutkimuksessa tämä oli lähinnä aikataulullisista ja teknisistä syistä ymmärrettävää, mutta mikäli varsinainen AHELO alkaa, opiskelijoidenkin on saatava testituloksensa. Tämä ei myöskään käytännössä ole vaikea asia ratkaista. Monimutkaisempaa sen sijaan on osoittaa AHELO-tutkimuksen hyöty korkeakouluille ja kansallisille päätöksentekijöille, siis yleensä korkeakoulutuksesta vastaaville ministeriöille. Hankkeen raportointiyksikköinähän ovat olleet korkeakoulut, jotka saivat jo toteutettavuustutkimuksessa tiiviin palauteraportin, miten kyseisen korkeakoulun opiskelijat pärjäsivät suhteessa muihin opiskelijoihin. Tuloksia voi luonnollisesti käyttää osana korkeakoulujen laadunvarmistusta ja sisäistä kehittämistä, mutta AHELO-tutkimukseen osallistuneiden korkeakoulujen palautteen mukaan tulokset antavat vähäisiä eväitä tällaiseen kehittämistyöhön. Ehkä konkreettisin hyöty tuloksista korkeakouluille olisi käyttää niitä koulutusohjelmien markkinointiin – samaan tapaan kuin korkeakoulut nyt mainostavat erilaisissa tutkimusperustaisissa rankeerauksissa menestymistään. Tällainen toimintatapa on kuitenkin hankkeen perusperiaatteen eli kehittävän arvioinnin vastaista, sillä näin AHELO-tutkimuksestakin pian tulee yksi ranking-lista muiden joukossa.
Entä sitten päätöksentekijät, mitä heille jää hankkeesta käteen? Toisin kuin esimerkiksi PISA- tai PIAAC-tutkimuksissa, AHELO-tutkimuksessa ei ole perusteltua julkaista tuloksia maittain siitä yksinkertaisesta syystä, että tulokset eivät ole näin raportoituna luotettavia. Jos AHELO-tutkimukseen jatkossakin valitaan noin 10 korkeakoulua kustakin osallistuvasta maasta, niin mitä ne kertovat esimerkiksi Yhdysvaltain korkeakouluopiskelijoiden oppimistuloksista, kun maassa on yli 7000 korkeakoulua ja 13 miljoonaa opiskelijaa. Mikäli hanke ei pysty tarjoamaan luotettavaa järjestelmätason tietoa, niin miksi valtiot tai alueet lähtisivät hanketta rahoittamaan?
Onko AHELO-tutkimuksella sitten tulevaisuutta? Tätä tekstiä kirjoittaessa asiasta ei ole vielä varmaa tietoa, sillä päätöksen tekee OECD:n koulutuspolitiikkakomitea. Edellä esitettyjen hyötyjen osoittamisen vaikeudesta johtuen arvaukseni on, että varsinaista AHELO-tutkimusta ei tule. Mutta ennen kuin lopullinen päätös on selvillä, toivossa on hyvä elää, sillä tarjoaisihan AHELO toteutuessaan mielenkiintoisen ja ehtymättömän aineiston tutkijoiden käyttöön.
KT Jani Ursin on erikoistutkija Koulutuksen tutkimuslaitoksessa Jyväskylän yliopistossa. Hän oli AHELO-toteutettavuustutkimuksen Suomen koordinaattori.
Lisätietoa AHELO-tutkimuksessa ja hankkeen loppuraportit (jotka sisältävät myös esimerkkitehtäviä) löytyvät osoitteesta www.oecd.org/edu/ahelo
