Digitaalisen koealustan pilotointi Yleisissä kielitutkinnoissa
Julkaistu: 13. maaliskuuta 2019 | Kirjoittanut: Jarkko Kekki, Samuel Rahikainen ja Jussi Visti
Yleiset kielitutkinnot
Yleiset kielitutkinnot (Yki) on aikuisille suunnattu kielitaidon arvioinnin tutkintojärjestelmä, jossa voi suorittaa kielitutkinnon yhdeksässä eri kielessä (englanti, espanja, italia, ranska, ruotsi, pohjoissaame, saksa, suomi ja venäjä) ja kolmella eri tasolla (perustaso, keskitaso ja ylin taso). Tutkinnot koostuvat neljästä osakokeesta: puhuminen, kirjoittaminen sekä tekstin ja puheen ymmärtäminen. Tutkinnot ovat kaikille avoimia eli niitä voi suorittaa kuka tahansa, joka tarvitsee todistusta kielitaidostaan.
Valtaosa Ykin osallistujista osallistuu suomen keskitason testiin, ja merkittävin syy testiin osallistumiselle on kielitaidon osoittaminen kansalaisuushakemusta varten. Vuosien 2012–2016 taustatietokyselyjen mukaan 78 % ilmoitti tarvitsevansa todistusta juuri tähän tarkoitukseen. Vuonna 2017 Ykin noin 10 000 osallistujasta noin 8 500 osallistui suomen kielen keskitason testiin.
Yleisten kielitutkintojen digitalisointi
Yleisten kielitutkintojen digitalisointihanke sijoittuu osaksi yhteiskunnassa tapahtuvaa palveluiden sähköistämistä. Myös tietokonepohjainen testaaminen on yleistynyt viime vuosina selvästi. Tietokonepohjainen testaaminen tarjoaa kynä ja paperi -testiä monipuolisemmat mahdollisuudet niin testin suorittamiseen kuin myös testin laatimiseen, jakeluun ja arviointiin. Tästä kehityksestä osoituksena toimivat esimerkiksi maailmanlaajuiset englannin kielen testijärjestelmät (TOEFL, IELTS), jotka hyödyntävät tietokonepohjaista testiä. Myös suomalaiset ylioppilaskirjoitukset ovat siirtyneet digitaaliseen testiin porrastetusti vuodesta 2016 lähtien.
Yleisten kielitutkintojen digitalisointihanke alkoi vuonna 2017, ja projektin tarkoituksena on siirtyä asteittain täysin digitaaliseen tutkintojärjestelmään. Digitalisointiprosessi aloitetaan keskitetystä sähköisestä ilmoittautumisjärjestelmästä, minkä jälkeen tarkoituksena on digitalisoida kielitesti asteittain. Digitaalinen kielitesti on tarkoitus ottaa porrastetusti käyttöön eri kielissä ja eri osakokeissa niin, että digitaalisen testin hyödyntäminen aloitetaan sellaisissa kielissä, joissa osallistujamäärät ovat digitalisointiprosessin alkuvaiheeseen sopivat. Osakokeista helpoimmin digitalisoitavissa ovat kirjoittamisen ja tekstin ymmärtämisen osakokeet, joten niissä siirrytään ensimmäisenä hyödyntämään digitaalista testiä. Puhumisen ja puheen ymmärtämisen osakokeiden digitalisointi edellyttää vielä tarkempaa suunnittelua, sillä niissä vaikeudeksi nousevat muun muassa järjestämiskäytänteet sekä puheen tallentamisessa käytetyn teknologian luotettavuus.
Yleisten kielitutkintojen digitalisointiprosessi aloitettiin kartoittamalla valmiita koealustavaihtoehtoja. Täysin uuden digitaalisen koealustan kehittäminen tulisi viemään merkittävästi niin ajallisia kuin taloudellisia resursseja, joten jo kehitetyn koealustan hyödyntäminen jossain määrin on monesta näkökulmasta järkevämpää. Ongelma kaupallisen koealustan hankkimisessa on se, että tällaiset koealustat ovat pitkällä aikavälillä tarkasteltuna kalliita, kun otetaan huomioon koealustojen hankkimis-, lisäkehitys- ja lisensointikulut.
Kartoitustyön seurauksena Yleisten kielitutkintojen tutkinnon digitalisoinnin parhaaksi vaihtoehdoksi nousi avoimen lähdekoodin TAO-koealusta. Koealustaa haluttiin kokeilla virallisessa tutkintotilaisuudessa, mutta sitä ennen TAO:a haluttiin pilotoida epävirallisessa tilaisuudessa. Pilotin testiryhmäksi valikoitui maahanmuuttajia, joista suurin osa Ykin osallistujamääristä koostuu. Samalla saatiin tietoa myös Ykin suurimmasta osallistujaryhmästä.
Pilotin toteutus
Pilotin tavoitteena oli testata avoimen lähdekoodin digitaalista TAO-koealustaa tutkinnon suorittamisessa. Koealusta oli todettu jo aikaisemmin toimivaksi muun muassa tehtävien laadinnassa, mutta pilotin pääpaino oli nähdä, kuinka maahanmuuttajat kykenevät suorittamaan digitaalisen testin kyseisellä alustalla. Digitaalisen testin suorittaminen edellyttää alustasta riippumatta tietokoneen käytön perustaitoja, kuten näppäimistöllä kirjoittamista sekä hiirellä klikkausta, skrollausta ja raahausta. Maahanmuuttajaopiskelijoiden voidaan olettaa hallitsevan nämä taidot, sillä kotoutumiskoulutuksen yleisiin tavoitteisiin sisältyy tieto- ja viestintäteknologian käyttötaitoja (OPH 2012: 23). Tämän lisäksi tarkkailtiin koealustan käyttöliittymän selkeyttä ja toimivuutta osallistujan näkökulmasta.
Halusimme myös nähdä, oliko osallistujien tekstien pituudessa merkittäviä eroja, kun vertailtiin käsin ja tietokoneella kirjoitettuja tekstejä. Kaikille osallistujille annettiin kaksi samankaltaista tehtävää, joista toiseen vastattiin käsin ja toiseen tietokoneella. Tehtävänannot ja suoritusaika olivat käsin ja koneella kirjoitettavissa tehtävissä täysin toisiaan vastaavat (kuvasta kirjoittaminen, aikaa 15 minuuttia). Laadullista arviointia tekstien sisällöistä ei tehty, vaan keskityimme pelkästään kirjoitelmien sana- ja merkkimääriin. Huomioimme myös, miten koneella kirjoittaminen onnistuu teknisesti ja miten osallistujat hyödyntävät tekstinkäsittelykeinoja.
Pilotti järjestettiin Lahdessa Koulutuskeskus Salpauksessa syksyllä 2018 kahden päivän aikana. Pilottiimme osallistui 108 kotoutumiskoulutuksessa suomea toisena kielenä opiskelevaa aikuista maahanmuuttajaa. Osallistujat opiskelivat testaushetkellä kuudessa ryhmässä, joista kotoutumiskoulutuksen moduulissa 2 opiskeli neljä ryhmää ja moduulissa 3 kaksi ryhmää. Osallistujaryhmä oli ikähaarukaltaan sekä kieli- ja koulutustaustaltaan hyvin heterogeeninen. Testi järjestettiin oppilaitoksen kielistudiossa, joten testiympäristö oli osallistujille tuttu. Moduulin 2 opiskelijat suorittivat pilotin aamupäivien aikana, ja edistyneemmän moduulin 3 opiskelijat tekivät pilotin iltapäivällä.
Osallistujien kielitaito vaihteli eurooppalaisen viitekehyksen (EVK) taitotasojen A1−B1 välillä. Halusimme mahdollisimman suuren testaajaryhmän, minkä vuoksi otimme pilotointiin mukaan myös henkilöitä, joilla oli vielä heikohko suomen kielen taito. Aloitteleville ryhmille (taitotasot A1–A2) järjestettiin suppeampi pilotti, jossa osakokeita ja tehtäviä oli vähemmän. Lisäksi tehtävät oli yritetty valita niin, että niistä pystyisi suoriutumaan myös rajallisella kielitaidolla ja niissä oli paljon ymmärtämistä tukevaa kuvamateriaalia. Edistyneemmille ryhmille (n. taitotasot A2–B1) järjestettiin kattavampi pilotti, koska suurimmalla osalla Ykin suomen kielen keskitason kokeeseen osallistuvista kielitaito on osapuilleen tällä tasolla. Näin pystyimme testaamaan alustaa mahdollisimman oikeanlaisen joukon kanssa. Keskityimme pilotoinnissa näihin edistyneempiin ryhmiin, koska halusimme varmistaa, että mahdolliset ongelmatilanteet eivät johtuisi kielitaidon puutteesta, vaan esiin tulisi todellisia alustassa olevia ongelmia. Kattavampaan pilottiin sisältyivät kaikki Yleisten kielitutkintojen osakokeet, ja tehtäväpaketeissa oli kaikkia samoja tehtävätyyppejä kuin oikeassa Yleisten kielitutkintojen testissä. Lisäksi mukana oli digitaalisen ympäristön mahdollistamia kokeellisempia tehtäviä. Puhumisen osalta pilotointi järjestettiin hyvin suppeasti, koska digitalisoinnin pääpaino on tällä hetkellä muissa osakokeissa.
Osallistujat ohjeistettiin yhteisesti kirjautumaan testijärjestelmään, minkä jälkeen heidät opastettiin lyhyesti järjestelmän toimintaan. Tarkoituksena oli suorittaa ohjeistus samalla tavalla kuin tulevissa digitesteissä. Mallina pidettiin paperitestin ohjeistusta. Kun osallistujat olivat päässeet ensimmäiseen osakokeeseen, annoimme heidän edetä omalla tahdillaan. Emme tarjonneet apua, vaikka huomasimme joillakin vaikeuksia testin tekemisessä. Autoimme teknisissä ongelmissa vasta, kun osallistuja itse sitä pyysi. Näin saimme mahdollisimman realistisen kuvan siitä, miten hyvin testiin osallistujat suoriutuvat digitaalisen testin tekemisestä.
Pilotin jälkeen osallistujat täyttivät kyselylomakkeen, jossa kerättiin tietoa osallistujien teknisistä taidoista, tietokoneella kirjoittamisesta ja ajatuksia pilottitestin osakokeista. Kysely oli suomeksi, mutta osallistujat saivat apua opettajiltaan ja pilotin järjestäjiltä, jos he eivät ymmärtäneet kysymyksiä.
Havaintoja pilotoinnista
Kirjoitustehtävässä kaikille osallistujille annettiin sekä käsin että koneella kirjoitettaessa samankaltaiset kuvat, ja heitä pyydettiin kirjoittamaan 15 minuutissa niin paljon kuin pystyivät ilman apuvälineitä, kuten sanakirjaa. Käsin kirjoitetut tekstit tallennettiin koneluettavaan muotoon. Koneella ja käsin kirjoitettujen tekstien pituuksia vertailtiin keskenään sekä sanojen että merkkien määrän osalta. Jos otetaan kaikki pilottiin osallistuneet opiskelijat huomioon, tietokoneella kirjoitetut tekstit olivat keskimäärin n. 25 % lyhyempiä, joskin tätä prosenttia nostavat reilusti ne vastaukset, jotka olivat kokonaan tai lähes kokonaan tyhjiä. Lisäksi osa osallistujista siirtyi koneella kirjoitettaessa ohjeistuksesta huolimatta eteenpäin aikaisemmin. Ryhmien välillä oli myös merkittäviä eroja. Mikäli huomioon otetaan vain edistyneemmät ryhmät (taitotasot A2–B1), jotka vastaavat eniten Ykin suomen keskitason testiin osallistujia, ero tekstien pituudessa jäi noin kymmeneen prosenttiin.
Erot käsin ja tietokoneella kirjoitettujen tekstien pituudessa selittynevät ainakin osittain osallistujille tehdyn kyselyn tuloksien pohjalta. Aamupäivän ryhmissä osallistujista puolet vastasi käyttävänsä tietokonetta tosi vähän tai ei koskaan. Edistyneemmissä iltapäivän ryhmissä sen sijaan vain neljä osallistujaa vastasi käyttävänsä tietokonetta tosi vähän, ja kaikki osallistujat ilmoittivat käyttävänsä tietokonetta. Kysyttäessä osallistujien tietokoneenkäyttötaitoja alemman taitotason ryhmissä 60 % vastasi osaavansa käyttää tietokonetta joko tosi huonosti tai aika huonosti. Edistyneemmissä ryhmissä taas 75 % vastasi, että he osasivat käyttää tietokonetta aika hyvin tai tosi hyvin. Näyttääkin siltä, että mitä tottuneempia osallistujat olivat käyttämään tietokonetta, sitä pidempiä tekstejä he todennäköisesti kirjoittivat tietokoneella.
Pilottitestin suorittaminen oli kyselyn pohjalta osallistujille melko vaikeaa. Aamupäivän ryhmien osallistujista lähes 75 % vastasi testin tekemisen olevan tosi vaikeaa tai aika vaikeaa, ja iltapäivän ryhmissäkin 63 % vastasi näin. Havaintojemme mukaan testin suorittaminen sujui kuitenkin melko hyvin. Kun osallistujat olivat päässeet koealustaan, oli heillä teknisiä ongelmia suhteellisen vähän. Suurin osa osallistujien kysymyksistä ja ongelmatilanteista koski lähinnä tehtävien sisältöä. Pyrimme ohittamaan tällaiset kysymykset mahdollisimman nopeasti kehottamalla osallistujia siirtymään eteenpäin, jos tehtävät tuntuivat kielellisesti haastavilta. Kysymykset ja ongelmatilanteet tuntuivat kasaantuvan samoille henkilöille, mikä varmasti johtui usein heidän tottumattomuudestaan käyttää tietokonetta. Myös heikko kielitaito vaikeutti pilotin suorittamista. Suurin osa pilottiin osallistujista pystyi kuitenkin toimimaan koealustassa hyvin.
Olimme valinneet tekstin ymmärtämisen ensimmäiseksi osakokeeksi, koska se on aiempien testitulosten perusteella helpoin osataito. Pilotissa se yllättäen osoittautui haastavimmaksi osakokeeksi osallistujille sekä kyselylomakkeen tulosten että meidän havaintojemme perusteella. Tähän varmasti vaikutti se, että kyseessä oli ensimmäinen osakoe ja koealusta oli vielä vieras ympäristö osallistujille. Myöhemmissä osakokeissa alustassa liikkuminen oli jo helpompaa. Osin tekstin ymmärtämisen haastavuutta selittävät myös kielelliset ongelmat. Vaikka tekstit olivat suhteellisen helppoja, oli niissä lähes kaikille osallistujille uutta sanastoa, minkä vuoksi tehtävien tekeminen oli hidasta. Tekstin ymmärtämisessä osallistujat tekivät tehtäviä omaan tahtiinsa, ja heidän täytyi itse siirtyä aina seuraavaan tehtävään, mikä varmasti myös hidasti ja vaikeutti monen suoritusta. Sen sijaan esimerkiksi puheen ymmärtämisessä uuteen tehtävään siirtyminen ohjeistettiin ääniraidalla, mikä teki tämän osakokeen suorittamisesta sujuvampaa.
Lopuksi
Kuuden ryhmän kanssa toimiessamme huomasimme, kuinka tärkeä rooli alussa tehtävällä ohjeistuksella ja opastuksella on ryhmän menestymisen kannalta. Alkuopastuksessa on tarkoituksena opetella, kuinka koejärjestelmässä toimitaan. Samalla käydään läpi tietotekniset taidot, joita digitaalisen testin tekeminen edellyttää.
Alkuopastuksessa kirjaudutaan koejärjestelmään ja käydään läpi harjoitustesti, joka sisältää erilaisia esimerkkitehtäviä. Esimerkkitehtävissä on tarkoitus käyttää samoja tehtävätyyppejä, joita virallisessa testissäkin käytetään. Tämä takaa sen, että testissä käytettävät tehtävätyypit ovat osallistujille tuttuja. Testitekniikkaan liittyvät kysymykset on hyvä käsitellä ohjeistuksen aikana, jotta testitilanne olisi rauhallinen.
Ensimmäiselle pilottiryhmälle annettu alkuohjeistus epäonnistui, sillä emme painottaneet harjoitustestissä samanaikaista etenemistä. Tällöin osallistujat siirtyivät harjoitustehtävissä omaan tahtiin eteenpäin. Esimerkiksi kysymykset liittyen eri tehtävätyyppeihin tulivat eri osallistujilta eri aikoihin, jolloin kaikki osallistujat eivät kuunnelleet toisten esittämiä kysymyksiä ja niihin annettuja vastauksia. Alkuohjeistuksen heikkous näkyi ongelmina ja hitautena testin suorittamisessa.
Seuraavissa ryhmissä painotimme alkuohjeistuksessa ja harjoitustestissä samaan tahtiin etenemistä. Lisäksi valvoimme osallistujia niin, että kaikki osallistujat etenivät ohjaajien ohjeiden mukaisesti. Askel askeleelta ohjatut ryhmät selvisivät pilotista ensimmäistä ryhmää merkittävästi paremmin.
Yleensä ottaen osallistujat pärjäsivät digitaalisessa testissä hyvin. Vain yksittäisillä osallistujilla oli puutteellisista tietokoneenkäyttötaidoista johtuvia ongelmia. Vaikka ongelmia esiintyikin vain yksittäisillä osallistujilla, täytyy tämä ottaa huomioon digitaaliseen testiin siirtyessä. Varsinkin siirtymäaikana on olennaista tarjota mahdollisuus suorittaa testi joko paperisena tai digitaalisena.
Kun vertaillaan tietokoneella ja käsin tuotettujen tekstien pituutta, käsin kirjoitetut tekstit olivat hieman pitempiä. Edistyneemmillä kielenkäyttäjillä ero tekstien pituudessa oli kuitenkin pienempi. Osallistujille tehdyn kyselyn perusteella edistyneemmät kielenkäyttäjät myös käyttivät tietokoneita enemmän ja sanoivat olevansa taitavampia tietokoneen käyttäjiä kuin alemman kielitason osallistujat. Tämä selittynee ainakin osittain sillä, että edistyneemmässä ryhmässä olevat opiskelijat ovat opiskelleet suomea pitempään ja hankkineet tietoteknisiä taitoja koulutuksen ohessa.
Pilotin aikana tehtyjen havaintojen perusteella kirjoittaminen oli melko hidasta aamupäiväryhmissä, kun taas edistyneemmissä iltapäiväryhmissä kirjoittaminen oli paljon sujuvampaa. Aamupäivän ryhmissä kirjoitustekniset taidot olivat silmin nähden heikompia, sillä useat osallistujat kirjoittivat vain yhtä tai kahta sormea käyttäen ja selvästi kirjaimia hakien. Iltapäiväryhmissä monet osallistujat kirjoittivat tottuneemmin ja tekstin tuottaminen oli vaivattomampaa.
Digitaaliseen testiin siirryttäessä on olennaista ottaa huomioon opastuksen ja ohjeistuksen merkitys. Digitaalisen testin käyttöönottovaiheessa Ykin henkilökunta avustaa digitaalisen testin järjestämisessä, mutta pidemmällä aikavälillä järjestäjien on kyettävä järjestämään se itsenäisesti. Digitaalisen testin järjestäminen ei kuitenkaan edellytä merkittävää teknistä osaamista, ja testin toimintatavoissa on pyritty ottamaan huomioon helppokäyttöisyys. Tarkoituksena on, että testin valvojat pystyvät toimimaan itsenäisesti digitaalisessa valvontaympäristössä sekä ratkaisemaan yleisimmät ongelmatilanteet. Ykin henkilökunta tarjoaa tarvittaessa apua lähinnä koejärjestelmään liittyvien ongelmien ratkaisussa.
Merkittävä osa ongelmista ratkeaa testijärjestelmän toiminnan harjoittelemisella etukäteen, sillä tyypillisesti uuden teknologian käyttöönotto koetaan vaikeaksi. Tämän takia on olennaista tarjota verkossa harjoitustesti, jota pääsee vapaasti harjoittelemaan ennen tutkintopäivää. Ainakin alkuvaiheessa täytyy myös tutkintopäivänä suorittaa vielä pakollinen harjoitustesti ennen kuin voidaan siirtyä viralliseen testiin. Harjoitustestissä olennaista on, että testin rakenne ja tehtävätyypit vastaavat virallista testiä. Näin testiympäristö ja testin toimintatavat tulevat osallistujalle tutuiksi jo ennen testiä.
Pilotin perusteella Yleisten kielitestien digitalisaatio on hyvissä kantimissa. Osallistujat selvisivät pääasiassa hyvin digitaalisessa testiympäristössä, ja koneella kirjoittaminen ei vaikuttanut merkittävästi tekstin tuottamiseen. Lisäksi edellä mainituilla opastus- ja ohjeistusperiaatteilla pyritään varmistamaan, että testien digitalisointivaihe sujuu mahdollisimman ongelmattomasti. On kuitenkin hyvä huomioida, että pilottiin osallistuneet olivat parhaillaan kotoutumiskoulutuksessa, jossa he käyttävät säännöllisesti tietokoneita, minkä lisäksi testiympäristönä oli heille tuttu kielistudio. Kyseessä ei myöskään ollut virallinen testitilanne, minkä vuoksi esimerkiksi testijännitys ei vaikuttanut testin suorittamiseen.
Digitaalisen testin kokeilut jatkuvat edelleen. Digitaalista testiä on käytetty jo kirjoittamisen osakokeessa englannin tutkintotilaisuuksissa, ja jatkossa sen hyödyntämistä laajennetaan koskemaan useampia kieliä sekä osakokeita. Digitaalisen testin järjestäjämäärä pidetään alkuvaiheessa melko pienenä, sillä sen järjestäminen edellyttää Yleisten kielitutkintojen henkilökunnan läsnäoloa ja opastamista tutkintopäivän aikana.
Jarkko Kekki, Samuel Rahikainen ja Jussi Visti ovat projektitutkijoita Yleisissä kielitutkinnoissa, Soveltavan kielentutkimuksen keskuksessa Jyväskylän yliopistossa.
Lähteet
EVK 2003. Eurooppalainen viitekehys: kielten oppimisen, opettamisen ja arvioinnin yhteinen eurooppalainen viitekehys. Alkuteos: Common European Framework of Reference for Languages: Learning, Teaching and Assessment. Companion Volume. Council of Europe. Suomentaneet I. Huttunen ja H. Jaakkola. Euroopan Neuvosto. Helsinki: WSOY.
Opetushallitus 2012. Aikuisten maahanmuuttajien kotoutumiskoulutuksen opetussuunnitelman perusteet 2012. https://www.oph.fi/download/139342_aikuisten_maahanmuuttajien_kotoutumiskoulutuksen_opetussuunnitelman_perusteet_2012.pdf