Yleisten kielitutkintojen digitaalisen kirjoittamisen pilottitestin ensituloksia

Julkaistu: 10. toukokuuta 2023 | Kirjoittaneet: Mari Honko ja Tuija Hirvelä

Kielitaidon arvioinnin tulee seurata yhteiskunnan muutoksia  

Aktiivinen osallisuus ja itsenäinen toiminta suomalaisessa yhteiskunnassa vaikuttaa edellyttävän yhä monipuolisempaa kirjoitustaitoa. Kirjoittamalla tehdään aloitteita ja reagoidaan muiden aloitteisiin, keskustellaan reaaliajassa, rakennetaan ja säädellään sosiaalisia suhteita, osallistutaan ja vaikutetaan kierrättämällä ja muokkaamalla sekä omia että muiden tekstejä.  

Suomessa asuvan aikuisen arjessa digitaalinen tekstitoiminta on pitkälti korvannut kynä–paperi-kirjoittamisen (Honko, Sulkunen, Vaarala & Söyrinki 2022). Välineen lisäksi myös kirjoittamisen kulttuuri on muuttunut, kun kirjoittaminen yhä useammin on pitkien ja yksin kypsyteltyjen tekstien tuottamisen sijaan reaaliaikaista, monimodaalista vuorovaikutusta muiden ihmisten kanssa ja osa verkkoympäristössä navigointia.  

Laadukkaan ja oikeudenmukaisen kielitaidon arvioinnin tulee seurata yhteiskunnan muutoksia ja reagoida näihin kytkeytyviin muutoksiin yksilöllisten taitojen tarpeissa (Leblay, Lammervo & Tarnanen, toim. 2014). Vaikka käsin kirjoittamisellakin yhä on erityisiä tehtäviä ja hyötyjä, kirjoittamisen digitalisoituminen on 2020-luvulla jo siinä määrin laajamittaista, että se viimeistään nyt tulee huomioida myös kirjoitustaidon opetuksessa ja arvioinnissa (esim. Euroopan neuvosto 2020).  

Tässä kirjoituksessa esittelemme lyhyesti Yleisissä kielitutkinnoissa vuosina 2020 ja 2021 toteutettua digitaalisen kirjoittamisen pilottitestiä (tästä eteenpäin digipilotti) ja sen ensituloksia erityisesti testin toimivuuden ja osallistujilta kerätyn itsearviointitiedon sekä palautteen valossa. Samalla pohdimme digitaalisen (testi)arvioinnin roolia ja tulevaisuutta aikuisten suomi toisena kielenä -oppijoiden kielitaidon arvioinnissa.  

Yleiset kielitutkinnot digipilotin kontekstina 

 Yleiset kielitutkinnot on suomalainen aikuisten toiminnallisen kielitaidon arviointiin tarkoitettu virallinen arviointijärjestelmä, jossa arviointi on osaamisperusteista, kriteeriviitteistä taitotasoarviointia (Opetushallitus 2011, 2023). Kirjoittamisen osakoe on perinteisesti muodostunut kolmesta erillisestä, käsin kirjoitettavasta tehtävästä. Digipilotissa tavoitteena oli kehittää digitaaliselle kirjoittamisalustalle suunniteltuja, taitotasojen A2–B2 arviointiin soveltuvia tehtäviä, testata tehtävien toimivuutta yhteistyössä aikuisten suomenoppijoiden kanssa sekä tutkia kahden eri arviointiasteikon (≈ A2–B2 vs. B1–B2) käyttöä tehtävien arvioinnissa. 

Digipilotti toteutettiin Jyväskylän yliopiston Soveltavan kielentutkimuksen keskuksen tutkijoiden johdolla osana Yleisten kielitutkintojen tutkimus- ja kehittämistyötä. Se ei kuitenkaan ole virallinen kirjoittamisen testi eikä käytössä nykyisissä tutkinnoissa. Näin ollen sen tuloksista ei voi tehdä Yleisiä kielitutkintoja koskevia tulkintoja. Osallistujat eivät myöskään saaneet osallistumisestaan tutkintotodistusta, vaan epävirallisen tehtäväkohtaisen palautteen. Tavoitteena kuitenkin on Soveltavan kielentutkimuksen keskuksen tekemisen aiempien kehittämissuunnitelmien (ks. Tarnanen, Junttila & Westinen 2009; Kekki, Rahikainen & Visti 2019) mukaisesti, että Yleiset kielitutkinnot digitalisoidaan tulevaisuudessa.  

Digipilotin sisällöt ja toteutus 

Vaikka kyseessä ei ole virallinen kielitesti, digipilotin keskeiset periaatteet ovat pitkälti samat kuin Yleisissä kielitutkinnoissa yleensä. Tehtävissä tavoiteltiin Suomessa asuvalle aikuiselle luontevia kirjoittamistilanteita, ja niillä pyrittiin saamaan esille osallistujan kyky toteuttaa erilaisia kielenkäyttöfunktioita.  

Yleisten kielitutkintojen laatijat luonnostelivat digipilotin tehtävät, jotka viimeisteltiin ja koostettiin testikokonaisuuksiksi digitaaliseen testaukseen ja arviointiin tarkoitetulle TAO-alustalle (ks. TAO 2023) yhteistyössä kielentutkijoiden kanssa. Tehtävänannoissa tavoiteltiin sisältöjä ja muotoiluja, jotka sopisivat Yleisten kielitutkintojen taitotasoille 2, 3 ja 4 (≈ A2–B2). Koska arvioitavan näytteen tuli olla aikarajattuun taitotasoarviointiin sopiva, mukaan ei haluttu hyvin laajoja tehtäviä eikä toisaalta myöskään pieneksi pirstoutuvia tekstiosioita, kuten parin sanan lomakevastauksia. 

Jokaiseen testikokonaisuuteen sisältyi sekä aloitteellista kirjoittamista että toisen kirjoittamaan tekstiin reagointia ja mielipiteen ilmaisua edellyttäviä tehtäviä yhteensä viiden tehtävän verran. Lisäksi kuhunkin kokonaisuuteen sisältyi eri tekstilajeja ja sekä tuttavallisen että muodollisemman rekisterin käyttöön ohjaavia tehtäviä. Kukin osallistuja teki vain yhden testin, ja testikokonaisuuksien vertailtavuus varmistettiin yhteisen rakenteen avulla sekä kierrättämällä tehtäviä eri kokonaisuuksissa. 

Osallistujiksi kutsuttiin useita aikuisopetuksen ryhmiä, joissa opiskelijoiden suomen kielen taito vastasi ennakkotiedon perusteella pääsääntöisesti eurooppalaisen viitekehyksen taitotasoja A2–B2. Testi tehtiin sovittuna ajankohtana joko omilla tai oppilaitoksen laitteilla. Suosituksena oli tietokoneen tai kannettavan tietokoneen käyttö. Lisäksi osallistumiseen vaadittiin toimiva verkkoyhteys. Osa ryhmistä teki digipilotin etänä, osa valvotusti oppilaitoksen tiloissa. Kaikissa tapauksissa osallistujille tarjottiin ennakkotietoa testistä sekä reaaliaikaista teknistä tukea.  

Ohjeena oli tehdä tehtävät ilman apukeinojen käyttämistä. Tehtävien tekemiseen varattu aika oli rajallinen (55 min), ja annetun ajan sisällä osallistujat saivat halutessaan palata täydentämään ja muokkaamaan tehtäviä. Kirjoittamistehtävien lisäksi osallistujilta kerättiin kyselytietoa, kuten itsearviointitietoa digitaalisten välineiden käytöstä ja niiden käyttötaidosta, ja palautetta testistä, muun muassa palautetta tehtävien vaativuudesta ja määrästä sekä tehtävien tekemiseen varatun ajan riittävyydestä. 

Osallistujien tausta ja digitaaliset taidot  

Digipilotissa oli yhteensä 201 osallistujaa, joille suomi oli aikuisiällä opittu kieli. Heistä kaksi kolmasosaa oli naisia, noin kolmannes miehiä. Suurin osa osallistujia oli nuoria aikuisia tai keski-ikäisiä: 44 % osallistujista kuului ikäryhmään 25–34-vuotiaat ja 30 % ikäryhmään 35–44-vuotiaat. Heitä nuorempia ja vanhempia osallistujia oli kuta kuinkin yhtä paljon molempia.  

Kyselytiedon perusteella useimmat osallistujat olivat aktiivisia digitaalisten laitteiden käyttäjiä vapaa-ajallaan. Lisäksi erityisesti koulutus, kuten kotoutumiskoulutus, aikuisten perusopetus ja erilliset kielikurssit, oli tarjonnut mahdollisuuksia laitteiden käytön ja digitaalisen kirjoittamisen harjoitteluun. Vaikka tuoretta vertailutietoa ei ole saatavilla, tulos vastaa aiempaa kyselytutkimuksella kerättyä tietoa aikuisten maahanmuuttajien digitaalisten välineiden käytöstä (Tarnanen ym. 2009).  

Taustakysymyksiin vastanneista osallistujista enemmistöllä (70 %) tietokone oli päivittäisessä käytössä sekä vapaa-ajalla että opinnoissa tai työssä. Seuraavaksi suurin joukko kertoi käyttävänsä tietokonetta viikoittain (13 %). Joukossa oli kuitenkin myös osallistujia (7 %), joilla tietokone oli käytössä harvoin. Lisäksi 13 osallistujaa (10 %) kertoi, ettei käyttänyt tietokonetta opinnoissaan tai työssä lainkaan. Heistä kymmenellä tietokone ei ollut käytössä myöskään kotona.  

Useimmat (91 %) kertoivat käyttävänsä älypuhelinta päivittäin vapaa-ajallaan ja suurin osa (81 %) yhtä usein myös osana opintojaan tai työtään. Lopuilla käyttö oli vähäisempää, ja viidellä älypuhelinta ei ollut käytössä lainkaan. Alle puolella osallistujista oli käytössä tabletti, heistä suurimmalla osalla harvemmin kuin päivittäin. Myös tablettia kuitenkin käytettiin sekä vapaa-ajalla että opinnoissa tai työssä. Täysin ilman digitaalisia laitteita ei toiminut kukaan, vaan kaikilla osallistujilla oli kotona käytössään vähintään yksi kolmesta mainitusta laitteesta. Yksi osallistuja tosin kertoi, ettei hän opinnoissa tai työssä käyttänyt laitteita lainkaan. 

Digitaalisia taitoja selvitettiin neljän kysymyksen avulla (ks. kuvio 1). Osallistujat vastasivat kysymyksiin erikseen omien äidinkieltensä ja suomen kielen näkökulmasta. Nämä melko yleisluonteiset kysymykset osoittavat, että koska digitaaliset taidot kytkeytyvät kielelliseen toimintaan, ne koetaan ainakin jossain määrin kielikohtaisiksi. Digipilotin osallistujista suurin osa arvioi taitonsa omassa äidinkielessään erittäin hyviksi ja vahvemmiksi kuin suomen kielessä.  

Kuvio 1: Itsearviointi digitaalisista taidoista  

Vahvimpana taitonaan kummassakin kielessä vastaajat pitivät puhelimen viestiin vastaamista ja vaikeimpana puolestaan tekstien kirjoittamista ja editointia tekstinkäsittelyohjelmassa. Vastauksissa oli pieniä kielikohtaisia eroja myös suhteessa taitojen keskinäisiin suhteisiin. Nettilomakkeiden täyttäminen koettiin äidinkielellä helpommaksi mutta suomen kielellä vaikeammaksi kuin sähköpostiviestin kirjoittaminen.   

Kokemukset digipilotista ja tulosten johdonmukaisuus 

Testialustalle kertyneiden lokitietojen perusteella useimmat osallistujat etenivät testialustalla melko jouhevasti ja osasivat jakaa käytössä olevan ajan hyvin eri tehtävien välillä, jolloin heille jäi riittävästi aikaa viimeisenkin tehtävän tekemiseen. Enemmistö osallistujista myös koki, että tehtävien tekemiseen oli käytettävissä riittävästi aikaa (62 %) ja niitä oli sopiva määrä (76 %). Monien mielestä aikaa kuitenkin oli liian vähän (32 %) ja tehtäviä liian paljon (17 %). Joidenkin mielestä aikaa toisaalta oli jopa liikaa (6 %) tai tehtäviä liian vähän (7 %).  

Vaikka jo tehtyihin tehtäviin palaaminen oli mahdollista, lokitiedot osoittavat, että suurin osa ei käynyt aluksi tutustumassa tehtäviin tai palannut aikaisempiin suorituksiin, vaan testissä edettiin hyvin suoraviivaisesti alusta loppuun. Vaikuttaa kuitenkin siltä, että ainakin osa osallistujista olisi hyötynyt testikokonaisuuteen tutustumisesta heti testin alussa. Esimerkiksi yksi osallistuja kertoi: ”Minä en ehtinyt tehdä numerot 4 ja 5, koska en tiesi, paljonko meillä oli tehtäviä.”  

Suurin osa testin järjestäjistä – pääosin ryhmän opettajia – kertoi, että pilottitesti meni sujuvammin kuin he etukäteen osasivat odottaa. Palautteen perusteella sujuvuutta lisäsivät selkeät toimintaohjeet ja materiaalit, erityisesti osallistujille ennen testitilannetta esitetty, selostettu tallenne koealustan käytöstä, opettajille "askel askeleelta" -ohjeet testin järjestämiseen sekä tarjolla ollut etätuki teknisten pulmien varalta. Kehittämiskohteista esille nostettiin koealustan kieli. Vaikka testi itsessään oli suomenkielinen, alustalla esiintyi myös muutamia englanninkielisiä ilmaisuja. Jatkossa olisi siis tärkeää paitsi säilyttää testiin liittyvä koulutus, ohjemateriaali ja tekninen tuki, myös huolehtia siitä, ettei alustalle jää muihin kuin varsinaisiin testikieliin liittyviä ohjeita tai muuta tekstiainesta.  

Osallistujilta itseltään saatiin melko vähän sanallista palautetta testistä tai se oli – ymmärrettävästikin – niukkaa (”kiitos paljon.”, ”Testi oli vaha vaikea”). Palautelomakkeen monivalintakysymysten perusteella tehtäviin liittyvien tekstien ymmärtäminen sujui osallistujilta suurimmaksi osaksi melko helposti (59 %) tai helposti (14 %), vaikkakin noin kolmannes osallistujista (27 %) koki tekstit liian vaikeiksi. Jotkin palautteista toisaalta olivat varsin yksityiskohtaisia, ja ne tarjoavat tärkeää lisätietoa digitaalisen kirjoittamisen testin jatkokehittelyyn, kuten tehtäviin sisältyvien aihepiirien arviointiin (1) ja testijärjestelyihin liittyvään ohjeistukseen (2). Palaute myös osoitti, että ainakin muutama osallistuja oli ohjeistuksesta huolimatta käyttänyt tehtävien tekemisessä apukeinoja (3). 

1. ”Tehtävä 2 oli minulle haastettava, koska teema ei kiinnostun yhtä, siksi oli vaikkea keksiä mitä. vielä se on teema josta minulla ei ole monta sanastoa.”  

2. ”I could not write letter with dots as they are not on my keyboard and I couldn't copy paste as i usually do.” 

3. “The comprehension of texts was quite okay but the don't have enough structure or vacabulary knowledge to answer properly, I used a translatar because i knew some basic words some i just didn't know and I used it to put together a proper answer.” 

Edellä mainituista puutteista huolimatta valitut tehtävätyypit ja tehtävät eri tehtäväpaketeissa mittasivat eri osallistujien digitaalisen kirjoittamisen taitoa riittävän yhdenmukaisella tavalla, jotta tuloksia voidaan pitää luotettavina osallistujien yhdenmukaisen kohtelun kannalta.  Alustavat tilastolliset analyysit osoittavat, että esimerkiksi testipakettien tehtäväkohtaisiin taitotasoarvioihin perustuva sisäinen johdonmukaisuus oli hyvä.  

Digipilotin perusteella aikuisten suomenoppijoiden kirjoitustaitoprofiilit kuitenkin ovat usein hieman epätasaisia. Koska testiin sisällytettiin tarkoituksella erityyppisiä tehtäviä, osallistujan saama taitotasoarvio saattoi joissakin tehtävissä olla hieman korkeampi tai matalampi kuin toisissa. Tämän vuoksi on erittäin tärkeää, että arvioinnissa sovellettu kirjoittamisen konstrukti (näkemys kirjoitustaidosta arviointikohteena) ja arviointitapa – se, millaista kirjoitustaitoa mitataan ja miten – on testiarvioinnissa huolellisesti ja tarkoituksenmukaisesti määritelty. 

Digilaitteiden käytön sekä osallistujan taustan yhteys kirjoittamisen testissä menestymiseen 

Vaikka digitaalisten laitteiden käyttö kaiken kaikkiaan oli digipilottiin osallistuneessa joukossa runsasta ja laitteiden käyttötaito arvioitiin yleensä hyväksi tai melko hyväksi, on tärkeää huomioida, että sekä laitteiden saatavuudessa että niiden käyttöaktiivisuudessa, -tarkoituksessa ja -taidoissa oli osallistujien välillä myös olennaisia eroja. Nämä erot osoittautuivat myös merkityksellisiksi kirjoittamisen testiin osallistumisen kannalta. 

Ne digipilotin osallistujat, jotka käyttivät laitteita eniten vapaa-ajallaan, käyttivät niitä eniten myös opinnoissa/työssä. Runsas tietokoneen käyttö myös yhdistyi digipilotissa menestymiseen eli parempaan kirjoittamisen taitotasoarvioon. Lisäksi laitetaitonsa omalla kielellä parhaiksi arvioineet osallistujat menestyivät suomen kielen kirjoittamisen testissä (keskimäärin) muita paremmin. Tulokset osoittavat, kuinka tärkeää harjaantuminen digitaalisten laitteiden käyttöön on kielenoppijalle tilanteissa, joissa osaamisensa joutuu osoittamaan digitaalisten tehtävien avulla.  

Digipilottiin osallistujien oma kokemus testin sujumisesta ja vaikeusasteesta oli sekin osin yhteydessä saavutettuihin tuloksiin. Merkille pantavaa on, että kokemus testiajan riittävyydestä ja tehtävien määrästä eivät selittäneet menestystä, vaan sekä hyvän että heikon tuloksen saaneissa oli melko tasaisesti niitä, jotka joko olivat tyytyväisiä käytettävissä olevan ajan ja tehtävien määrään, sekä niitä, jotka olisivat toivoneet näihin muutoksia. Sen sijaan kokemus tehtävien vaikeudesta ja niihin liittyvien tekstien ymmärrettävyydestä oli yhteydessä testissä menestymiseen: mitä paremmin osallistuja koki ymmärtäneensä tehtävät ja mitä helpompana hän kutakin tehtävää piti, sitä todennäköisemmin hän saavutti digipilotissa korkean taitotason.  

Tarkastelluista demografisista muuttujista sukupuoli ei ollut yhteydessä digipilotin tulokseen, eli taitotasoarviot jakautuivat kuta kuinkin tasaisesti eri sukupuolten välille. Ikä sen sijaan selitti saavutettua taitotasoa siten, että nuorimmilla osallistujilla (alle 25-vuotiaat) suorituksia oli tasaisimmin eri taitotasoilla. Vanhimmilla (vähintään 55-vuotiaat) oli suhteessa matalin digitaalisen kirjoittamisen taito ja nuorilla aikuisilla/keski-ikäisillä suorituksista puolestaan hieman odotettua suurempi osa oli tasoilla 2 ja 3. 

Lopuksi 

Korona-aikaan sattuneen digipilotin käytännön toteutus sujui olosuhteisiin nähden hyvin. Suoriutumisen yleistaso kuitenkin oli jonkin verran ennakoitua heikompi. Kirjoittaminen yleisesti on monille suomea aikuisiällä oppineille muihin kielen osataitoihin nähden vaikea taito, ja lisäksi joidenkin osallistujien kirjoittamisen testisuoritus jäi alle opettajan arvioiman kirjoitustaidon tason.  

Tutkimuksemme ensitulosten perusteella testiformaatilla voi ainakin yksittäisille osallistujille olla kielitaidon testiarvioinnissa ratkaiseva vaikutus tuloksiin. Jos digiympäristössä toimiminen on ollut vähäistä ja erityisesti, jos tietokoneen käyttö ja näppäimistöllä toimiminen on ollut vähäistä, kirjoitustaidon testitulos digitestissä voi olla heikompi kuin se olisi kynä-paperi-testissä. 

Palautteen perusteella myös joidenkin tehtävien kontekstit tai tehtävissä vaadittu kirjoittamisen tapa saattoivat olla erityisesti perustason osallistujille vieraita. Esimerkiksi testissä tavoiteltu vuorovaikutteisen kirjoittamisen tapa voi vaikuttaa tuloksiin. Sen etuna on autenttisuus Suomessa asuvan aikuisen arkielämän tyypillisten kirjoittamistarpeiden näkökulmasta. Toisaalta vuorovaikutteisuudesta lähes väistämättä seuraa, että kirjoittamisen lisäksi tehtäviin sisältyy tekstin tulkintaa, jolloin arviointi ei enää kohdistu pelkästään tuottamisen taitoon. Lisäksi tehtävien autenttisuus on aina jossain määrin suhteellista ja voi muodostua testin saavutettavuuden esteeksi silloin, kun osallistujan kokemukset arjen kielenkäyttötilanteista poikkeavat testissä oletetusta. 

Jos (toiminnallisen) kirjoitustaidon arviointia halutaan jatkossa kehittää yhä paremmin arjen kirjoitustaitotarpeita vastaavaksi, tämä väistämättä tarkoittaa yhä enemmän digitaalista arviointia ja koko kirjoittamisen konstruktin uudelleenarviointia. On esimerkiksi määriteltävä, millainen rooli digitaalisella vuorovaikutuksella, monimodaalisuudella ja mediaatiotaidoilla on kirjoitustaidossa ja sen arvioinnissa. Lisäksi tarvitaan testitehtävien tutkimuspohjaista kehittämistä ja jatkuvaa seurantaa. Kaikki harkitut ja pitkällekään kehitetyt tehtävät eivät välttämättä toimi laadukkaina osaamisen mittareina testikontekstissa, esimerkiksi sovellu oppimisen eri vaiheissa oleville tai erilaisen taustan omaaville osallistujille ja erilaisiin arviointitarkoituksiin. 

Arvioinnin kohteena olevien yksilöiden näkökulmasta on tärkeää, että arviointi on mahdollisimman reilua ja läpinäkyvää – esimerkiksi tehtävänannot saavutettavia. Digitaalisella alustalla on myös huolehdittava siitä, että osallistujilla on riittävät laite- ja näppäintaidot sekä tietoa testin kulusta ja vaatimuksista. Vaikka tietokoneen käyttö esimerkiksi oli joillekin digipilottiin osallistuneille kirjoittamisen vahvuus, toisille se oli hidasta ja hankalaa. Testitekniikkaa ja testissä tarvittavia taitoja on myös voitava tarpeen mukaan harjoitella. 

Siirtyminen digitaaliseen kontekstiin voi muuttaa myös arvioijan näkökulmaa arviointitehtävään. Se voi vaikuttaa esimerkiksi vaikutelmaan tekstin määrästä – käsin kirjoitettuna sama teksti voi vaikuttaa runsaammalta. Kirjoitetun kielen normien rikkominen puolestaan voi nousta korosteisemmin esille digitaalisessa kirjoittamisessa, mikä on syytä tiedostaa arvioinnin painotuksissa. Toisaalta yksilölliseen käsialaan liittyvät tulkintaongelmat ja käsialan mahdollisesti synnyttämät mielikuvat jäävät digitestin arvioinnista pois, mikä voi lisätä arvioitavien tasapuolista kohtelua. 

Digitaalisen testiarvioinnin kehittäminen edellyttää teknistä osaamista ja välineitä. Lisäksi tarvitaan testiarviointiin soveltuva alusta ja sen kanssa yhteensopiva järjestelmä tehtäväpankin sekä arviointien ylläpitämiseen, resursseja näiden kehittämiseen ja riittävä koulutus, opastus ja tekninen tuki osallistujille. Tärkeintä digitaalisessakin arvioinnissa kuitenkin on arviointitarpeen määrittely sekä arvioinnin laadukkuus, tasapuolisuus ja eettisyys. 

Mari Honko työskentelee tutkijatohtorina ja Tuija Hirvelä projektitutkijana Jyväskylän yliopiston Soveltavan kielentutkimuksen keskuksessa.  

Kirjallisuus 

Euroopan neuvosto 2020. Common European framework of reference for languages Learning, teaching, assessment. Companion volume. https://rm.coe.int/common-european-framework-of-reference-for-languages-learning-teaching/16809ea0d4   

Honko, M., Sulkunen, S., Vaarala, H. & Söyrinki, S. 2022. Aikuisten kirjoittaminen ja kirjoitustaitotarpeet digitalisoituvassa Suomessa. AFinLAn vuosikirja 2022. https://doi.org/10.30661/afinlavk.114544 

Kekki, J., Rahikainen, S. & Visti, J. 2019. Digitaalisen koealustan pilotointi Yleisissä kielitutkinnoissa. Kieli, koulutus ja yhteiskunta, 10(2). Saatavilla: https://www.kieliverkosto.fi/fi/journals/kieli-koulutus-ja-yhteiskunta-maaliskuu-2019/digitaalisen-koealustan-pilotointi-yleisissa-kielitutkinnoissa 

Leblay, T., Lammervo, T. & Tarnanen, M. (toim.) 2014. Yleiset kielitutkinnot 20 vuotta. Helsinki: Opetushallitus. https://www.oph.fi/sites/default/files/documents/leblay-t.-lammervo-t.-ja-tarnanen-m.-toim.-yleiset-kielitutkinnot-20-vuotta.-2014.pdf  

Opetushallitus 2011. Yleisten kielitutkintojen perusteet. Helsinki: OPH.  

Opetushallitus 2023. Yleisten kielitutkintojen verkkosivut. https://www.oph.fi/fi/koulutus-ja-tutkinnot/kieli-ja-kaantajatutkinnot/yleiset-kielitutkinnot-yki  

TAO 2023. TAO-verkkosivut. https://www.taotesting.com/ 

Tarnanen, M., Junttila, J. & Westinen, E. 2009. Suunnitelma Yleisten kielitutkintojen suomen kielen keskitason testin digitalisoinnin toteuttamiseksi. Manner-Suomen ESR-hanke.