Suomen kielen ja kirjallisuuden osaamista arvioimassa – tasapainoilua oppimisen tavoitteiden ja osaamisen kriteereiden välillä
Julkaistu: 12. toukokuuta 2021 | Kirjoittanut: Merja Kauppinen ja Jan Hellgren
Uudistuneet, arvosanoihin tarkennetut oppilaan osaamisen kriteerit laadittiin tarpeeseen. Ne selkeyttävät perusopetuksen arviointia, tekevät sitä näkyvämmäksi oppilaille ja huoltajille sekä helpottavat opettajan työtä. Kriteereissä pyritään kuvaamaan mahdollisimman selkeästi osaamiselle asetettavat viitepisteet, joiden pohjalta sanallista ja numeerista arviointia perusopetuksessa tehdään. Kriteereistä on hyötyä oppilasarvioinnin lisäksi myös opitun jäsentämisessä ja opetuksen suunnittelussa. Esimerkiksi Sawaki (2016) tuo esiin useita kriteeriperusteisen arvioinnin etuja: Ilman kriteerejä kuljetaan helposti vain oman oppilasryhmän mukaan, jolloin vaihtelu sekä oppimisen tavoitteiden asettelussa että arvioinnissa kasvaa. Kriteeriperusteista arviointia pidetäänkin oppilaan kannalta oikeudenmukaisempana kuin suhteellista arviointia, koska tavoitteet ja niistä johdetut arviointikriteerit on määritelty etukäteen. Näin ne ovat läpinäkyviä ja jokaisen saatavilla.
Mitkään kriteerit eivät kuitenkaan yksinomaan tee arvioinnista täysin objektiivista. Kriteereitä ei saa kielellistettyä niin, että kaikki arvioijat tulkitsisivat ne samalla tavoin. Myös kriteerien suhteuttaminen arviointiasteikolle on aina jossakin määrin arvioijakohtaista. (Ks. esim. Ahola 2016.) Kuvaammekin tässä artikkelissa suomen kielen ja kirjallisuuden oppimäärän arvioinnin tavoitteita ja kriteereitä kansallisen oppimistulosarvioinnin näkökulmasta. Havainnollistamme kansallisen arvioinnin avulla opetuksen ja oppimisen tavoitteiden tulkintaa ja soveltamista tehtävien laadintaan ja oppilaan taitotason määrittelyyn. Arvioinnista ja sen kulusta voi lukea enemmän arviointiraportista (Kauppinen & Marjanen 2020).
Oppilasarvioinnin tavat ja muodot monipuolistuivat meillä Suomessa oppimiskäsityksen murroksen myötä 1990-luvun kuluessa (Saarinen, Kauppinen & Kangasvieri 2019). Sosiokonstruktivistisen ajattelun myötä oppimisen tavoitteiden asettelu ja niiden saavuttamisen arviointi merkityksellistyivät uudella tavalla. Oppijan osuus tavoitteen asettelussa ja oppimansa reflektoinnissa tuli myös kouluoppimisessa keskeiseksi. Opettaja puolestaan mahdollisti oppimisen suunnittelemalla oppimisympäristön oppimiseen kannustavaksi ja oppimista tukevaksi. Hän seurasi oppimisen kulkua ja ohjasi oppimisen arviointia. Oppijoita alettiin kannustaa itse- ja vertaisarviointiin ja opittua osoitettiin työnäytteiden, portfolioiden ja erilaisten koosteiden kautta. Samalla oppimistavoitteiden asettelua ja niiden muotoilua piti ajatella uudella tavalla: eriteltiin prosessi- ja sisältötavoitteita sekä oppijan työskentelyä ja oppimisen päämäärää kuvaavia tavoitteita. Uudistuneiden arvioinnin käytänteiden myötä myös oppilaiden yhdenvertaiset mahdollisuudet oppia nousivat keskusteluun. Yhdenvertaisuus ei tarkoita sitä, että kaikkia oppilaita kohdeltaisiin samalla tavalla vaan samojen periaatteiden kautta. Kun arviointi monipuolistuu, se vaatii opettajalta entistä tarkempaa yhdenvertaisen kohtelun ja oikeudenmukaisuuden pohdintaa: onko kaikilla oppilailla mahdollisuuksia osoittaa tasavertaisesti osaamistaan, kun arvioinnin menetelmiä uudistetaan?
Kriteerikuvaukset luupin alla
Kansalliset opetussuunnitelmat muodostavat koulutusorganisaation muistin, mikä näkyy selvästi myös POPS 2014:n hyvän osaamisen (arvosana 8) kriteereissä. Niissä on jälkiä oppimisen arvioinnin kerrostumista peruskoulun ajalta, ja tämä näyttäytyy nykyisissä opetussuunnitelman perusteissa (2014) muun muassa tavoitteiden kirjavuutena. Tämän havaitsimme ensimmäiseksi, kun kävimme suomen kielen ja kirjallisuuden päättöarvioinnin hyvän osaamisen kriteereitä opetussuunnitelman perusteista huolellisesti läpi. Hyvä osaaminen koostuu oppijan toivotun toiminnan kuvauksista, jotka saattavat olla hyvin yksityiskohtaisiakin. Esim. Oppilas ottaa esittäessään (puheenvuoro, puhe-esitys) huomioon yleisönsä ja käyttää joitakin havainnollistamisen keinoja (T3). Osaamisen kuvaus kiinnitetään aina myös oppiaineen sisältörakenteeseen nimeämällä arvioinnin kohde (esim. kokonaisilmaisun ja esiintymisen taidot) ja kuvaamalla opetuksen tavoitteet, ts. opettajan kasvatus- ja opetusteot, jotka liittyvät sisältöön (ohjata oppilasta monipuolistamaan kokonaisilmaisun taitojaan erilaisissa viestintä- ja esitystilanteissa, myös draaman keinoin).
Laatiessamme oppimistulosarvioinnin (ks. Kauppinen & Marjanen 2020) tehtäviä jouduimme ottamaan huomioon koko kriteerikuvauksen ketjun (oppilaan toiminta – opittava sisältö ja arvioitava asia – opetuksen tavoite). Oppilaan osaamisen kuvaus osoittautui tehtävien laadinnassa tärkeimmäksi kriteerien osaksi, sillä se antoi tehtävänlaadintaan konkretiaa. Siinä nimetään mm. tekstilajeja ja kuvataan yksityiskohtaisesti oppilaan toiminnan tasoa (vrt. Bloomin taksonomia). Arvioitava sisältö ja opetuksen kuvaus puolestaan kontekstualisoivat tehtävän painopistettä. Ne antoivat nimilapun esimerkiksi edellytetylle vuorovaikutustaidolle eli kytkivät kriteerin kielitaidon, kirjallisuustieteen tai viestinnän jäsennyksiin. Konkreettisuuden ja tarkkuuden vuoksi oppilaan osaamisen kuvaukset soveltuivat hyvin kansallisen arvioinnin tehtävien lähtökohdaksi.
Suomen kielen ja kirjallisuuden arviointikriteeristö osoittautui hyvin kirjavaksi. Kuvaukset koostuvat laajoista sisältötavoitteista (Oppilas osaa toimia tavoitteen mukaisesti erilaisissa viestintäympäristöissä ja -tilanteissa, T1), taitojen prosessitavoitteista (Oppilas osaa arvioida omaa lukutaitoaan ja nimetä kehittämiskohteita, T5) sekä osaamisen päättötavoitteista (Oppilas osaa ilmaista mielipiteensä ja perustella sen uskottavasti, T2). Mukana on myös asennetavoitteita (Oppilas ottaa toisten näkemykset huomioon ja tekee yhteistyötä heidän kanssaan vuorovaikutustilanteissa, T2). Kaikkia osaamisen kriteereitä on ylipäänsä mahdoton mitata yhdessä ja samassa arvioinnissa. Lisäksi kriteerit limittyvät toisiinsa osin suomen kielen ja kirjallisuuden oppiaineluonteen vuoksi. Esimerkiksi vuorovaikutusalueen ryhmätaitoja koskeva tavoite T2 Oppilas osaa ilmaista mielipiteensä ja perustella sen uskottavasti sisältyy myös tekstien tuottamisen (tekstilajien hallinta) T11-tavoitteeseen. Kriteerien sisällöllinen laajuus sai arvostelua myös opettajilta, jotka testasivat eri sisältöalueiden uusittuja kriteerejä (Puukko, Huhtanen & Lepola 2020). Liian laajat kuvaukset vaaransivat opettajien mukaan kriteerien käytettävyyden päättöarvioinnin välineenä. Niihin toivottiin lisää selkeyttä ja konkretiaa, jota mekin haimme opetussuunnitelman perusteiden hyvän osaamisen kuvauksista.
Hyvin erityyppiset tavoitteet kertovat yhtäältä oppimäärän laajuudesta mutta myös siitä, miten taitojen jatkumo (oppiaineen tiedonalaperusta) ja yksittäisten opiskeltavien sisältöjen osaaminen on ollut olennaista saada arviointiin mukaan. Tällöin tavoitteiden asettelusta ja kuvauksista muodostuu väistämättä eriparisia. Opettajan arviointityötä helpottaakin, mikäli hän on lukenut opetussuunnitelman tarkkaan ja pohtinut askarruttavia kohtia kollegojensa kanssa. Näin opettajalle muodostuu ymmärrys erityyppisistä tavoitteista ja hän osaa erotella ne toisistaan arviointia varten. Äidinkielen ja kirjallisuuden oppimistulosten arvioinnissa näkyi selvästi tavoitteiden kiinnittyminen kontekstiin. Huomasimme esimerkiksi sen, miten epäautenttiseksi arviointiympäristö osoittautui viestinnällistä osaamista arvioitaessa.
Kaiken kaikkiaan vuorovaikutustilanteissa toimiminen osoittautui suomen kielen ja kirjallisuuden sisältöalueista kaikkein haastavimmaksi arvioitavaksi. Sama on todettu myös muissa Karvin kieliin ja kielitaitoon liittyvissä oppimistulosten arvioinneissa (ks. esim. Härmälä, Huhtanen, Puukko & Marjanen 2019; Åkerlund, Marjanen & Lepola 2019). Käytössämme oli digitaalinen järjestelmä, joka ei taipunut esimerkiksi ryhmävuorovaikutustilanteiden arviointiin. Keskityimme niiden sijasta vuorovaikutuksen analysointiin ja tulkintaan erityyppisissä tekstiympäristöissä, kuten somealustan harrastusviestiketjussa ja radion haastatteluohjelmassa. Vaikka nämä tehtävät sisälsivät vuorovaikutuksen dimension, niitä käsiteltiin arvioinnissa kuitenkin tekstien tulkitsemisen tehtävinä. Samalla tavoin kävi tekstien tuottamisen tehtävän, jossa oppilasta pyydettiin arvioimaan itseään kirjoittajana. Tehtävä kiinnittyi erinomaisesti vuorovaikutustaitojen kehittämisen tavoitteeseen T4 kannustaa oppilasta syventämään viestijäkuvaansa niin, että hän oppii havainnoimaan omaa viestintäänsä, tunnistamaan vahvuuksiaan sekä kehittämisalueitaan erilaisissa viestintäympäristöissä. Tästä huolimatta tämä tehtävä laskettiin tekstien tulkitsemisen taitoja mittaavaksi tehtäväksi.
Vuorovaikutustilanteissa toimimisen sisältöalue on suomen kielessä ja kirjallisuudessa laaja ja limittyy käytännössä kokonaan tekstien tuottamisen ja tulkitsemisen sisältöalueen kanssa opetussuunnitelman perusteiden tavoitekuvausten perusteella. Katsoimmekin, että teemme oppilaiden vuorovaikutustaitojen arvioinnille vääryyttä, jos perustamme osaamisen arvioinnin pelkkien viestintätilanteiden analysointien varaan. Näin ollen sisällytimme vuorovaikutuksen arviointiraportin liitteeksi.
Kiinnostavaa on, miten uusittuja kriteerejä testanneet opettajat (ks. Puukko, Huhtanen & Lepola 2020) tekivät kriteerien sovellettavuudesta samantapaisia havaintoja kuin me alkuperäisistä opetussuunnitelman perusteiden hyvän osaamisen kuvauksista. Opettajat pitivät onnistuneimpina tekstien tuottamisen (ymmärrettävän tekstin tuottaminen, kirjoitetun kielen konventioiden hallinta ja kirjoittamisen sujuvuus) kriteereitä samoin kuin tiettyjä tekstin tulkitsemisen kriteerejä (kirjallisuuden tuntemus ja lukuharrastus). Kehittämistarpeita havaittiin etenkin vuorovaikutustaitoja kuvaavissa kriteereissä.
Kriteereistä on opetuksessa paljon hyötyä
Suomen kielen ja kirjallisuuden ja kriteerien (kriittinen) tarkastelu auttoi meitä suuntaamaan suomen kielen ja kirjallisuuden oppimistulosten arviointia ja rajaamaan tehtäviä. Jouduimme tekemään useita rajauksia ja erotteluja sen suhteen, millaista osaamista kunkin tehtävän avulla pääasiassa mitataan ja minkä kriteerien avulla osaamista näin ollen määritellään. Uskommekin, että osaamisen kriteereistä on monenlaista hyötyä myös opettajalle. Kriteerikuvaukset yhdistävät oppimisprosessin eri osat – opettamisen, oppimisen, arvioinnin ja palautteen – toisiinsa (Huhta 2020).
Kun osaamisen kuvaukset ovat eriteltyinä näkyvissä, ovat myös oppilailta edellytettävät tiedot ja taidot summatiivisessa arvioinnissa selkeämmin hahmotettavissa. Tämä helpottaa samalla tavoin myös oppimistehtävien, oppimisympäristöjen ja kokeiden laatimista. Lisäksi tavoitteita ja sisältöjä jäsentävät kriteerit auttavat opettajaa arvioimaan oppimateriaalia sekä valmiita koe- ja tehtäväpohjia. Myös erilaisia nettimateriaaleja käytetään opetuksessa yhä enemmän, ja niiden tekijöinä ovat monentyyppiset järjestöt, hankkeet ja yritykset. Osaamisen kriteerit antavat opettajalle välineen tarkastella, millaisten taitojen, tietojen ja asenteiden kehittämiseen materiaali kiinnittyy ja millaista osaamista sen avulla on mahdollista kehittää ja samalla myös arvioida.
Osaamisen tason määrittely matemaattisesti
Osaamisen arvioinnin pitäisi aina perustua riittävän monipuoliseen näyttöön. Tämä on yhteydessä muun muassa arvioinnin edustavuuteen ja luotettavuuteen. Vastaavasti kouluissa toteutettava summatiivinen arviointi on tärkeää rakentaa sisällöllisesti tarpeeksi kattavaksi. Esimerkiksi fiktiivisten tekstien tulkintataitoja arvioitaessa on huolehdittava siitä, että monenlaiset fiktiiviset tekstit, kuten sarjakuva, animaatio tai laululyriikka, ovat tekstilajeina esillä ja tulkintaa voi tehdä muutenkin kuin laatimalla kirjallisuusesseen.
Suomen kielen ja kirjallisuuden kansallisessa arvioinnissa pyrimme varmistamaan eri keinoin riittävän kattavan ja luotettavan tietopohjan osaamisen arvottamiselle. Esimerkiksi huolellisesti suunniteltu otostaminen, tehtävien rakentaminen asiantuntijaryhmän tiimityönä ja tehtävien esitestaus varmistivat luotettavan tiedonkeruun. Osaamisen osoittamisessa jouduttiin kuitenkin tekemään sisällöllisiä valintoja, esimerkiksi painottamaan tekstien tulkintaa, tekstien tuottamista ja kielentuntemusta enemmän kuin vuorovaikutustaitoja. Lisäksi osaamisen osoittamisen keinot perustuivat monivalintoihin ja perinteisen tekstin tuottamiseen, eivät monimediaisiin tapoihin osoittaa tietoja ja taitoja. Arvioinnin luonteeseen ylipäänsä kuuluvat valinnat, koska kaikkea ei voi arvioida yhdessä kokeessa. Esimerkiksi aikaraamit, koulujen kuormittaminen ja resurssit rajaavat arvioinnin toteutusta.
Arviointiin valituilla sisältöalueilla oli kaiken kaikkiaan hyvin vahva yhteys (r = 0,84) oppilaiden suomen kielen ja kirjallisuuden päättöarvosanojen kanssa. Lisäksi arviointiin valittujen sisältöalueiden osaaminen oli keskimäärin hyvin tasaista. Tämä viittaa siihen, että oppiaineen osaamisessa ns. geneeriset taidot ja eräänlaiset kielelliset perustaidot (ajatusten jäsentäminen kirjoittamalla, tekstien tulkitseminen) tuottavat tuloksia sisältöalueesta riippumatta.
Yksi oppimistulosarvioinnin haasteellisimmista kohdista liittyy osaamisen arvottamiseen, joka tarkoittaa käytännössä eritasoisen osaamisen määrittelemistä ja kuvaamista sekä skaalaamista arviointiasteikolle. Kun suomen kielen ja kirjallisuuden kansallinen arviointi toteutettiin, opetussuunnitelmassa oli määriteltynä päättöarvioinnin kriteerit ainoastaan arvosanalle 8 eli hyvälle osaamiselle. Kriteerien kehittämistyö käynnistyi arviointihankkeen aikana, ja se johti opetussuunnitelman perusteiden kannalta sekä oppilasarvioinnin tarkempaan määrittelyyn että uusiin kriteereihin arvosanoille 5, 7, 8 ja 9.
Jouduimmekin pohtimaan arviointihankkeessa huolellisesti, miten osaamisen eri tasoja voisi kuvata ilman tarkempia kriteerejä: käytetäänkö arvosanalle kahdeksan määriteltyjä kriteerejä jonkinlaisena normina vai sovelletaanko esimerkiksi vieraiden kielten arvioinnissa käytettyä osaamisen standardointimenettelyä (standard setting) eri osaamistasojen määrittelyssä? Päädyimme arvioinnissa eräänlaiseen ”kriteerittömään” osaamisen tasojen määrittelyyn, sillä osaamisen tasot määritettiin matemaattisesti. Halusimme kuvata osaamista kouluarvosana-asteikolla (4–10), mutta samalla tiesimme, että arvosanat tavallaan kelluvat ilmassa, koska osaamisen tasoja ei ole määritelty kriteeriperusteisesti eri arvosanoille. Matemaattinen määritys perustuu sille, että arvosanajakaumat toteutuvat eri kouluissa varsin pitkälle suhteellisen arvioinnin mukaan eli heikoimmasta parhaaseen, jossa suurin osa tapauksista asettuu ääripäiden väliin. Kansallisessa arvioinnissa hyödynnettiin kaikkien arviointiin osallistuneiden oppilaiden (N=6044) päättöarvosanoja, jotka suhteutettiin arvioinnin eri osioiden pistemääriin. Tämän perusteella laskettiin raja-arvot osaamiselle kouluarvosana-asteikolla seuraavasti: osaaminen alle 5–, 5–6–, 6–7–, 7–8–, 8–9–, 9–10. Arvosana-asteikolla koko aineiston keskiarvo on 7,9 ja keskihajonta 1,2. Nämä arvot laskettiin suomen kielen ja kirjallisuuden päättöarvosanoista, jotka saatiin Koski-tietovarannosta. Keskihajonnan määrittelyssä sovellettiin PISA-asteikon hajontaa.
Useissa arvioinneissa ja tutkimuksissa on havaittu vaihtelua arvosanojen antamisessa (esim. Metsämuuronen 2017, Ouakrim-Soivio 2013). Tässä arvioinnissa toteutettu menettely perustui kuitenkin sekä vahvaan korrelaatioon arvioinnin pistemäärän ja päättöarvosanan välillä että suuren oppilasmäärän vaihtelua tasoittavaan vaikutukseen. Matemaattinen raja-arvojen määrittely ei siis perustunut kriteereihin, vaan ne laskettiin kaikkiin arvosanoihin implisiittisesti liittyvän osaamisen avulla. Näin onnistuttiin tavallaan kuvaamaan suomen kielen ja kirjallisuuden osaaminen eri tasoilla kouluarvosana-asteikolla, jossa 7,9 muodostui keskiarvoksi.
Lopuksi
Suomen kielen ja kirjallisuuden arviointia tarkastellessa havaitaan se, miten kielelliset perustaidot, kuten lukeminen ja kirjoittaminen, muodostivat lopulta arvioinnin ytimen. Oppimäärää hahmottaessamme emme juuttuneet mihinkään yksittäiseen tavoitteeseen, vaan muodostimme kriteerien pohjalta laajempia kokonaisuuksia esimerkiksi tulkinnan ja tuottamisen taidoista. Keskeistä arvioinnissa oli lopulta se, miten opetussuunnitelman perusteiden näkemys kirjoittamisesta ja lukemisesta monentyyppisten tekstien analysointina, tulkintana, tuottamisena ja (kriittisenä) arviointina ohjasi koko arvioinnin laatimista. Näin pääsimme arvioimaan voimassa olevan opetussuunnitelman käsityksen mukaisia tietoja ja taitoja, mihin oppimistulosten arviointi juuri tähtää.
Kriteeriperusteinen osaamisen kuvaus tarvitsee aina tulkitsijansa. Vaikka kriteerit ovat asiantuntijaryhmän pohtimia, jäsentämiä ja kielentämiä, ne ovat väistämättä tulkinnanvaraisia. Täten arviointitapahtuma tarvitsee aina neuvotteluja käytetyistä käsitteistä ja niiden merkityksistä, ja näitä merkitysneuvotteluja on hyvä käydä myös kollegojen kesken yhteisen ymmärryksen löytämiseksi. Jokainen oppilas yksilöllisenä tekstien tulkitsijana ja tuottajana haastaa kriteerit aina uudelleen, olivatpa ne kuinka tarkkaan muotoillut hyvänsä. Opettajan onkin olennaista ymmärtää, mistä kriteerien soveltamisen haasteet syntyvät: miksi kuvaukset ja tavoitteet eivät vaikuta aina suhteutuvan osaamisen osoittamiseen ja arvioinnin tuotoksiin täydellisesti tai edes tyydyttävästi. Oppilasarvioinnin jatkuvana haasteena onkin luoda monipuolisia menetelmiä ja tiedonkeruun tapoja, joilla päästään yhä lähemmäs monipuolista ja tasa-arvoista osaamisen osoittamista. Meidän on uskallettava kokeilla uusia tapoja ja kehittää näin ymmärrystä arvioinnin mekanismeista – yhdessä keskustellen. Seuraava etappi lienee kokeilla uusien, arvosanakohtaisten kriteerien soveltuvuutta summatiiviseen arviointiin.
Merja Kauppinen on lehtori Jyväskylän yliopistossa.
Jan Hellgren on johtava arviointiasiantuntija Karvissa.
Lähteet
Ahola, S. 2016. Puhetta arvioinnista – Yleisten kielitutkintojen arvioijien käsityksiä arvioinnista. Teoksessa A. Huhta & R. Hildén (toim.), Kielitaidon arviointitutkimus 2000-luvun Suomessa. AFinLA-e. Soveltavan kielitieteen tutkimuksia 2016 / n:o 9, 89–109.
Huhta, A. 2020. Taitotasojen hyödyntämisestä opetuksessa ja arvioinnissa. Teoksessa M. Härmälä & M. Puukko (toim.), Taitotasoja ja suullista kielitaitoa – Näkökulmia englannin kielen oppimistulosten arvioinnin osoittamiin kehittämiskohteisiin. Helsinki: Kansallinen koulutuksen arviointikeskus, 25–47.
Härmälä, M., Huhtanen, M., Puukko, M. & Marjanen, J. 2019. A-englannin oppimistulokset 7. vuosiluokan alussa 2018. Helsinki: Kansallinen koulutuksen arviointikeskus.
Kauppinen, M. & Marjanen, J. 2020. Millaista on yhdeksäsluokkalaisten kielellinen osaaminen? – Suomen kielen ja kirjallisuuden oppimistulokset perusopetuksen päättövaiheessa 2019. Helsinki: Kansallinen koulutuksen arviointikeskus.
Metsämuuronen, J. 2017. Oppia ikä kaikki – Matemaattinen osaaminen toisen asteen koulutuksen lopulla 2015. Julkaisut 1:2017. Helsinki: Kansallinen koulutuksen arviointikeskus.
Puukko, M., Huhtanen, M. & Lepola, L. 2020. Perusopetuksen päättöarvioinnin kriteereiden toimivuuden arviointi. Helsinki: Kansallinen koulutuksen arviointikeskus.
Quakrim-Soivio, N. 2013. Toimivatko päättöarvioinnin kriteerit? Oppilaiden saamat arvosanat ja Opetushallituksen oppimistulosten seuranta-arviot koulujen välisten osaamiserojen mittareina. Raportit ja selvitykset 2013:9. Helsinki: Opetushallitus.
Saarinen, T., Kauppinen, M. & Kangasvieri, T. 2019. Kielikäsitykset ja oppimiskäsitykset koulutuspolitiikkaa linjaamassa. Teoksessa T. Saarinen, P. Nuolijärvi, S. Pöyhönen & T. Kangasvieri (toim.), Kieli, koulutus, politiikka: monipaikkaisia käytänteitä ja tulkintoja. Tampere: Vastapaino, 121–148.
Sawaki, Y. 2016. Norm-referenced vs. criterion-referenced approach to assessment. Teoksessa D. Tsagari & J. Banerjee (toim.), Handbook of second language assessment. DeGruyter Mouton, 45–60.
Åkerlund, C., Marjanen, J. & Lepola, L. 2019. Suomen kielen oppimistulokset 6. vuosiluokalla – Kevään 2018 arviointitulokset. Helsinki: Kansallinen koulutuksen arviointikeskus.