Ensivaikutelmat kielitaidon arvioinnissa
Julkaistu: 23. maaliskuuta 2022 | Kirjoittaneet: Sari Ahola ja Mia Halonen
Jotta arviointi olisi luotettavaa ja sen avulla voitaisiin tehdä osuvia päätelmiä oppijan kielitaidosta, on arvioinnin lähtökohtana oltava oppijan kielitaito ja perusteena arviointia ohjaavat kriteerit. Arviointialan tutkimuksissa (esim. Lumley 2005; Smith 2000; Vaughan 1991) on kuitenkin todettu, että arviot perustuvat joskus myös kriteereiden ulkopuolisiin tekijöihin, kuten ensivaikutelmaan oppijasta tai tämän taidoista. Ensivaikutelmat, esimerkiksi oletus puhujan sukupuolesta tai ensikielestä tai mielikuvat puhujan miellyttävyydestä tai epämiellyttävyydestä, ovat läsnä kaikessa ihmisten välisessä toiminnassa ja vuorovaikutuksessa, myös arvioinnissa. Kriteereiden ulkopuolisiin perusteisiin tukeudutaan arvioinnissa ennen kaikkea silloin, kun kriteereistä ei löydy oppijan taitoon sopivaa kuvausta tai oppijan tuotosta on esimerkiksi epätasaisen kielitaitoprofiilin vuoksi vaikea asettaa taitotasolle (Lumley 2005; Tarnanen 2002). Arviointi on aina inhimillistä toimintaa, jossa arviota tekevän omat henkilökohtaiset kielitaitoon ja oppijoihin liittyvät arvostukset ja käsitykset kohtaavat instituutionaaliset vaatimukset. Tällaisessa ristiriitatilanteessa arvioijan arviointipäätökseen saattavat vaikuttaa kriteereiden ulkopuoliset tekijät, kuten käsitykset ja kokemukset eritaustaisista oppijoista.
Tietyt kielen piirteet, kuten sujuvuus, ymmärrettävyys ja ääntäminen, ovat usein yhteydessä ensivaikutelmaan oppijan taidosta. Nämä vaikutelmat ovat yleensä hyvin subjektiivisia; eri ihmiset kokevat esimerkiksi aksentin voimakkuuden eriasteisena (Aho ym. 2016). Tällaisten vaikutelmaperustaisten arvioiden ja esimerkiksi kriteerien keskinäisten suhteiden tutkiminen on tärkeää tutkinnon validiuden näkökulmasta, ja siksi aloitimme vuonna 2018 Ykin suomen kielen keskitason puhumisen osakoetta koskevan tutkimushankkeen Rikkinäistä suomea – Aksenttien arviointi yhteiskunnallisena portinvartijana. Tässä artikkelissa esittelemme, mikä merkitys suorittajan oletetulla sukupuolella on arvioinnissa. Tarkastelemme ilmiötä hankkeen yhden ensikieliryhmän, thainkielisten naispuolisten suomenoppijoiden kautta.
Rikkinäistä suomea -hanke pähkinänkuoressa
Hankkeen aineisto rakennettiin todellisten Yki-puhesuoritusten ympärille. Valitsimme tutkimukseen viisi ensikieliryhmää, joiden puhujia kohtaan tiedämme Suomessa yleisesti olevan stereotypioita ja kielteisiä ennakkoluuloja: arabia, thai, viro, venäjä ja suomenruotsi (ks. esim. Jaakkola 2007; Kokkonen 2007; McRae, Bennett & Miljan 1998). Thainkielisistä osallistujista käsittelemme tässä artikkelissa juuri naisia, koska thainkielisten kohdalla stereotypiat kohdistuvat erityisesti naisiin (ks. esim. Sirkkilä 2005). Jos Ykin arvioinnissa olisi käytössä kriteereiden ulkopuolisia stereotypioista nousevia painotuksia, ne siis todennäköisesti näkyisivät thainkielisten naisten arvioinneissa. Lisäksi suomen tutkintoon osallistuvista thainkielisistä suurin osa on naisia, kuten myös pääosa Suomessa asuvista thainkielisistä yleensäkin (SVT 2020). Sukupuolijakauma näkyy myös tutkimusaineistossamme. Jokaisesta muusta ensikieliryhmästä oli mukana 10 näytettä, viisi mies- ja viisi naispuhujanäytettä, mutta thainpuhujissa jakauma oli erilainen: kahdeksan nais- ja kaksi miespuhujaa. Aineiston puhenäytteenä oli Ykin puhumisen osakokeen kertomistehtävä, jossa osallistujien tuli kertoa 1,5 minuuttia annetusta aiheesta.
Kaiken kaikkiaan hankkeessa näytteitä oli 50. Kustakin näytteestä arvioijat (n=44) antoivat erilliset taitoarviot (1–6) jokaisesta Ykin puhumisen arviointikriteereissä kuvatusta analyyttisesta kriteeristä (yleiskriteeri, sujuvuus, joustavuus, koherenssi/sidosteisuus, ilmaisun tarkkuus/laajuus/idiomaattisuus, ääntäminen ja fonologinen hallinta ja rakenteiden tarkkuus) hankkeeseen rakennetulla verkkoalustalla. Näiden lisäksi arvioijat antoivat näytteistä yleistaitotasoarvion samalla asteikolla, kuvasivat vapaamuotoisesti puhujaa ja/tai tämän näytettä ja tekivät oletuksen puhujan ensikielestä perusteluineen. Alusta myös keräsi tietoa arviointiprosessista: käytetystä ajasta ja arviointijärjestyksestä. Aineistosta tuli hyvin runsas kaikkineen yli 100 000:n ns. informaatiopisteen eli erilaisen tiedon muodossa. Aineiston analysoinnissa on käytetty erityisen paljon tilastotieteellisiä menetelmiä (esim. Many-Facets Rasch Measurement -mallia) mutta myös laadullisia diskurssin- ja sisällönanalyysiä.
Onko etu olla naispuolinen osallistuja, kun arvioijatkin ovat naisia?
Testiarvioinnissa arvioijat eivät tunne arvioimaansa oppijaa, eikä heillä ole tietoa testiin osallistuneen opiskeluhistoriasta tai taustasta. Arvio kielitaidosta perustuu pelkästään oppijan testitilanteessa antamaan näytteeseen. Silti, vaikka arvioija ei tunne oppijoita, arviointiprosessin aikana hän kuitenkin todennäköisesti luo mielikuvia oppijoista, ja (oletettu) sukupuoli on todennäköisesti yksi ensimmäisistä havaituista piirteistä, mikä näkyy esimerkiksi kuvauksessa osallistujasta: ”nainen, jolla suomalainen anoppi”.
Onko sukupuolella sitten yleensä merkitystä arvioinnissa? Hankkeemme osallistujien arvioinnissa naisosallistujia arvioitiin miehiä lempeämmin. Tällainen tendenssi näkyi myös ensikieleltään thainkielisten naisten kohdalla. Arvioijat viittasivat usein oppijoiden sukupuoleen joko suoraan tai epäsuorasti, eikä viittauksilla usein ollut yhteyttä arviointikriteereihin:
”Äänenväri on heleä, kuten kaikilla sieltä olevilla opiskelijoillani.”
”Puhujalla on myös tyttö ja mies, sekä miehellä sisko. Ilmeisesti hän nimittää anoppiaan mummiksi.”
”Puheesta vain syntyi mielikuva puhujasta, jolla on aasialaiset piirteet.”
”Puhuja kuulostaa pienikokoiselta ja jopa vähän lapsekkaalta.”
Arvioijien huomiot kertovat myös siitä, että ensivaikutelmien taustalla vaikuttavat heidän kokemuksensa thainkielisistä oppijoista. Oletukset arvioitavan ensikielestä ja sukupuolesta voivat herättää odotuksia ja oletuksia oppijan kielitaidon tasosta ja siihen liittyvistä puutteista ja ansioista (Ahola 2020):
"Muistuttaa niin paljon thaimaalaisten opiskelijoideni puhetta. Puheen rakenne on varmaankin myös yksi tekijä: verbi puuttuu usein ja ilmaisut rakentuvat peräkkäin pannuista sanoista. Tuo voi olla tietysti ylipäänsä heikosti suomea osaavalle ominaista.”
”Usein tällä aksentilla puhuvilla on vielä enemmän rakennevirheitä.”
Arvioidessaan thainkieliseksi tunnistamiaan naisia arvioijat painottivat holistista yleiskriteeriä, joka sisältää kuvauksia kaikista analyyttisista kriteereistä. Holistisen yleiskriteerin käyttö on tyypillistä kokeneille arvioijille, mutta sitä voidaan käyttää arviointiprosessissa myös silloin, kun halutaan palkita tai rangaista oppijaa (Barkaoui 2010) tai arvioinnin perusteena ovat kriteereiden ulkopuoliset tekijät (Pollitt & Murray 1996). Thainkielisten naisten kohdalla yleiskriteeriä käytettiin ennen kaikkea palkitsemiseen. Tämä havainto on mielenkiintoinen, koska holistinen yleiskriteeri koostuu analyyttisista kriteereistä. Silti arvioijat kokivat thainkielisten holistisen kielitaidon yksittäisiä taitoja paremmaksi.
Yleiskriteerin lisäksi thainkielisten arvioinnissa painottui puheen sujuvuus. Sujuvuus on kielellinen piirre, joka perustuu ensivaikutelmaan, ja kuulijoilla voi olla erilaisia käsityksiä oppijoiden puheen sujuvuudesta (esim. Segalowitz 2010; myös Lennon 1990). Yhtenä sujuvuuden piirteenä pidetään aktiivisuutta täyttää annettu puheaika tuotoksella (Kormos & Dénes 2004). Aktiivisella puheen tuottamisella oppijan on mahdollista antaa taidoistaan lähemmin tarkasteltua positiivisempi kuva – ja etenkin thainkielisiä naispuhujia arvioijat kiittelivät aktivisuudesta ja yritteliäisyydestä tuottaa puhetta:
”Rakenne puutteellinen ja morfologia puuttui lähes kokonaan. Puhujalla oli kuitenkin tahto puhua ja tulla ymmärretyksi, koska hän ei pitänyt taukoja eikä jäänyt korjailemaan puhettaan.”
”Puhe on yhtäjaksoista ja tuottaa aktiivisesti, mutta koherenssia ei juurikaan ole.”
”Puhuu aktiivisesti ja yrittää ilmaista sanottavansa. Puhetta on vaikea ymmärtää ääntämisen ja sanaston puutteiden takia. Puhuu "sanoja peräkkäin".”
”Puhuja tuottaa aktiivisesti yhtäjaksoista puhetta, vaikka rakenteet ontuvat ja ääntäminen on hieman häiritsevää.”
Kiinnostava vastapari näille kokemuksille oli se, että vironkielisten miesosallistujien verkkaista ja varsin vähätuotoksista puhetta pidettiin luonnollisena, ja se yhdistettiin suomalaisten miesten tapaan puhua:
”Mies, joka sanoo vain tarpeellisen lavertelematta; Tämä voisi olla hämäläissyntyinen mies, hidas ja juro, mutta mukava.”
Näin pienen otoksen perusteella ei voi todistaa, että puheen sujuvuuteen liittyy sukupuoliin liittyviä odotuksia ja stereotyyppisiä käsityksiä, mutta yksittäiset arvioijat voivat kantaa tällaisia kulttuurisia käsityksiä naisten puheliaisuudesta ja miesten vähäpuheisuudesta ja rauhallisesta tavasta puhua. Arviointitilanteessa on kuitenkin usein mahdoton tietää, johtuvatko puheessa ilmenevät tauot kielitaidosta vai oppijan persoonallisesta tavasta tuottaa puhetta, mutta testiarvioinnissa on odotuksenmukaista, että osallistujat pyrkivät osoittamaan taitonsa mahdollisimman hyvin. Arvioijat kuitenkin selvästi pohtivat tätä eroa ja sen vaikutusta kielitaidosta syntyneeseen kuvaan:
”Mietin katkonaista puhetta: onko se luontainen tapa vai puuttuvasta kielitaidosta johtuva (/johtunut ja sellaiseksi vakiintunut). Se joka tapauksessa vaikuttaa mielikuvaan kielitaidosta.”
Ääntäminen ja etenkin sen kautta syntynyt vaikutelma oppijan ensikielestä herätti mielikuvia jopa näiden fyysisistä piirteistä:
”Tyttömäinen tapa ja intonaatio muistuttavat thaimaalaisia puhujia.”
”Äänen "tyttömäisyys””
”Ääntäminen on myös naiivin kuuloista, kuin pikkulapsen puhetta”
”Lapsellisen kuuloista”
Mikä merkitys tällaisilla oppijoiden persoonaan ja taustaan liittyvillä oletuksilla sitten on arviointiprosessissa? Tähän tutkimuksemme ei anna lopullista vastausta, mutta oletettavasti mielikuvat herättävät erilaisia tunteita, jotka todennäköisesti vaikuttavat arviointiin. Tämä näkyy muutamien arvioijien kommenteissa:
”On selvästi opiskellut ja opetellut suomen kieltä kurssilla, mutta aasialaisten ääntäminen on tosi erilainen ja heidän on niin kovin vaikea oppia meidän kielemme ääntämistä.”
”Intonaatio on raskas; tauotus ja sanapaino ovat epäidiomaattiset. Kokonaisuus selviää toisella kuuntelemisella ja päädyin kolmoseen kakkosen sijasta. Taustalla on käsitys siitä, että näiden kielten puhujien on niin vaikea oppia, että he eivät ehkä koskaan saa nostettua tasoaan ylemmäksi. Tulee sääli”
Miksi thainaisille ollaan arvioinnissa lempeämpiä?
Vaikka naisten suosiminen näkyy L1-thaikielisten naisten kohdalla, aineistomme näyttää myös kokonaisuutena, että Ykissä naisia arvioidaan miehiä lempeämmin. Tutkimusten (esim. Leino, Laukkanen, Ilomäki & Mäki 2008) mukaan Suomessa arvostetaan enemmän matalia naisääniä kuin aasialaisille sosiokulttuurisesti usein tyypillisesti korkeahkoja naisääniä. Thainkielisten kohdalla arvioita ei kuitenkaan heikentänyt äänenkorkeus, vaikka arvioijat selvästi kiinnittivät huomiota puheen korkeuteen: korkea ja etenkin jälkitavuja venyttävä sävelkulku; intonaatio "aasialaisen korkealla" tasolla. Syy tämän naisryhmän paremmille arvioille löytyy siis todennäköisesti muualta.
Yksi mahdollinen syy naisten lempeämpään arviointiin on se, että Ykissä arvioijat ovat pääasiassa naisia. Arviointikäyttäytymiseen voi vaikuttaa tämä arvioitavien ja oppijoiden ”samankaltaisuus” (esim. Buckingham 1997), mutta myös tiedoilla oppijoiden taustoista ja elämästä on merkitystä. Tieto joidenkin naisryhmien tyypillisestä sosioekonomisesta asemasta tai joihinkin miesryhmiin liitetyistä kielteisistä ennakkoluuloista voivat tiedostamatta vaikuttaa arvioijakäyttäytymiseen. Sääli, ymmärrys sosiaalisista hierarkioista ja rakenteista ylittää “mieltymykset´”. Arvioijat tiedostavat monien thainkielisten naisten syyn asua Suomessa, mikä näkyy esimerkiksi seuraavissa kommenteissa:
”Suomalaisilla miehillä on paljon thai-vaimoja, tällä puhujalla suomalainen mies”
”Mies paljon pois kotoa...! Siis suomalainen mies!”
”voisi olla suomalaismiehen thaimaalaisvaimo”
Toisaalta taas arvioijilla on paljon kokemusta eritaustaisista oppijoista, ja he tunnistavat etenkin oppijoiden haasteet oppia suomen kieltä. Thainkielisille suomen oppiminen vaikuttaa olevan arvioijien kommenttien perusteella haastavaa:
”Lähtökieli kuuluu ääntämisessä vahvasti, vaatii kuulijalta tarkkaavaisuutta ja kärsivällisyyttä ja puhujalta varmasti toistoa, jotta tulee arkipäivänä ymmärretyksi.”
”Aika epäselvää, rakenteet puutteellisia, ääntäminen vaikeaa ja sujuvuus ja sidosteisuus heikkoa.”
”Puhujaa on melko raskasta kuunnella, puheen tuottaminen tuntuu vaikealta.”
Vaikka arvioinnissa pitäisi keskittyä oppijan antamaan näytteeseen, opettajina toimivat arvioijat todennäköisesti myös miettivät oppijan lähtökohtia oppia kieltä. Todennäköisesti thainkielisiltä naisilta vaatii enemmän ponnisteluja saavuttaa suomen keskitason kielitaito kuin sellaiselta oppijalta, jonka ensikieli on lähempänä suomen kieltä.
Vaikka puhumisen arvioinnissa oppijan kielitaidon ulkopuoliset ominaisuudet ja (oletetut) taustat tulevat esiin esimerkiksi ääntämisen tavasta, äänensävystä, äänenkorkeudesta ja puheen sisällöstä, arvioijien on pyrittävä keskittymään pelkästään kielitaidon piirteiden tarkkailuun. Arvioinnin tutkimus, mutta myös ja erityisesti arvioijien oma arviointikäyttäytymisensä tarkkailu ja omien arviointiperusteidensa sanallistaminen auttavat arvioijaa näkemään mahdolliset ulkopuoliset vaikutteet. Näin päästään suuntaamaan huomio suorittajan kielellisiin taitoihin, mikä luonnollisesti on kielitaidon arvioinnin keskeinen päämäärä ja laadun varmennin.
Sari Ahola on Yleisten kielitutkintojen koordinaattori Soveltavan kielentutkimuksen keskuksessa Jyväskylän yliopistossa.
Mia Halonen on yliopistotutkija ja Rikkinäistä suomea -hankkeen johtaja Soveltavan kielentutkimuksen keskuksessa Jyväskylän yliopistossa.
Rikkinäistä suomea -hankkeen muut tutkijat
Tuija Hirvelä, projektitutkija, Soveltavan kielentutkimuksen keskus
Ari Huhta, professori, Soveltavan kielentutkimuksen keskus
Reeta Neittaanmäki, projektitutkija, Soveltavan kielentutkimuksen keskus
Sari Ohranen, projektitutkija, Soveltavan kielentutkimuksen keskus
Riikka Ullakonoja, post doc -tutkija, Soveltavan kielentutkimuksen keskus
Hankkeen verkkosivut: https://www.jyu.fi/hytk/fi/laitokset/solki/broken-finnish
Lähteet
Aho, E., Toivola, M., Karlsson, F. & Lennes, M. 2016. Aikuisten maahanmuuttajien suomen ääntämisestä. Puhe ja kieli 32 (2), 77–96.
Ahola, S. 2020. Yleisten kielitutkintojen arvioijien käsityksiä thainkieliseksi tunnistettujen suomenoppijoiden suullisesta taidosta. Puhe ja kieli 40 (4), 203–224.
Barkaoui, K. 2010. Variability in ESL essay rating process: The role of the rating scale and rater experience. Language Assessment Quarterly 7 (1), 54–74.
Buckingham, A. 1997. Oral language testing: do the age, status and gender of the interlocutor make a difference? Julkaisematon tutkielma, University of Reading.
Jaakkola, M. 2009. Maahanmuuttajat suomalaisten näkökulmasta. Asennemuutokset 1987–2007. Helsinki: Helsingin kaupunki.
Kokkonen, M. 2007. Vaatimuksena sujuva suomi. Virittäjä 111, 253–261.
Kormos, J. & Dénes, M. 2004. Exploring measures and prceptions of fluency in the speech of second language learners. System 32 (2), 145–164.
Leino, T., Laukkanen A-M., Ilomäki, I. & Mäki, E. (2008). Assessment of vocal capacity of Finnish university students. Folia Phoniatrica et Logopaedica 60, 199−209.
Lennon, P. 1990. Investigating fluency in EFL: A quantitative approach. Journal of Research in Language Studies 40 (3), 387–417.
Lumley, T. 2005. Assessing second language writing: The rater’s perspective. Frankfurt am Main: Peter Lang.
McRae, K.D., Bennett, S.E. & Miljan, T. 1988. Intergroup sympathies and language Patterns in Finland: Results from a survey. Helsinki: Suomen Gallup.
Pollitt, A. & Murray, N. 1996. What raters really pay attention to. Teoksessa M. Milanovic & N. Saville (toim.) Performance testing, cognition and assessment. Cambridge: Cambridge University Press, 74–91.
Segalowitz, N. 2010. Cognitive bases of second language fluency. New York: Routledge.
Sirkkilä, H. 2005. Elättäjyyttä vai erotiikkaa. Miten suomalaiset miehet legitimoivat parisuhteensa thainmaalaisen naisen kanssa? Jyväskylä: Jyväskylä Studies in Education, Psychology and Social Research 268.
Smith, D. 2000. Rater judgments in the direct assessment of competency-based second language writing ability. Teoksessa G. Brindley (toim.), Studies in immigrant English language assessment, Vol. 1, 159–189. Sydney: National Centre for English Language Teaching and Research, Macquarie University.
SVT 2020 = Suomen virallinen tilasto 2020. Vieraskieliset. Sukupuolijakauma. https://www.stat.fi/tup/maahanmuutto/maahanmuuttajat-vaestossa/vieraskieliset.html#sukupuolijakauma. Haettu 28.2.2022.
Tarnanen, M. 2002. Arvioija valokeilassa: suomi toisena kielenä kirjoittamisen arviointia. Jyväskylä: Soveltavan kielentutkimuksen keskus.
Vaughan, C. 1991. Holistic assessment: What goes on in the rater’s mind? Teoksessa L. Hamp-Lyons (toim.), Assessing second language writing in academic contexts. Norwood, NJ: Ablex. 111–125.