Vuorovaikutus ja kielenoppiminen sosiaalisen robotin kanssa

Julkaistu: 9. helmikuuta 2022 | Kirjoittanut: Marjut Johansson

Sosiaaliset robotit tutkimuksen kohteena

Sosiaalisia robotteja koskeva tutkimusala on ihmisen ja robotin välinen vuorovaikutus (human-robot interaction, HRI), johon kuuluu myös lapsen ja robotin välinen vuorovaikutus (child-robot interaction, CRI). Ala on hyvin monitieteinen, ja siinä vuorovaikutus nähdään laaja-alaisesti. Sosiaalisten robottien teknistä kehittämistä on tehty yhteistyössä useiden ihmistieteiden, kuten psykologian, kognitio- ja kasvatustieteiden kanssa (ks. esim. Dautenhahn 2007: 683; Dautenhahn & Saunders 2011: 1). Robottien käyttämistä erilaisissa opetusta ja oppimista tukevissa tehtävissä onkin tutkittu eri näkökulmista. Robottien vaikutusta oppimisen tehokkuuteen on tarkasteltu kognitiivisten ja affektiivisten tekijöiden kautta eli sitä, mikä vaikutus robotilla on oppijoiden motivaatioon, tunteisiin ja oppimiseen. On tutkittu myös robottien ulkonäköä ja kehollisuuden vaikutusta oppimistilanteisiin ja sitä, kuinka luontevaa ja sujuvaa vuorovaikutus oppimistilanteissa on. Robotin käytön eettiset kysymykset ovat myös olleet tarkastelujen keskiössä (Belpaeme ym. 2018).

Robottien käyttöä kielenoppimisessa ja -opetuksessa alettiin tutkia jo melko varhaisessa vaiheessa, 2000-luvun alkupuolella, mutta tutkimusta on toistaiseksi kuitenkin suhteellisen vähän. Tutkimukset ovat yksittäisiä kokeiluja ja kokoavia meta-analyysejä jo tehdystä tutkimuksesta. Ne keskittyvät sanaston, kieliopin, lukemisen ja puhumisen oppimisen tutkimukseen erilaisilla oppijoilla (van den Berghe ym. 2019; Randall 2019). Robottiavusteisessa kielenopetuksessa (robot-assisted language learning, RALL) robotteja käytetään kielellisen ilmaisun, puheen, kirjoittamisen, lukemisen tai kuuntelemisen ymmärtämisen oppimisessa (Randall 2019: 2).

Vasta viime vuosina on herännyt kiinnostus tutkia sosiaalisen robotin ja ihmisen välistä kanssakäymistä keskustelunanalyysin näkökulmasta. Tässä tarkastelussa tutkijoita kiinnostaa se, miten ihmiset reagoivat robottiin ja ryhtyvät keskusteluun robotin kanssa – tai yrittävät päästä tilanteesta pois. Tutkimuksissa robotti on ollut oppaana, avustajana museossa tai jonkin organisaation aulassa. Kohtaamisissa keskustelut ovat olleet hyvin lyhyitä ja tunnustelevia. (Esim. Pitsch 2020; Rollet & Clavel 2020.)

Tässä artikkelissa, kuten useassa tämän teemanumeron artikkeleissa, kerrotaan Turun yliopiston Kieli- ja käännöstieteiden laitoksella tehtävistä robotteihin liittyvistä tutkimusprojekteista. Teppo Jakosen projektissa käytetään etäläsnäolorobotteja (ks. Jauni & Jakonen tässä teemanumerossa). Nao-robottia käytetään alakoulun ranskan kielen oppimista tarkastelevassa Liisa Peuran väitöskirjatutkimuksessa. Nao-robotti on ollut mukana myös alakoulujen vieraan kielen oppitunneilla, joilla oppijat ovat kohdanneet Nao-robotin ensimmäistä kertaa. Tässä projektissa kanssani on mukana Maarit Mutta, Minna Maijala, Outi Veivo ja Hilla-Marja Honkalammi (ks. artikkelit tässä numerossa).

RoboLang-projektissa (https://sites.utu.fi/robolang/) on mukana siis useita osaprojekteja ja eri tarkastelutapoja, joissa yhdistyvät kielenoppimisen, -opettamisen ja vuorovaikutustutkimuksen lähestymistavat. Tarkastelemme mm. ääntämisen kehittymistä pelillisessä harjoituksessa, joka tehdään robotin kanssa (Peura ym. arvioitavana). Tutkimme myös, miten toiminta on jäsentynyt luokkahuoneessa ja mikä rooli opettajalla siinä on (Maijala & Mutta arvioitavana). Lähestymme myös vieraan kielen oppimistilanteita vuorovaikutuksena, jossa tarkastelemme erilaisia toimintajaksoja. Tarkastelussa ovat robotin kanssa esille nousevat ongelmatilanteet, joissa oppija ei saa tuotettua robotille oikeaa vastausta (Honkalammi ym. painossa). Lisäksi olemme analysoineet sellaisia toimintajaksoja, joissa oppijat harjoittelevat robotin kanssa kysymistä ja vastaamista (Johansson arvioitavana).

Sosiaalisten robottien tyypeistä ja piirteistä

Robotit voidaan jakaa pääasiassa kahteen: erilaisiin teollisuusrobotteihin ja palvelurobotteihin. Sosiaaliset robotit kuuluvat jälkimmäisiin. Sosiaalinen robotti on robottityyppi, jota käytetään erityisesti opetukseen, hoivan palvelutehtävissä tai pelkästään viihtymiseen. Näiden robottien ulkomuoto vaihtelee: humanoidirobotit ovat robottimaisia, mutta niillä, kuten Nao-robotilla, on vartalo, pää, jalat ja kädet. Androideilla, kuten Komoroidilla, on lisäksi ihmismäinen ulkomuoto.

Kuva 1. Nao-robotti ja Komoroid (Johansson 2019).

Nao-robotti on pienikokoinen, ja se pystyy toimimaan noin 20 kielellä (SoftbankRobotics). Sitä on käytetty erilaisissa opastustehtävissä mm. museoissa ja oppilaitoksissa (ks. esim. Pitsch 2020; Rollet & Clavel 2020). Japanilaisessa Hiroshi Ishiguron laboratoriossa kehitetään erityisesti ihmisen ulkomuotoa jäljitteleviä robotteja, joilla on erilaisia puheeseen liittyviä ominaisuuksia. Hyvänä esimerkkinä tästä on Komoroid-robotti, jonka tehtävänä on lukea uutisia.

Sosiaaliset robotit voivat olla myös lelumaisia, kuten Legojen erilaiset Mindstorm-robottirakennelmat, tai eläinhahmoisia, joilla on isot silmät ja sympaattinen ulkonäkö, kuten keltaisella ICatilla. Robotti voi olla myös pelkkä pää, jolla on useita erilaisia ilmeitä, kuten Furhatilla. (Ks. esim. Engwall & Lopes 2020.) Robottityypit eroavat siis muun muassa sen suhteen, ovatko ne konemaisia, onko niillä vartalo tai pelkästään puhuva pää. Lisäksi ne eroavat huomattavasti sen suhteen, kuinka ilmaisutaitoisia ne ovat (Engwall & Lopes 2020). Ulkomuoto ja kielelliset ominaisuudet ovat niitä seikkoja, jotka vaikuttavat robottien käyttömahdollisuuksiin tai käytön laajuuteen ohjelmoitavuuden lisäksi.

Robotin kehollisuus ja toiminta

Sosiaaliset robotit, kuten Nao-robotti, eroavat muista digitaalisista oppimisvälineistä tai verkkopohjaisista sovelluksista erityisesti yhden ominaisuuden osalta, joka on kehollisuus. Nao-robotti on pienikokoinen, mutta sen keho ja kasvot ovat olennainen tekijä siinä, millaisena vuorovaikutuskumppanina robotti koetaan. Teknisesti Nao-robotilla on päässä kamera, mikrofonit ja kaiuttimet sekä päälaella sensorit, jotka mahdollistavat vuorovaikutuksen. Vuorovaikutuksen kannalta tärkeä ominaisuus ovat myös silmien led-valot, jotka voidaan ohjelmoida siten, että ne välähtävät, kun robotti saa puhekumppaniltaan toivomansa kielellisen syötteen.

Nao-robotin osalta kehollisuus tarkoittaa myös sitä, että se pystyy nyökkäämään, kohottamaan kättä, kävelemään ja tekemään erilaisia muita liikkeitä, jopa tanssimaan. Robotin kanssa vuorovaikutuksessa yhdistyvät siis kielellinen toiminta ja keho, katse, eleet ja liikkeet. Nämä kaikki ovat mahdollisia multimodaalisia resursseja, joita vuorovaikutuksessa voidaan hyödyntää (Mondada 2019). Robottia voidaan pitää sosiaalisena toimijana ja puhekumppanina (ks. esim. Randall 2019: 2). On tietenkin selvää, että se on erilainen puhekumppani kuin ihminen, mutta tämä onkin yksi robottien kiehtovuudesta.

Suomalainen yritys on tuottanut Nao-robotille kielenopetussovelluksen RobotElias. Kielenoppimistilanteissa Nao-robottia käytetään Elias-robottisovelluksen ja tietokoneen kanssa: tietokone sisältää harjoitukset, joiden kanssa oppijat voivat edetä omaa tahtiaan. Nao-robottiin on mahdollista koodata Choreographe-ohjelmistolla harjoitteita. Choreographe-ohjelmisto ei ole vaikea, ja harjoitteiden tekeminen on suhteellisen helppoa.

Robotti puhekumppanina

Nao-robotti on kone, jonka kanssa voi tehdä erilaisia harjoituksia tai käydä keskusteluja. Se soveltuu hyvin esimerkiksi ääntämis- ja sanastoharjoituksiin tai käymään yksinkertaisia keskusteluja puhekumppanien kanssa. Oppijat harjoittelevat robotin kanssa yksin, pareittain tai useamman oppilaan ryhmissä. Tietyissä oppimistilanteissa, kuten ääntämisharjoituksissa, oppilaat ovat yksin (Peura ym. arvioitavana), mutta myös opettajalla voi olla näissä oppimistilanteissa oma roolinsa (ks. Maijala & Mutta tässä teemanumerossa).

Kaikki harjoitteet perustuvat kuitenkin etukäteisohjelmointiin, johon ei voi varsinaisessa puhetilanteessa vaikuttaa. Eliaksen keskusteluharjoitukset ovat siis sellaisia, joissa robotti hyväksyy vain ne vastaukset, jotka siihen on ohjelmoitu. Mikäli oppija tuottaa oikean vastauksen, robotti väläyttää silmiensä led-valoja, jotka näyttäytyvät oppijalle ns. karkkisilminä, palkintona. Samalla se voi päästää myös hurraavan äänen. Mutta jos tällaista vastausta ei tule, robotti ainoastaan nyökkää merkiksi, että vastaamista tulisi yrittää uudestaan.

Voi siis sanoa, että vuorovaikutustilanne on epäsymmetrinen tai jopa epätasa-arvoinen. Oppijalla ja robotilla ei ole ensimmäisissä kohtaamisissa yhteistä vuorovaikutushistoriaa, eli oppija ei tiedä tai ei osaa ennakoida sitä, miten robotti reagoi hänen vastauksiinsa, varsinkaan silloin kun oppija kohtaa robotin ensimmäisiä kertoja. Robotilla ja oppijalla ei siis välttämättä ole yhteistä toimintalinjaa. Oppijalla ei välttämättä ole näkemystä siitä, miten vuorovaikutus tällaisessa tilanteessa etenee, varsinkin jos tehtävänä on täysin uusia harjoitteita. Varmaa kuitenkin on, että useimmiten robotin toiminta on rajallista. Siihen koodatut harjoitteet voivat seurata hyvinkin normatiivisia vaihtoehtoja, eikä se tunnista kielellistä variaatiota kovin hyvin. Esimerkiksi se, käyttääkö robotti englantia puhuessaan brittienglantia tai amerikanenglantia, vaikuttaa siihen, hyväksyykö robotti vastauksen vai ei, jos siihen on koodattu ainoastaan yksi vaihtoehto. Robotin puheentunnistus voi myös olla haasteellista nuorten oppijoiden kanssa, koska robotin puheentunnistus on kohdistettu aikuisen puheeseen.

Oppimistilanteessa robotilla on siis tieto siitä, miten viedä vuorovaikutusta eteenpäin. Robotti on taipumaton väärien vastausten kohdalla eikä hyväksy niitä. Voisi siis sanoa, että sekä robotilla että oppijoilla on vajavaiset resurssit vieraalla kielellä: robotin koodaus on rajallista ja oppijoiden vieraan kielen taidot ovat vasta kehittymässä. Robotti on siis tietyllä tavalla epätäydellinen tai kuten nuoret oppijat sen ilmaisevat, ”tyhmä”, koska se ei ymmärrä mitään, mitä siihen ei ole koodattu. Tämä on kuitenkin vain osatotuus. Vaikka robotti on joustamaton puhekumppani, tämä ominaisuus toimii kuitenkin myös niin, että robotti näyttäytyy leikkisänä. Sen vuorot voivat olla yllätyksellisiä tai muulla tavalla odotuksenvastaisia, mikä asettaa oppijan haastavaan tilanteeseen.

Mitä siis oppimistilanteissa tapahtuu? Ääntämisharjoituksissa oppijat saattavat joutua toistamaan sanaa kymmeniä kertoja ennen kuin he saavat tuotettua sanan siten kuin robotti sen hyväksyy. Yllättävää on, että suurin osa oppijoista pitää harjoittelusta, vaikka turhautuminen voi olla yksi tunne harjoituksen aikana (Peura ym. arvioitavana.) Keskusteluharjoituksissa oppijat voivat toimia pareittain tai ryhmänä robotin kanssa. Oppimisen kohteena voivat olla myös erilaiset vuorovaikutustaidot. Tällainen on esimerkiksi kysymys–vastaus-jaksojen harjoittelu. Keskusteluharjoitukset voivat perustua kysymys–vastaus-harjoituksiin yksinkertaisista ja arkipäiväisistä aiheista, jotka liittyvät nuorten oppijoiden jokapäiväiseen elämään. (Johansson arvioitavana.) Näissä harjoituksissa voi syntyä tilanteita, joissa oppijoilta puuttuu tieto vuorovaikutuksen etenemisestä (Jakonen & Morton 2015), eli siitä, millainen vastaus tulisi antaa robotin esittämään kysymykseen. Syntyy ongelmatilanne, joka oppijan on ratkaistava jollakin tavalla. Oppijat joutuvat ratkomaan kohtaamiaan ongelmia joko yksin tai toisen oppijan kanssa. (Honkalammi ym. painossa; Peura ym. arvioitavana.) Robotin epätäydellisyys voidaankin tulkita voimavaraksi juuri tällaisessa oppimisessa.

Lopuksi

Sosiaalisen robotin käyttäminen vieraan kielen opetuksessa ja oppimisessa on mahdollisuus. Se tarjoaa oppijoille tavan harjoitella uudenlaista puhetilannetta, joka eroaa luokkatilanteista tai todellisen elämän puhetilanteista. Oppija voi kohdata erilaisia ongelmatilanteita ja ratkoa niitä toisten oppijoiden kanssa ja ennen kaikkea hauskalla tavalla. Se tutustuttaa oppijat myös koneiden kanssa käytävään vuorovaikutukseen ja voi jopa tarjota tilaisuuden keksiä omia, robottiin koodattavia vuorovaikutusharjoitteita. Opettajille se tarjoaa uudenlaista haastetta työhön, mutta myös näköalan yleiseen digitalisaation ja tekoälyn kehitykseen.

Sosiaalinen robotti on hauska tuttavuus, joka antaa kielentutkijoille kiinnostavan näkökulman vuorovaikutuksen ja kielenoppimisen tutkimukseen. Tutkijoille on tärkeää selvittää, miten ihmiset reagoivat vuorovaikutuksessa sosiaalisen robotin kanssa ja miten he osallistuvat keskusteluun sen kanssa. Sosiaaliset robotit haastavat kielentutkijoita myös tieteidenväliseen yhteistyöhön.

Marjut Johansson on ranskan kielen professori Kieli- ja käännöstieteiden laitoksella Turun yliopistossa.

Kuvat

Nao-robotti. Kuva 2019. M. Johansson.

Komoroid. Robot exhibition, Tekniska Museet, Stockholm 2019. Kuva M. Johansson.

Kirjallisuus

Belpaeme, T. ym. 2018. Social Robots for Education. Science Robotics 3, 3: eaat5954. 

Dautenhahn, K. 2007. Socially intelligent robots: Dimensions of human–robot interaction. Philosophical Transactions of the Royal Society, 362, 679–704. https://doi.org/10.1098/rstb.2006.2004

Eliasrobot. https://www.eliasrobot.com/

Engwall, O. & J. Lopes 2020. Interaction and Collaboration in Robot-Assisted Language Learning for Adults. Computer assisted language learning (online), 1–37. 

Honkalammi, H.-M. 2022. Kokemuksia robotista kieltenopetuksessa. Kieli, koulutus ja yhteiskunta, 13(1). Saatavilla: https://www.kieliverkosto.fi/fi/journals/kieli-koulutus-ja-yhteiskunta-helmikuu-2022/kokemuksia-robotista-kieltenopetuksessa

Honkalammi, H.-M., Veivo, O. & M. Johansson (painossa). Advice-giving between Young learners in robot-assisted language learning.

Jauni, H. & T. Jakonen 2022. Etäläsnäolorobotti rullaa luokkahuoneeseen: osallistuminen ja toimijuus hybridiopetuksessa. Kieli, koulutus ja yhteiskunta, 13(1). Saatavilla: https://www.kieliverkosto.fi/fi/journals/kieli-koulutus-ja-yhteiskunta-helmikuu-2022/etalasnaolorobotti-rullaa-luokkahuoneeseen-osallistuminen-ja-toimijuus-hybridiopetuksessa

Jakonen, T. & T. Morton 2015. Epistemic Search Sequences in Peer Interaction in a Content-based Language Classroom. Applied Linguistics 2015: 36/1: 73–94

Maijala, M. & M. Mutta arvioitavana. Teachers’ Role in RALL Classroom Ecology.

Maijala, M. & M. Mutta 2022. Robotti luokkahuoneen ekosysteemissä – robotit kestävän kehityksen tavoitteiden edistäjinä? Kieli, koulutus ja yhteiskunta, 13(1). Saatavilla: https://www.kieliverkosto.fi/fi/journals/kieli-koulutus-ja-yhteiskunta-helmikuu-2022/robotti-luokkahuoneen-ekosysteemissa-robotit-kestavan-kehityksen-tavoitteiden-edistajina

Mondada, L., 2019. Contemporary issues in conversation analysis: Embodiment and materiality, multimodality and multisensoriality in social interaction. Journal of Pragmatics 145, 47–62.

Softbank Robotics. Nao-robot. https://www.softbankrobotics.com/

Peura, L., Mutta, M. & M. Johansson arvioitavana. Playing with pronunciation. A study on a robot-assisted French pronunciation in a learning game.

Pitsch, K. 2020. Répondre aux questions d'un robot. Dynamique de participation des groupes adultes-enfants dans les rencontres avec un robot guide de musée. Réseaux, 2(21), 113–150.

Randall, N. 2019. A Survey of Robot-Assisted Language Learning (RALL). ACM Transactions on Human-Robot Interaction 9, 1, Article 7 (December 2019), 36 pages. https://doi.org/10.1145/3345506

RoboLang. https://sites.utu.fi/robolang/

Rollet, N. and C. Clavel 2020. Talk to you later. Interaction Studies, 21(2), 268–292. doi:10.1075/is.19001.roll

Veivo, O. 2022. Tehokas opettaja vai hauska lelu? – Sosiaaliset robotit kielten oppimisessa. Kieli, koulutus ja yhteiskunta, 13(1). Saatavilla: https://www.kieliverkosto.fi/fi/journals/kieli-koulutus-ja-yhteiskunta-helmikuu-2022/tehokas-opettaja-vai-hauska-lelu-sosiaaliset-robotit-kielten-oppimisessa