1. Julkaisuhaku
2. Suomalaisia koulutusmyyttejä: Kun otos ei riitä

Suomalaisia koulutusmyyttejä: Kun otos ei riitä

Suomessa oppimistuloksia seurataan pääosin otoksiin perustuvilla arvioinneilla. Ne kertovat hyvin koko maan keskimääräisestä osaamiskehityksestä, mutta Laboren tutkimusohjaaja Hannu Karhunen osoittaa uudessa blogikirjoituksessaan, miksi otokset eivät riitä koulutusuudistusten vaikutusten arviointiin. Samalla hän pohtii, voiko tämä olla yksi syy siihen, miksi tiedämme Suomessa niin vähän siitä, mitkä toimenpiteet todella parantavat oppimistuloksia.

 

Taustaa

Suomessa ei ole perusopetuksen kansallisia kokeita. Oppilaiden osaamista seurataan sen sijaan otantaan perustuvilla arvioinneilla: Kansallinen koulutuksen arviointikeskus (Karvi) valitsee joukon kouluja, joiden oppilaat osallistuvat osaamisen arviointiin. 

Otantaan perustuvaa järjestelmää pidetään yhtenä suomalaisen koulutuksen arvioinnin kulmakivistä, ja siitä ollaan Suomessa ylpeitä. Oppilaiden osaamisen arvioinnista vastaavan viranomaisen Karvin mukaan suomalainen järjestelmä on ”luotettava, kevytrakenteinen ja kustannustehokas”. Myös eduskunnan sivistysvaliokunta on korostanut otosperusteisuuden kustannustehokkuutta (ks. SiVL 9/2026 vp).

Jos otokset kerran ovat niin hyviä, miksi taloustieteilijät ja osa kasvatustieteilijöistä ei sitten tyydy niihin? Yritän seuraavaksi selittää, mistä erimielisyydessä oikeastaan on kyse. En ole kummoinen tilastotieteilijä, ja yritänkin sanallistaa ongelmaa tilastollisten laskelmien sijaan.

Otoksen tekijä tekee merkittäviä arvovalintoja

Otos on riittävä väline, kun halutaan tietää, miten koko maa pärjää keskimäärin. Otoksia suunniteltaessa tehdään aluksi päätös, että kuinka monta henkilöä, luokkaa tai koulua otetaan mukaan mittauksiin. Muutaman tuhannen oppilaan otos kertoo jo hyvin luotettavasti, onko yhdeksäsluokkalaisten poikien ja tyttöjen matematiikan osaaminen keskimäärin parantunut vai heikentynyt eri puolilla Suomea.

Voi olla kuitenkin vaikea hahmottaa, millaisia merkittäviä arvovalintoja päätös otosten käytöstä pitää sisällään. Ja kuinka kalliiksi ne voivat lopulta Suomelle tulla. Yritän.

Laajoissa satunnaistetuissa koulutuskokeiluissa toimenpiteiden keskimääräinen vaikutus oppimistuloksiin on ollut vain noin 0,06 keskihajontaa (Lortie-Forgues & Inglis 2019; Kraft 2020). Mitä tämä tarkoittaa? Keskihajontoina ilmaistun vaikutuksen suuruutta voidaan havainnollistaa suhteuttamalla se yhden lukuvuoden aikana tapahtuvaan oppimiseen. Vertailu on kuitenkin suuntaa antava, sillä oppimisen määrä vaihtelee oppilaiden iän, oppiaineen ja käytetyn mittarin mukaan. PISA-tutkimuksen lukutaidossa 0,06 keskihajonnan suuruinen parannus vastaa laskennallisesti noin kolmasosaa lukuvuoden aikana tapahtuvasta oppimisesta (Avvisati & Givord 2023).

Kuuluisassa STAR-kokeilussa luokkakokoa pienennettiin noin 22–25 oppilaasta 13–17 oppilaaseen. Oppimistulokset paranivat tämän seurauksena noin 0,2 keskihajontaa (Krueger 1999), vastaten alaluokilla karkeasti vain 2–3 kuukauden oppimista (Brunner ym. 2023). Kyseessä oli siis huomattavan suuri ja kallis koulutuspoliittinen toimenpide, mutta sekin jäi vaikutukseltaan selvästi alle puolen keskihajonnan. 

Ongelma on siinä, että otoksen kokoa määritettäessä tehdään samalla päätös siitä, kuinka pieniä vaikutuksia aineistolla voidaan luotettavasti havaita. Tämä on arvovalinta, joka jää monelta piiloon teknisen otantapäätöksen taakse. Jos otos mitoitetaan liian pieneksi, yhteiskunnallisesti merkittävätkin vaikutukset voivat jäädä havaitsematta. Vielä ongelmallisempaa on, jos tulosta tulkitaan päätöksenteossa niin, ettei uudistuksella ollut vaikutusta, vaikka todellisuudessa aineisto ei olisi edes mahdollistanut sen luotettavaa havaitsemista. 

Suomi on pieni maa, ja kouluja sekä luokkia on huomattavasti vähemmän kuin esimerkiksi Yhdysvalloissa. Tämä asettaa omat rajoituksensa koulutuspoliittisten toimenpiteiden vaikutusten arvioinnille. Erityisesti pienten vaikutusten luotettava tunnistaminen edellyttää usein suuria aineistoja ja riittävää määrää toisistaan riippumattomia havaintoyksiköitä.

Jos tavoitteena on luoda mahdollisimman hyvät edellytykset koulutusuudistusten luotettavalle vaikuttavuusarvioinnille, on perusteltua hyödyntää mahdollisimman kattavia ja vertailukelpoisia oppimistulosaineistoja. Kattava aineisto ei toki yksin takaa luotettavia kausaalipäätelmiä, mutta sen puuttuminen voi estää muuten hyvin suunniteltujen arviointien toteuttamisen.

Ongelma korostuu entisestään, kun halutaan selvittää, millaisilla toimenpiteillä voidaan parantaa pienten oppilasryhmien, kuten eri vähemmistöihin kuuluvien lasten, oppimistuloksia. Mitä pienempi tutkittava ryhmä on, sitä vaikeampaa on erottaa toimenpiteen todellinen vaikutus satunnaisvaihtelusta. Pieniin otoksiin perustuva arviointijärjestelmä voi siten jättää juuri ne oppilasryhmät luotettavan vaikuttavuustiedon ulkopuolelle, joiden tukemiseksi tietoa erityisesti tarvittaisiin. Voidaan sanoa, että otospohjainen arviointi on rakenteellisesti syrjivää.

Millaisia otoksia viranomainen tekee?

Kävimme eduskunnan tarkastusvaliokunnalle tekemässämme selvityksessä läpi Karvin otospohjaiset osaamisen arvioinnit vuosilta 1998–2024 (Karhunen ym. 2026, liitetaulukko 3.2). Tyypillinen arviointi kattoi noin viisi prosenttia ikäluokan oppilaista. Karvin oma otos on ylittänyt 14 prosenttia vain kerran. Lisäksi kukin arviointi koskee yleensä yhtä oppiainetta yhdellä luokka-asteella.

Karvi on ainakin osin siirtynyt tekemään pitkittäisarviointeja, joissa samoja oppilaita seurataan 1., 3., 6. ja 9. luokalla. Se on iso parannus yksittäisiin otoksiin verraten, koska nyt nähdään, miten osaaminen kehittyy. Paneeli kattaa kuitenkin vuorollaan vain otoskoulut ja yhden ikäluokan. Vuoden 2024 kuudesluokkalaisten arvioinnissa oli mukana 266 koulua (noin 2 000 koulusta). Jos uusi paneeli käynnistetään kymmenen vuoden välein, yksittäinen koulu päätyy mukaan keskimäärin kerran 75 vuodessa. Paneeli tuottaa näin tietoa kansallisesta keskimääräisestä kehityksestä, mutta hyvin rajallisesti yksittäisten koulujen kehittämisen toiminnan näkökulmasta.

Käytännön vaikuttavuusarvioinnissa ei ole realistista odottaa, että tällaisesta otoksesta voisi havaita tavanomaisen kokoisia vaikutuksia. Kvasikokeelliset tutkimusasetelmat edellyttävät suuria aineistoja, riittävästi vaihtelua uudistukselle altistumisessa sekä mahdollisuutta muodostaa uskottava vertailuryhmä. 

Edellä en ole vielä edes käsitellyt toimenpiteiden mahdollisia ulkoisvaikutuksia, joiden arviointi voi edellyttää tietoja myös niistä oppilaista ja kouluista, joihin toimenpide ei suoraan kohdistu. Sama koskee onnistuneiden kokeilujen skaalaamista valtakunnallisiksi käytännöiksi sekä niiden toimeenpanon ja vaikuttavuuden seurantaa. Tällöin koko oppilasjoukon kattavan aineiston merkitys korostuu entisestään. 

Teoria miksi Suomessa rakastetaan otoksia

Vakavasti sanoen myytti ei ole se, että otokset olisivat tarpeettomia. Ne ovat hyviä siihen, mihin ne on tarkoitettu: koko maan osaamistason seurantaan. Myytti on se, että ne riittäisivät myös muihin tarkoituksiin, kuten yhdenmukaiseen koulujen kehittämiseen ja koulutusuudistusten vaikutusten arviointiin. Etenkin Suomessa, koska meitä suomalaisia on ikäluokassaan niin vähän.

Yksi mahdollinen selitys otosten poikkeukselliselle suosiolle Suomessa on tutkimusjärjestelmän oma historia. Kansallisten kokeiden puuttuessa erilaisille otospohjaisille arvioinneille on ollut jatkuvaa kysyntää, ja monet tutkijat ovat rakentaneet tutkimusuraansa niiden ympärille. Kun syntyy tarve arvioida jotakin uutta uudistusta, ratkaisu on tuttu: tehdään uusi otos. Ja näiden erillisten aineistonkeruiden kustannuksista vastaavat muuten Suomessa usein ministeriö tai kunnat.[1]

Tässä on pari merkittävää ongelmaa tilastollisen voiman puuttumisen lisäksi. Kun uudistuksen vaikutuksia ryhdytään selvittämään vasta sen toteuttamisen jälkeen, huomataan, ettei oppilaiden osaamista ole mitattu ennen uudistusta. Puuttuu siis lähtötaso, niin sanottu baseline, johon myöhempiä tuloksia voitaisiin verrata. 

Ongelma on kuitenkin tätäkin perustavampi. Vaikka aiempia oppimistulosmittauksia olisi olemassa, ne koskevat yleensä eri kouluja kuin myöhemmät arvioinnit ja politiikkamuutokset. Tällöin samoista kouluista ei muodostu ajallisesti vertailukelpoista aineistoa, jonka avulla voitaisiin tarkastella esimerkiksi luokkakoon, opettajaresurssien tai koulurahoituksen muutosten vaikutuksia oppimistuloksiin. Tämä vaikeuttaa olennaisesti monien kvasikokeellisten tutkimusasetelmien, kuten koulutason difference-in-differences-menetelmän, hyödyntämistä.

Mitä muissa maissa tehdään?

Kuulen usein keskeisten perusopetuksesta vastaavien ministeriön virkahenkilöiden kysyvän, että mitä hyötyä kansallisista kokeista oikein on. PISA-tuloksethan ovat heikentyneet muissakin maissa, vaikka niissä on käytössä erilaisia yhteismitallisia kokeita. Kansallisten kokeiden yksi keskeinen hyöty on kuitenkin se, että ne poistavat tarpeen järjestää kalliita ja kouluja kuormittavia erillisiä mittauksia jokaisen kokeilun ja uudistuksen yhteydessä. Ja samalla voidaan edes yrittää selvittää, mitkä uudistukset parantavat oppimista. 

Tein havainnollistuksen vuoksi iltapäivän aikana haun siitä, kuinka paljon Tanskassa, Norjassa ja Ruotsissa on tutkimuksia ja raportteja, joissa käytetään kansallisten kokeiden tai päättökokeiden tietoja. Tarkistettuja julkaisuja löytyi yhteensä 261. Näistä 141 oli tutkimuksia ja 120 viranomaisten ja tutkimuslaitosten raportteja. Noin 65 niistä oli kausaalisia politiikkatoimien arviointeja, kuten luokkakoon, kouluvalinnan, opettajien täydennyskoulutuksen ja kouluverkon muutosten vaikutusten tutkimuksia. Lisäksi 16 kappaletta oli Suomen Kaksivuotisen esiopetuksen kokeilun tapaisia mutta pienempiä satunnaistettuja kokeiluja, joissa kansallinen koe tarjosi valmiin mittausinfran ja poisti tarpeen erilliselle tiedonkeruulle. 

Yritän havainnollistaa muiden maiden normaalia tiedontuotantoa muutamalla konkreettisella esimerkillä.

Ruotsissa tuettiin opettajien ammatillista kehittymistä kymmenessä heikossa asemassa olevien alueiden yläkoulussa. Oppimistulokset paranivat englannissa (6,4 persenttiilipistettä eli noin 17 % otoksen keskiarvosta) suhteessa vertailukouluihin (Hall ym. 2022). Erillistä testausta ei tarvittu, sillä koulujen lähtötaso ja aiempi kehitys tunnettiin kansallisista kokeista.

Tanskassa kokeiltiin opetustuntien lisäämistä ja toisen aikuisen tuomista luokkaan. Opettajien vapaasti käyttämät lisätunnit paransivat lukutaitoa (0,15 keskihajontaa), ja avustajien vaikutukset säilyivät pisimpään heikommassa asemassa olevilla oppilailla (Andersen ym. 2016; 2020). Kansallisten kokeiden avulla voitiin seurata myös koulua vaihtaneita oppilaita ilman erillistä testausta.

Norjassa tutkittiin koulujen älypuhelinkieltojen vaikutuksia hyödyntämällä kieltojen eriaikaista käyttöönottoa ja rekisteriaineistoja. Kiellot paransivat tyttöjen päättöarvosanoja (0,08 keskihajontaa), vähensivät mielenterveyssyistä johtuvia terveyspalvelukäyntejä ja lisäsivät lukioon hakeutumista. Myös kiusaaminen väheni (Abrahamsson 2024). Oppimistulosten mittaamiseen riittivät olemassa olevat kansalliset mittaukset.

Norjassa arvioitiin myös satunnaistetulla kokeella matematiikan pienryhmäopetusta. Oppimistulokset paranivat 0,06 keskihajontaa, ja vaikutus voitiin mitata suoraan 5. luokan kansallisesta kokeesta (Bonesrønning ym. 2022). Näin pieni vaikutus olisi ollut mahdotonta havaita pienestä otoksesta.

Kattavan aineiston arvo näkyy myös silloin, kun uudistus ei toimi. Norjassa 166 yläkoulua sai rahoitusta lisäopettajien palkkaamiseen. Koko ikäluokan aineistolla voitiin osoittaa, ettei uudistus parantanut oppimistuloksia, ja sulkea pois myös useimmat pienet myönteiset vaikutukset (Borgen ym. 2025). Pienellä otoksella tulokseksi olisi saattanut jäädä vain tilastollisesti epätarkka nollatulos. Näin rahat voidaan seuraavalla kerralla käyttää paremmin.

Mitä yritän sanoa?

Kansallisten kokeiden ilmeinen vahvuus on, että niiden avulla voidaan pyrkiä selvittämään, mitkä koulutusuudistukset parantavat oppimistuloksia ja mitkä eivät. Valitettavasti Suomessa vastaavien uudistusten vaikutuksia oppimistuloksiin ei nykyisillä aineistoilla pystytä luotettavasti arvioimaan. Ja tämä on yksi keskeinen syy, miksi meillä on niin vähän tietoa siitä, mikä toimii koulumaailmassa.

Miten opettajien täydennyskoulutus vaikuttaa lasten oppimiseen? Kuinka paljon luokkakoolla on merkitystä? Mikä vaikutus inkluusiolla on oppimistuloksiin? Entäpä S2-opetus? Oppimisen ja erityisen tuen järjestelmää uudistettiin Suomessa äskettäin. Tulisiko meidän tietää, miten tämä reformi vaikuttaa lasten oppimistuloksiin?   

En tiedä teistä, mutta mielestäni nämä eivät ole vähäpätöisiä kysymyksiä. Kyse on julkisilla varoilla toteutettavista reformeista ja toimenpiteistä, jotka vaikuttavat lasten koulunkäyntiin ja heidän tulevaisuuteensa. Siksi pidän erityisen tärkeänä, että niiden vaikutuksia voidaan myös luotettavasti arvioida. Minun on erityisen vaikeaa ymmärtää, miksi vastuussa oleva viranomainen ei ole pitänyt koskaan näiden vaikutusten luotettavaa selvittämistä yhtenä keskeisenä tehtävänään. Huomio on sen sijaan keskittynyt laadulliseen arviointiin, joka vastaa lähtökohtaisesti eri kysymykseen.

Lopuksi

Olen yrittänyt selittää näitä ongelmia eri yhteyksissä niin kasvatustieteen tutkijoille kuin peruskoulutuksesta vastaaville virkahenkilöille. Vastaus on lähes poikkeuksetta sama: mittaaminen on niin haitallista ja kallista, että parempi jättää mittaamatta. 

Itse en olisi asiasta niin varma.  Mittaamiseen liittyy kustannuksia ja mahdollisia haittoja, mutta niin liittyy myös mittaamatta jättämiseen. Millä perusteella voimme päätellä, että mittaamisen haitat ylittävät sen hyödyt? Ja kenellä tässä oikeastaan on todistustaakka? 

Kansallisia kokeita on käytössä lähes poikkeuksetta kaikissa länsimaissa. Oppilaiden osaamista arvioidaan eri luokka-asteilla järjestettävillä kansallisilla kokeilla systemaattisesti, ja ne luovat yhtenäisen tietopohjan politiikkatoimenpiteiden ja erillisten paikallisten ja valtakunnallisten kokeilujen ja toimien vaikuttavuusarvioinneille. Kansallisilla kokeilla on myös keskeinen tehtävä lasten yhdenvertaisuuden ja oikeusturvan seurannassa: niiden avulla voidaan tunnistaa oppimiseroja ja arvioida, toteutuvatko oppilaiden oikeudet yhdenvertaiseen opetukseen ja arviointiin eri puolilla maata.

Suomessa pitäisi päästä eroon jatkuvasta pelottelusta, joka on jähmettänyt koulutuksen tietoon perustuvan kehittämisen 1990-luvulle. Kansalliset kokeet ja muut mittaukset ovat väline, eivät päämäärä. Oppimistulosten laskun pysäyttämiseen ja Suomen nostamiseen takaisin koulutuksen huippumaiden joukkoon tuskin löytyy yhtä hopealuotia. Todennäköisemmin tarvitaan useita toimenpiteitä, joiden yksittäiset vaikutukset ovat pieniä mutta yhteisvaikutus merkittävä. Juuri siksi tarvitsemme luotettavaa tietoa siitä, mitkä toimenpiteet toimivat ja mitkä eivät. 

***

Tämä kirjoitus on kuudes osa Suomalaisia koulutusmyyttejä -blogisarjaa, jossa pyrin kiinnittämään huomiota siihen, miten suhtaudumme koulutukseen toisinaan varsin myyttisesti. Sarjassa tarkastelen koulutuskeskustelussa usein toistuvia väitteitä ja käsityksiä, joille ei välttämättä löydy vahvaa todellisuuspohjaa. Tarkoituksenani ei ole vain myyttien murtaminen, vaan ennen kaikkea tietoperusteisen ja ratkaisukeskeisen keskustelun edistäminen suomalaisesta koulutusjärjestelmästä.

Kirjoituksessa esitetyt näkemykset ja tulkinnat ovat kirjoittajan omia eivätkä välttämättä edusta Laboren kantaa.

Lähteet

Abrahamsson, S. (2024). Smartphone bans, student outcomes and mental health. NHH Discussion Paper SAM 01/2024. Norwegian School of Economics. https://ssrn.com/abstract=4735240

Andersen, S. C., Beuchert, L., Nielsen, H. S. & Thomsen, M. K. (2020). The effect of teacher’s aides in the classroom: Evidence from a randomized trial. Journal of the European Economic Association 18(1), 469–505.

Andersen, S. C., Humlum, M. K. & Nandrup, A. B. (2016). Increasing instruction time in school does increase learning. PNAS113(27), 7481–7484.

Avvisati, F. & Givord, P. (2023). The learning gain over one school year among 15-year-olds: An international comparison based on PISA. Labour Economics 84.

Bonesrønning, H. ym. (2022). Small-group instruction to improve student performance in mathematics in early grades: Results from a randomized field experiment. Journal of Public Economics 216, 104765.

Borgen, N. T., Kirkebøen, L. J., Kotsadam, A. & Raaum, O. (2025). Do funds for more teachers improve student outcomes? Journal of Human Resources, online first. https://doi.org/10.3368/jhr.0523-12892R2

Brunner, M., Stallasch, S. E. & Lüdtke, O. (2023). Empirical benchmarks to interpret intervention effects on student achievement in elementary and secondary school: Meta-analytic results from Germany. Journal of Research on Educational Effectiveness 17(1), 119–157.

Hall, C., Lundin, M. & Sibbmark, K. (2022). Strengthening teachers in disadvantaged schools: Evidence from an intervention in Sweden’s poorest city districts. Scandinavian Journal of Educational Research 66(2), 208–224.

Karhunen, H. ym. (2026). Perusopetuksen oppimistulokset ja mahdollisuuksien tasa-arvo. Eduskunnan tarkastusvaliokunnan julkaisu 1/2026.

Kraft, M. A. (2020). Interpreting effect sizes of education interventions. Educational Researcher 49(4), 241–253.

Krueger, A. B. (1999). Experimental estimates of education production functions. Quarterly Journal of Economics 114(2), 497–532.

Lortie-Forgues, H. & Inglis, M. (2019). Rigorous large-scale educational RCTs are often uninformative: Should we be concerned? Educational Researcher 48(3), 158–166.

[1] Nämä kustannukset unohtuvat aina niiltä henkilöitä, jotka puhuvat kansallisten mittausten kustannuksista. Myös nämä kustannukset olisi syytä ottaa huomioon, kun vertaillaan nykyisen arviointijärjestelmän ja kattavampien kansallisten arviointien kustannuksia.