1. T&Y-lehti
2. Uskottavuusvallankumous uudisti taloustieteen – samat menetelmät tarvittaisiin nyt kaikenlaiseen koulutustutkimukseen

Uskottavuusvallankumous uudisti taloustieteen – samat menetelmät tarvittaisiin nyt kaikenlaiseen koulutustutkimukseen

Uskottavuusvallankumous on muuttanut taloustieteen tutkimusta perustavan­laatuisesti. Koulutuksen taloustieteilijät pyrkivät luomaan ja löytämään erilaisia koeasetelmia, jotka mahdollistavat uskottavan tiedon tuottamisen esimerkiksi koulu-uudistusten syy-seuraussuhteista. Jos päätöksenteon tukena käytettävältä tutkimukselta vaadittaisiin nykyistä enemmän, uskottavuusvallankumouksen
käytännöt voisivat levitä laajemmalle.

Taloustieteilijät ovat viime vuosikymmeninä tehneet runsaasti koulutukseen liittyvää tutkimusta ja osallistuneet myös aktiivisesti koulutuspoliittiseen keskusteluun. Miksi taloustieteilijät ovat tunkeutuneet kasvatustieteilijöiden perinteisesti hallitsemalle asiantuntijuuden kentälle?

Eräs selitys koulutuksen taloustieteen synnylle ja kukoistukselle on se, että taloustieteilijät ovat kehittämiensä teorioiden, kuten inhimillisen pääoman teorian ja kaksisuuntaisten markkinoiden teorian, innoittamina esittäneet sellaisia koulutuspoliittisesti merkittäviä tutkimuskysymyksiä, jotka eivät muilla tieteenaloilla ole keränneet vastaavaa huomiota.

Esimerkiksi: Mikä on koulutuksen tuotto yksilölle ja yhteiskunnalle? Tai miten oppilaat tulisi valita kouluihin, jotta valinnan lopputulos olisi tehokas ja oikeudenmukainen? Entä mitä seurauksia on koulutusmarkkinoiden avaamisesta kilpailulle?

Muun muassa näihin kysymyksiin koulutuksen taloustieteilijät ovat etsineet ja löytäneet vastauksia teoreettisella ja empiirisellä tutkimuksella tarjoten samalla poliittisille päätöksentekijöille arvokasta tietoa.

Toinen selitys taloustieteilijöiden tekemän koulutustutkimuksen vaikuttavuudelle on se, että taloustieteilijät ovat ensimmäisten joukossa ottaneet käyttöön menetelmiä ja aineistoja, joiden avulla päästään luotettavasti käsiksi koulutusjärjestelmän ilmiöitä koskeviin syy-seuraussuhteisiin. Empiirisen koulutuksen taloustieteen nousu juontaa juurensa laajempaan taloustiedettä 1990-luvulta asti ravistelleeseen uskottavuusvallankumoukseen¹, joka on tarjonnut taloustieteilijöille uusia työkaluja syy-seuraussuhteiden eli kausaalivaikutusten tarkasteluun.

Aiemmin taloustieteen empiiriset tutkimukset perustuivat analyyseihin, joiden luotettavuutta muiden tutkijoiden oli vaikea arvioida. Yhdysvaltojen johtavista taloustieteellisistä laitoksista lähtöisin oleva paradigman muutos muutti tilannetta merkittävästi. Nykyään tutkimustulosten arvoa ei määritä tekijän akateeminen asema tai sujuva esiintyminen, vaan käytössä oleva data ja tutkimusmenetelmät. Tämä menetelmien kehitys on luonut mahdollisuuden tuottaa tietoa siitä, miten asioihin vaikutetaan, sen sijaan, että puhuttaisiin vain asioiden välisestä yhteydestä eli korrelaatiosta.

Uskottavuusvallankumouksen keskeinen vaikutus talous- ja muihin yhteiskuntatieteisiin on ollut se, että tutkimusnäytön vahvuuteen on alettu kiinnittää aiempaa enemmän huomiota. Tämä on näkynyt lääketieteellisestä tutkimuksesta tutun satunnaistetun vertailuasetelman lisääntyneenä soveltamisena yhteiskunnallisesti kiinnostavien kysymysten, kuten esimerkiksi perustulon työllisyysvaikutusten, tutkimiseen.

Toisaalta kyse on ollut uusien satunnaiskoetta matkivien kvasikokeellisten menetelmien kehittämisestä ja soveltamisesta. Kvasikokeellinen eli luonnollinen koeasetelma syntyy esimerkiksi eri ihmisryhmiä tai yrityksiä eri tavoin menneisyydessä kohdelleen politiikkatoimen seurauksena. Tällaisilla asetelmilla voidaan usein tarkastella sellaisiakin syy-seuraussuhteita, joiden tutkiminen satunnaiskokeella olisi hankalaa esimerkiksi eettisistä, taloudellisista tai poliittisista syistä.

Uskottavien luonnollisten koeasetelmien tuottama tutkimusnäyttö on yleisesti vahvempaa kuin ei-kokeellisista havaintoaineistoista muilla tavoin saatava näyttö. Se voi parhaimmillaan yltää lähelle satunnaiskokeen tulosten vahvuustasoa. Tämä uskottavuusvallankumouksen myötä levinnyt ajatus on rikastanut käsitystämme tutkimusnäytön vahvuudesta.

Tieto vaikuttavuudesta syntyy tutkimusasetelman avulla

Uskottavuusvallankumous on vaikuttanut merkittävästi Suomessa tehtävään koulutuksen taloustieteen tutkimukseen. Kyse on hyvin perustavanlaatuisesta asiasta: tietoa vaikuttavuudesta ei voida synnyttää ilman tutkimusasetelmaa. Kuinka uskottavaa ja yleistettävää asetelman avulla synnytetty tutkimustieto sitten on, se riippuu tutkimusasetelmasta ja sen vahvuudesta.

Kuvaamme seuraavaksi tutkimusasetelman syntyä koulutuksen taloustieteen kotimaisia tutkimuksia esimerkkeinä käyttäen (Taulukko 1). On tärkeää ymmärtää käytännön ero satunnaistetun ja luonnollisen koeasetelman välillä. Luonnolliset kokeet ovat tyypillisesti hyödyllisiä aiemmin toteutettujen toimenpiteiden vaikutusten arvioinnissa.

Taulukko 1. Koulutuksen taloustieteen tutkimuskirjallisuutta Suomesta

Jos sen sijaan haluttaisiin tietoa jonkin vasta suunnitteilla olevan politiikkatoimen vaikutuksista, luotettavaa tietoa voi olla vaikeaa saada muuten kuin satunnaistetun kokeen avulla. Satunnaistetussa kokeessa tutkijat jakavat osallistujat (esimerkiksi opiskelijat, opettajat tai koulut) satunnaisesti koe- ja kontrolliryhmiin, jolloin erilaisten yksilöiden valikoituminen osallistujiksi ei muodostu ongelmaksi. Tutkimuksessa mielenkiinnon kohteena oleva toimenpide kohdistetaan pelkästään koeryhmään.

Hyvä esimerkki satunnaistetusta koeasetelmasta liittyy kaksivuotiseen esiopetuksen kokeiluun, joka käynnistyi vuonna 2021. Se on ensimmäinen merkittävä satunnaistettu koe, joka toteutetaan Suomessa koulutuspolitiikan saralla. Taloustieteilijät ovat olleet keskeisessä asemassa sitä suunnittelemassa ja toteuttamassa.

Etukäteen ajatellen ei ole lainkaan selvää, miten tällainen uudistus vaikuttaa lapsiin, heidän perheisiinsä sekä varhaiskasvatukseen ja koulujen toimintaan.

Satunnaistettujen koe- ja kontrolliryhmien avulla tutkijat pääsevät seuraamaan kaksivuotisen esiopetuksen vaikutuksia monipuolisesti ja luotettavasti.

Varhaiseen oppimiseen tehdyt panostukset voivat saada aikaan merkittäviä hyötyjä. Toisaalta aiempi tutkimus tarjoaa valitettavan vähän konkreettista tietoa siitä, mitkä varhaiset investoinnit ovat vaikuttavia ja kustannustehokkaita. Näin merkittäviin systeemitason muutoksiin voi aina liittyä myös ennakoimattomia haitallisia vaikutuksia. Satunnaistettujen koe- ja kontrolliryhmien avulla tutkijat pääsevät seuraamaan kaksivuotisen esiopetuksen vaikutuksia monipuolisesti ja luotettavasti.

Vastaavien satunnaistettujen kokeilujen käyttö on levinnyt maailmalla nopeasti, mutta Suomessa niiden toteuttamismahdollisuudet ovat olleet melko vähäiset. Tutkittuun tietoon pohjautuva lähestymistapa olisi erityisen tärkeä silloin, kun koulutuspolitiikan toimenpiteiden kohteena ovat lapset. Tilanne koulutussektorilla on onneksi hiljalleen muuttumassa. Kaksivuotisen esiopetuksen kokeilu ja tähän liittyvä kokeilulainsäädäntö ovat nyt viimeistään todistaneet, että päättäjät voivat kehittää koulutusjärjestelmää tietoon perustuen, mikäli vain haluavat.

Satunnaistettujen kokeilujen järjestäminen ei vaadi aina raskasta kokeilulainsäädäntöä, vaan julkinen sektori voi kehittää uutta toimintaa tarvittaessa ketterästi. Esimerkiksi Jatkuvan oppimisen ja työllisyyden palvelukeskus (Jotpa) käynnisti aikuiskoulutuksen hakevan toiminnan kokeilun vuonna 2023. Hakevassa toiminnassa ihmisiä tavoitetaan ja motivoidaan osallistumaan koulutukseen, esimerkiksi jakamalla räätälöityä tietoa paikallisista mahdollisuuksista työpaikoilla.

Koska matalasti koulutettujen aikuisten houkuttelu takaisin koulunpenkille on vaikea ongelma, Jotpa halusi tietää, kuinka vaikuttavasti ja kustannustehokkaasti uusi hakeva toimenpide käytännössä toimii. Tutkijoiden kanssa yhteistyössä luodut koe- ja kontrolliryhmät mahdollistavat tällaisten kysymysten tarkastelun.

Satunnaistettujen kokeilujen suunnittelu ja toteuttaminen vaativat paljon aikaa ja resursseja. On siis ymmärrettävä, että taloustieteen konferensseissa esitellyistä tutkimuksista valtaosa perustuu luonnollisiin koeasetelmiin, joissa koeasetelmat ovat syntyneet itsestään koulutusjärjestelmän muutoksien ja sääntöjen takia. Tutkijat käyttävät paljon aikaa tällaisten tutkimusasetelmien etsimiseen.

Yksi merkittävimmistä nykyaikaisilla menetelmillä analysoiduista ilmiöistä on 1970-luvun peruskoulu-uudistus. Uudistuksen myötä vanhasta rinnakkaiskoulujärjestelmästä siirryttiin nykyisinkin käytössä olevaan yhtenäiskoulujärjestelmään.

Uudistus synnytti itsessään luonnollisen tutkimusasetelman, koska peruskoulu-uudistus astui voimaan ensimmäiseksi Lapissa vuonna 1972 ja viimeiseksi pääkaupunkiseudulla vasta vuonna 1977. Näin ollen esimerkiksi vuonna 1961 syntyneet, Lapissa vuonna 1972 koulua käyneet lapset altistuivat uudistukselle, mutta samana vuonna syntyneet pääkaupunkiseudulla koulua käyneet eivät. Uskottavuusvallankumouksen myötä tutkijoiden työkalupakkiin tuli niin sanottu erotusten erotus -niminen menetelmä, joka mahdollistaa näin toteutetun uudistuksen vaikutuksien arvioimisen läpinäkyvällä tavalla. Samaista lähestymistapaa on käytetty korkeakouluverkoston laajentumisen vaikutusten tutkimiseen.

Yhteistä tällaisille luonnollisille tutkimusasetelmille on se, että eri alueet tai henkilöryhmät kohtaavat saman uudistuksen eri aikaan. Tästä syystä tutkijat puhuvat paljon sen tärkeydestä, että suunnitellut uudistukset otettaisiin Suomessa käyttöön vaiheittain. On esimerkiksi mahdotonta tutkia vuoden 2018 ammatillisen koulutuksen reformin vaikutuksia, koska reformin vaikutuksia ei voida koskaan erottaa samanaikaisesti tapahtuneista muista muutoksista, kuten rahoitusleikkausten vaikutuksista.

Luonnollinen koeasetelma saattaa myös syntyä olemassa olevien sääntöjen, kuten pääsykoepisterajojen seurauksena. Esimerkiksi toisen asteen koulutuksen sisäänpääsypisterajat aiheuttavat satunnaisuutta nuorten koulutuspolkuihin, jolloin on mahdollista verrata nuoria, jotka ovat hakeneet sekä lukioon että ammatilliseen koulutukseen. Tällöin niitä nuoria, jotka juuri ja juuri ylittivät pisterajan ja tulivat valituksi lukioon, voi verrata sellaisiin nuoriin, jotka jäivät nipin napin pisterajan alapuolelle ja päätyivät ammatilliseen koulutukseen. Koska pääsykoe­pisterajan tuntumassa nuoret ovat hyvin samanlaisia, tutkimusasetelma vertautuu tilanteeseen, missä nuoria arvotaan arvalla jommallekummalle koulutuspolulle.

Edellä kuvatun kaltaiset luonnolliset kokeet kykenevät tuottamaan varsin luotettavaa tietoa tarkasteltavasta ilmiöstä, tässä tapauksessa ammatillisen koulutuksen kausaalivaikutuksesta. On kuitenkin syytä huomata, että monesti luotettavammilla menetelmillä saatujen tulosten yleistettävyyteen liittyy merkittäviä haasteita. Esimerkiksi pääsykoe­rajoja hyväksikäyttävällä regressioepäjatkuvuusmenetelmällä saadut tulokset koskevat vain rajan läheisyydessä olevia nuoria ja niiden perusteella ei voida sanoa juurikaan mitään siitä, miten ammatillinen koulutus vaikuttaisi sellaisiin nuoriin, jotka ovat ylittäneet lukion sisäänpääsyrajan selvästi tai jääneet reilusti sen alapuolelle. Tutkimusten tulokset antavat kuitenkin tietoa koulutuspolitiikan kannalta erittäin relevantista ryhmästä: siitä nuorten joukosta, jonka koulutukseen sijoittumiseen toisen asteen koulutusvaihtoehtojen tarjontaan tehtävät muutokset todennäköisimmin vaikuttaisivat.

Rekisteriaineistojen puute rajaa tutkimusaiheita

Uskottavuusvallankumous on vaikuttanut tutkimuskysymysten valintaan hyvässä ja pahassa. Miksi tutkija käyttäisi kallisarvoista aikaansa sellaisten tutkimuskysymysten pohdintaan, joiden paikkansapitävyyttä ei voida testata empiirisesti? Taloustieteen vaatimus vahvasta empiirisestä tutkimusnäytöstä ja aina läsnä oleva tieteellinen julkaisupaine ohjaavat tutkijoita sellaisten kysymysten suuntaan, joista on olemassa valmiita tutkimusasetelmia ja aineistoja.

Empiiristä taloustieteen tutkimusta ohjaa Suomessa etenkin rekisteriaineistojen saatavuus. Pääsääntöisesti rekisteriaineistojen saatavuus on sitä parempaa, mitä hyväosaisemmasta aikuisväestöstä on kyse. Julkista keskustelua esimerkiksi laskevista Pisa-tuloksista, koulujen inkluusiosta tai ammatillisen koulutuksen ongelmista käydään paljon, mutta harva on kiinnittänyt huomiota niihin taustasyihin, joiden seurauksena tutkimusta näistä teemoista on niin vähän.

Vastoin useiden muiden maiden viranomaiskäytäntöä Suomessa tehtiin 1990-luvulla tietoinen päätös, että kouluja ja koulutusta koskevia tietoja ei kerätä yhdenmukaisella ja luotettavalla tavalla. Yksikään viranomainen ei kerää Suomessa keskitetysti koulukohtaista rekisteritietoa esimerkiksi koulujen resursseista ja opetushenkilöstöstä. Suomessa ei ole myöskään ikäluokan laajuisia yhteismitallisia osaamismittauksia, jotka olisivat yhdistettävissä rekisteritietoihin. Tästä syystä viranomaiset tai tutkijat eivät voi arvioida, kuinka lasten oikeudet toteutuvat Suomessa eri kunnissa ja kouluissa, puhumattakaan siitä, että koulutusjärjestelmää voitaisiin arvioida ja kehittää luotettavaan rekisteritietoon perustuen.

Tutkimusaineistojen puuttumisen seurauksena Suomessa on merkittäviä aukkoja varhaiskasvatuksen, perusopetuksen ja toisen asteen koulutuksen tutkimuksessa. Poikkeuksen sääntöön muodostavat sellaiset tutkimushankkeet, jotka ovat investoineet huomattavasti aikaa ja resursseja tietojen keruuseen kunnilta, kuten on esimerkiksi toimittu neuvolatietojen kohdalla. Osaamismittausten puutetta on taas pyritty paikkaamaan käyttämällä tutkimuksissa armeijan soveltuvuuskokeen tuloksia tai mittaamalla suoraan lasten taitoja osana tutkimushanketta.

Koulutuksen menot muodostavat merkittävän osan julkisista menoista, ja jo siksi olisi tärkeää arvioida koulutuksellisten toimenpiteiden vaikuttavuutta ja kustannustehokkuutta. Kansainvälisestä tutkimuskirjallisuudesta löytyy paljon tutkimuksia, joissa tarkastellaan koulutusresurssien vaikutusta oppimistuloksiin. On todennäköistä, että kuntien taloudellinen tilanne heijastuu koulujen toimintaan ja lopulta lasten oppimistuloksiin. Suomalaiset päättäjät eivät tule samaan tutkimustietoa aiheesta ennen kuin tiedonkeruuseen liittyvät perustavanlaatuiset ongelmat saadaan ratkaistua.

Tieteentekemisen haasteet ovat samat kuin muissa tieteissä

Empiiristen menetelmien kehityttyä on kiinnitetty entistä enemmän huomiota siihen, kuinka uskottavia tutkimustulokset ylipäätään ovat. Tyypillisesti yksi yksittäinen tutkimus koskee vain rajattua kohdejoukkoa rajatussa kontekstissa, jolloin tutkimustuloksen tilastollinen merkitsevyys voi johtua puhtaasti sattumasta. Toisin sanottuna jossakin toisessa joukossa ja hieman eri kontekstissa samaa ilmiötä ei välttämättä havaittaisi lainkaan, mutta usein samaa ilmiötä ei voi tutkia monella eri kohdejoukolla ja monessa eri kontekstissa.

Vuonna 2018 tehdyssä tutkimuksessa havaittiin, että merkittävää osaa yhteiskuntatieteiden johtavissa julkaisuissa julkaistuista tutkimustuloksista ei saatu toistettua, kun samaa tutkimusasetelmaa käytettiin suuremmassa kohdejoukossa². Ilmiötä vahvistaa se, että sekä tutkijat, tiedon hyödyntäjät että vertaisarvioidut tiedejulkaisut suosivat selkeitä, tilastollisesti merkitseviä tuloksia, jolloin muunlaiset tulokset jäävät julkaisematta. Julkaistavaksi valikoituu siis vain osa tutkimuksista. Ilmiö koskee myös taloustiedettä³.

Uskottavien empiiristen menetelmien käyttäminen edellyttää kohdejoukon ja kontekstin rajaamista. Tämä koskee erityisesti satunnaistettuja kokeita, joissa kokeen tekijät pääsevät valitsemaan molemmat. Tämä herättää kuitenkin kysymyksen siitä, kuinka yleistettäviä näistä rajatuista tilanteista saadut tulokset ovat. Kärjistetysti voi ajatella, että tutkimusasetelman rajaamisen tuoma uskottavuus tapahtuu sen yleistettävyyden kustannuksella.

Ongelmiin havahtuminen ei kuitenkaan tarkoita sitä, ettei laadukasta tutkimusta voisi tehdä. Tuloksista viestimisessä ja tulosten soveltamisessa tulee kuitenkin ottaa nämä rajoitteet huomioon. Yksi merkittävä viime vuosina otettu edistysaskel on vaatimus siitä, että vertaisarvioidut tutkimusartikkelit jakavat analyysissa käytetyt koodit ja (mahdollisuuksien mukaan) aineistot, jotta toinen tutkimusryhmä voi toistaa tutkimuksen.

Lisäksi satunnaistettujen koe­asetelmien osalta enenevissä määrin edellytetään sitä, että tutkimusryhmä on luonut ja julkaissut ns. etukäteissuunnitelman ennen tutkimusaineiston keräämistä ja sen analysoinnin aloittamista. Suunnitelmassa tutkimusryhmä linjaa tutkimuskysymykset ja -menetelmät etukäteen. Tämä ehkäisee sitä, että tutkimuskysymykset ja menetelmät valittaisiin sen mukaan, mikä niistä toisi suurimman vaikutuksen ja tilastollisen merkitsevyyden. Käytäntö saattaa olla yleistymässä koskemaan myös muita kuin satunnaiskokeita.

Toisin kuin muissa Pohjoismaissa, ja eroten monien muiden tieteenalojen haasteista, suomalaista koulutuksen taloustieteen tutkimusta haastavat nyt myös räjähdysmäisesti kasvaneet tutkimuskustannukset, jotka liittyvät välttämättömään datainfrastruktuuriin. Tilastokeskus ja etenkin valtion omistama tieteen tietotekniikan keskus CSC lohkaisevat merkittävän osan eri tutkimushankkeiden rahoituksesta, vaikka tutkimus olisi valtion itsensä tilaama ja rahoittama.

Taloustieteessä omaksutut pelisäännöt tekevät vasta tuloaan muilla tieteenaloilla

Tutkimusnäytön vahvuuden pohdinta on erityisen tärkeää koulutussektorilla, koska koulutuspoliittiset päätökset koskevat usein alaikäisiä haavoittuvassa asemassa olevia lapsia. Uskottavuusvallankumous loi yhdenmukaisia ymmärrettäviä pelisääntöjä taloustieteen sisäiseen keskusteluun. Akateeminen asema ja hyvin kerrotut tarinat eivät enää riitä esitetyn tiedon uskottavuuden arvioimiseksi. Koulutuksen taloustieteilijöiden ylläpitämää keskustelua vaikeuttaa kuitenkin se tosiasia, että samat pelisäännöt eivät ole levinneet Suomessa yhtä voimakkaasti muille tieteenaloille, kuten kasvatustieteelliseen koulutuksen tutkimukseen tai ministeriöiden ja virastojen virkahenkilöiden keskuuteen.

Akateeminen asema ja hyvin kerrotut tarinat eivät enää riitä esitetyn tiedon uskottavuuden arvioimiseksi.

On edelleen varsin yleistä, että tiedon käyttäjillä on hyvinkin erilaisia näkemyksiä tiedon uskottavuudesta ja siitä, mitä vaikuttavuudella tarkoitetaan. Esimerkiksi Kansallinen koulutuksen arviointikeskus (Karvi), joka vastaa koulutuksen kansallisesta arvioinnista Suomessa, on tuottanut koko historiansa aikana vain kuvailevia tuloksia koulumaailmaa koskevista ilmiöistä. Tämä ei silti ole estänyt puhetta vaikuttavuudesta ja erityyppisten politiikkasuositusten esittämistä.

Erilaisia tutkimustuloksia tulee aina arvioida kriittisesti, sillä tutkimus antaa harvoin yksiselitteisiä ja varmoja vastauksia päätöksenteon tueksi. Tutkimuspohjaisen päätöksenteon kannalta olisi tärkeää, että myös päätöksentekijät olisivat tietoisia, miten niin laadullinen kuin määrällinen tieto syntyy erilaisten tutkimusasetelmien kautta ja mikä on uskottavaa tutkimusnäyttöä.

Korkeampi vaatimustaso päätöksenteon tukena käytettävälle tutkimukselle auttaisi uskottavuusvallankumouksen käytäntöjen leviämistä laajemmalle. Merkkejä tämän kaltaisesta kehityksestä on ollut havaittavissa, sillä esimerkiksi satunnaistettujen kokeilujen käyttö eri politiikkatoimien yhteydessä on lisääntynyt viime vuosina.