1. Julkaisuhaku
2. Toiminnanohjauksen kokeilu tarvitsee tutkimusasetelman

Toiminnanohjauksen kokeilu tarvitsee tutkimusasetelman

Hallituksen esitys laiksi ammatillisen koulutuksen toiminnanohjauksen kokeilusta ja eräiksi siihen liittyviksi laeiksi (VN/33727/2023)

 Esityksessä ehdotetaan, että Suomessa toteutettaisiin kokeilu ammatillisen koulutuksen toiminnanohjauksesta. Tämän lisäksi ehdotetaan uudistettavaksi ammatillisen koulutuksen rahoitusjärjestelmää sekä oppisen tukea. Keskitymme lausunnossamme kommentoimaan kokeilua ammatillisen koulutuksen toiminnanohjauksesta. 

Kokeilusta ei opita mitään ilman tutkimusasetelmaa

On erittäin kannatettavaa, että Suomessa kehitetään koulutusjärjestelmää kokeiluilla ja kokeilulainsäädäntöä käyttäen. Esityksen mukaan kokeilun tavoite on mm. selvittää, että parantaako uusi ammatillisen koulutuksen ohjausmalli koulutuksen laatua ja vaikuttavuutta. Nähdäksemme on erityisen tärkeää selvittää suunnitellun uudistuksen vaikutuksia, koska uudistuksen kohteena ovat väistämättä alaikäiset oppijat.

Kokeilu ei kuitenkaan saavuta tavoitteitaan, mikäli se toteutetaan niin, että sen vaikutuksia ei voida tutkia. Tällä hetkellä esityksestä puuttuu tutkimusasetelma. Vain tarkkaan etukäteen määritetty tutkimusasetelmaa mahdollistaa uskottavan vaikuttavuusanalyysin.

Kokeilun osallistujia ei saa missään nimessä valita ministeriön virkahenkilöiden omien käsitysten ja tuntemusten perusteella, esimerkiksi poimien omasta mielestään mukaan parhaat koulutuksen järjestäjät. Tämä on aito huolenaihe käymiemme taustakeskusteluiden perusteella. Mikäli kokeilussa toimitaan näin, niin kokeilu ei voi saavuttaa sille asetettuja tavoitteita.

Ehdotamme, että kokeilu toteutetaan tavalla, joka mahdollistaa sen vaikutusten arvioinnin luotettavin tieteellisin menetelmin. Käytännössä tämä tarkoittaa sitä, että osasta koulutuksen järjestäjistä (järjestäjä) muodostetaan koeryhmä, joka altistuu toiminnanohjaus kokeilulle ja loput koulut jätetään verrokkiryhmäksi. Arvioinnin luotettavuuden kannalta on tärkeää, että koeryhmää ei muodosteta yksinomaan sen perusteella, haluaako järjestäjä mukaan kokeiluun. Tällöin kasvaa riski siitä, että koe- ja verrokkiryhmä poikkeavat systemaattisesti toisistaan muidenkin tekijöiden kuin kokeilun suhteen, jolloin kokeilun arviointiin syntyy helposti harhaa.

Mahdollisimman luotettavan kokeiluasetelman valitseminen on perusteltua julkisten varojen käytön näkökulmasta. Ilman luotettavaa tutkimusasetelmaa, ei ole taetta siitä, että kokeilun vaikuttavuutta voidaan arvioida. Tällöin kokeilun hyödyt verrattuna siitä aiheutuviin kustannuksiin jäävät epäselviksi. Mikäli kokeilu järjestetään ilman tutkimusasetelmaa, niin tämä tulisi kirjata rehellisesti ja avoimesti esitykseen.

Neljä vaihtoehtoa

Esittelemme alla neljä tapaa kokeiluasetelman luomiseen. Vaihtoehtoiset kokeiluasetelmat ovat järjestyksessä siten, että näkemyksemme mukaan luotettavin ja toivottavin asetelma on ensimmäisenä. Listaa alaspäin mentäessä riski asetelmaan liittyvistä harhoista kasvaa ja asetelma on edeltäviin verrattuna mahdollisesti epäluotettavampi.

1. Luotettavin asetelma saadaan valitsemalla kokeiluun osallistuvat järjestäjät satunnaisesti. Järjestäjistä arvottaisiin haluttu määrä (esim. 40) koeryhmään ja loput järjestäjät toimivat verrokkiryhmänä. Tällöin varmistuttaisiin siitä, että mahdolliset harhan lähteet jakautuisivat satunnaisesti koe- ja kontrolliryhmän välille ja ryhmiä vertaamalla saadaan selville kokeilun vaikutukset. Satunnaistaminen on myös mahdollista tehdä esimerkiksi suuralueiden sisällä niin kutsuttuna ositettuna satunnaistamisena, jolloin varmistutaan siitä, että kaikki alueet tulevat edustetuiksi koe- ja verrokkiryhmissä. Vastaava ositus on mahdollista tehdä myös esimerkiksi kielen perusteella.

2. Mikäli järjestäjiä ei voida velvoittaa osallistumaan kokeiluun, tehdään satunnaistaminen kokeiluun halukkaiden järjestäjien kesken. Kokeiluun hakeneista puolet arvotaan koeryhmään ja puolet kokeiluryhmään. Tarvittaessa koeryhmään arvottavien järjestäjien määrä voidaan rajata tiettyyn lukuun. Mikäli kokeiluryhmään halutaan esimerkiksi enintään 40 järjestäjää, mutta hakemuksia on 120, niin 40 järjestäjä arvottaisiin koeryhmään ja 80 verrokkiryhmään. Ongelma tässä vaihtoehdossa saattaa olla, että koe- ja verrokkiryhmässä olevat koulut eivät edusta koko oppilaitospopulaatiota eivätkä kokeilun tulokset välttämättä yleisty kaikkiin oppilaitoksiin. Toisaalta mitä suurempi määrä oppilaitoksia kokeilussa on mukana, sitä pienempi tämä huoli on.

Edellisiin kohtiin liittyen, näemme erittäin tärkeänä, että esitykseen kirjattaisiin selkeästi, että mukaan kokeiluun otetaan enimmillään vain puolet hakeneista järjestäjistä. Tällöin, mikäli kokeiluun hakeneita on vain pieni määrä, niin poliittinen paine ottaa mukaan kaikki kokeiluun hakeneet järjestäjät, ei voi tuhota jälkikäteen mahdollista tutkimusasetelmaa.

Koe- ja verrokkiryhmien valitseminen satunnaistamalla tuottaa luotettavimman koeasetelman. Mikäli satunnaistaminen ei kuitenkaan ole mahdollista, kokeilu voidaan toteuttaa muilla tavoin, jotka mahdollistavat vaikutusarvioinnin. Alleviivaamme kuitenkin, että alla oleviin tapoihin liittyy huomattavasti enemmän mahdollisia harhanlähteitä kuin satunnaistamiseen, joka tuottaa luotettavimmat arviot kokeilun vaikutuksista.

3. Porrastetaan kokeilun käyttöönotto ajallisesti. Porrastuksen voi toteuttaa esimerkiksi niin, että vain osa kokeiluun valituista järjestäjistä aloittaa kokeilun vuonna 2026, osa 2027 ja niin edelleen. Tällöin tiettynä vuonna kokeiluun osallistuvia järjestäjiä voidaan verrata myöhemmin aloittaviin sekä verrokkiryhmän järjestäjiin.

4. Pisteytetään järjestäjät ja valitaan koeryhmä pistemäärän perusteella. Tällöin juuri ja juuri pisteiden perusteella valitut ja juuri ja juuri verrokkiryhmään jääneet järjestäjät ovat mahdollisesti keskenään vertailukelpoisia. Menetelmä vaatii tosin, että pisteytys ei voi perustua objektiivisiin mittareihin, jotka ovat manipuloitavissa järjestäjien itsensä tai virkahenkilöiden toimesta. Pisteytyksen täytyisi siis perustua objektiivisesti ja avoimesti nähtäviin mittareihin.

Mittareista

Esityksestä puuttuvat lisäksi ne tarkat määrälliset mittarit, joidenka avulla kokeilun tuloksellisuutta arvioidaan. Esimerkiksi jos tarkoituksena on mitata työllisyyttä, niin tätä koskevat mittarit on määriteltävä esityksessä tarkemmin. On eri asia puhua työllisyydestä kalenterivuoden aikana, vuoden lopussa tai mitaten työllisyyttä käyttäen ansiotuloja. On esimerkiksi hyvin epäselvää mitä tarkoitetaan ”TE24 uudistuksen toimeenpanolla” ja kuinka tätä tulisi mitata kokeilussa.

Mittarit tulisi määrittää niin, että ne pystyvät mittaamaan mahdollisimman hyvin kokeilulle asetettuja tavoitteita. Vaikuttavuusarvioinnin näkökulmasta, esitykseen olisi hyvä kirjata pääasialliset mittarit (esim. työllisyys vuoden lopussa, vuosiansiot, koulutuksen keskeyttämisriski), ja toissijaiset täydentävät mittarit (esim. etuuskäyttö, neet-riski), jotta erilaisten mittareiden määrä ja niiden välinen arvostus ei jää epäselväksi. 

Lopuksi

Suomessa on toteutettu useita kokeiluja, kuten työllisyyden kuntakokeiluja, joissa laiminlyötiin kokeilun vaatima tutkimusasetelma (ks. Nieminen ym., 2021). Suomalaisen vaikutusarvioinnin nykytila ja osaaminen eri ministeriöissä ja virastoissa on arviomme mukaan edelleen varsin heikko (ks. Kanninen ym. 2020). Toisaalta on viitteitä paremmasta, sillä satunnaistetut kokeilut ovat lisääntyneet viime vuosina. Tästä syystä onkin tärkeää, että tulevat rajatummatkin kokeilut toteutetaan mahdollisimman pitkälle luottavan tiedon tuotannon vaatimukset huomioiden.

 

Helsingissä 14. päivänä kesäkuuta 2024

Hannu Karhunen
tutkimusohjaaja
Työn ja talouden tutkimus LABORE              

Jani-Petteri Ollikainen
erikoistutkija
Työn ja talouden tutkimus LABORE

Viitteet
Nieminen, J., Kanninen, O., & Karhunen, H. (2021). Mitä työllisyyden kuntakokeiluista voidaan oppia? YHTEISKUNTAPOLITIIKKA 86 (2021):1.

Kanninen, O., Karhunen, H., & Nieminen, J. (2020). Työllisyyden nostaminen vaatii systemaattista tiedon kartuttamista työllisyystoimien vaikutuksista. T&Y 1/2020.

• Julkaisu PDF-muodossa