Tietoa työvoimapalveluiden kustannusvaikuttavuudesta tarvitaan lisää

16.11.2022 Lausunnot Hannu Karhunen, Ohto Kanninen, Jeremias Nieminen

Lausunto eduskunnan tarkastusvaliokunnalle aiheesta O15/2021 vp Aktiivisen työvoimapolitiikan palveluiden kustannusvaikuttavuus

Yleistä

Aktiivisen työvoimapolitiikan kustannusvaikuttavuutta ei ole tutkittu Suomessa juuri ollenkaan. Myös kattavat tilastot työllisyyspalveluiden kustannuksista ovat hyvin puutteellisia. Onkin erittäin hyvä, että eri toimenpiteiden kustannusvaikuttavuutta on pyritty arvioimaan tarkistusvaliokunnan raportissa. Raportin tulosten tulkinnassa tulee kuitenkin olla varovainen.

Työllisyyspalveluiden kustannusvaikuttavuuden arvioiminen edellyttää, että a) palveluiden vaikuttavuus voidaan arvioida luotettavin empiirisin menetelmin ja b) palveluiden järjestämisen kustannukset ovat saatavilla tutkijoiden käyttöön. Näissä molemmissa kokonaisuuksissa on vielä Suomessa paljon tehtävää.

Työllisyyspalveluiden vaikuttavuuden tutkimiseen tarvitaan tutkimusasetelma

Mikäli tavoitteena on oppia palvelujen vaikuttavuudesta, tutkimuksella tulisi olla kunnollinen tutkimusasetelma. Tutkimusasetelman laatu vaikuttaa vaikuttavuusarvion uskottavuuteen. Erilaiset tutkimusasetelmat voidaan uskottavuutensa puolesta asettaa hierarkkiseen järjestykseen: uskottavuuden korkeimmalla tasolla ovat satunnaiskokeet, toisella kvasikokeet ja alimmalla tasolla tutkimukset, jotka perustuvat havaittavissa olevien taustamuuttujien kontrolloimiseen (ks. esim. Nieminen ym. 2020). Tutkimusraportissa käytetään menetelmänä kaltaistamista, joka vastaa käytännössä samaa kuin taustamuuttujien kontrollointi (ts. vakiointi) ja kuuluu siten uskottavuushierarkian alimmalle tasolle. Tutkimusraportissa käytetty kaltaistamismenetelmä on kuitenkin standardi tapaa arvioida aktiivisen työvoimapolitiikan toimien vaikuttavuutta, sillä parempia tutkimusasetelmia on harvoin tutkijoille tarjolla. Kaltaistamismenetelmällä saatu tieto on toki hyödyllisempää kuin ei mitään tietoa.

Käytetyn menetelmät oletukset

Raportin tulkinnassa tulee olla varovainen, sillä kaltaistamiseen pohjautuvaa asetelmaa ei pidetä nykyään kirjallisuudessa kovin luotettavana. Kaltaistaminen perustuu oletukseen, että ehdollisen riippumattomuuden oletus (conditional independence assumption, CIA) on voimassa. Tämä oletus tarkoittaa sitä, että valikoitumisesta ei aiheudu harhaa, mikäli tietyt havaittavissa olevat ominaisuudet kontrolloidaan (vakioidaan). Lisäksi menetelmä vaatii ns. common support ehdon voimassaoloa, eli samankaltaistuksessa käytetyt muuttujat eivät saa täysin ennustaa, kuuluuko henkilö käsittely- vai verrokkiryhmään (Caliendo & Kopeinig 2008).

Tulosten tulkinnasta

Raportissa käytetyn menetelmän ongelma on, että emme voi koskaan tietää, vastaako saatu tulos todellista vaikutusta vai sitä, että tutkijat eivät ole vakioineet jotain taustamuuttujaa samankaltaistuksella. Työvoimapalvelujen tapauksessa on huomattavaa, että ihmisiä ohjataan palveluihin henkilökohtaisesti arvioidun tarpeen mukaan. Eli jo lähtökohtaisesti kyseisen aktiivitoimen saaneet henkilöt ovat erilaisia kuin verrokkiryhmä. Verrokkiryhmä ei ole saanut kyseistä palvelua, koska näin on alun perin on arvioitu työvoimaviranomaisten toimesta. Tämä seikka edelleen vaikeuttaa eri toimenpiteiden vaikuttavuuden vertailun mielekkyyteen. Helposti työllistyvät ohjataan erilaisiin palveluihin kuin vaikeammin työllistyvät. Tutkijoilla on saatavilla Suomessa hyvin vähän tilastoitua tietoa siitä, kuinka työvoimaviranomaisen ohjausprosessi toimii, ja yksittäisistä toimenpiteistä ei juuri ole olemassa kokeellista tai kvasikokeellista tutkimustietoa.

Kaltaistamisen uskottavuutta vahvistaa trendien visuaalinen tarkastelu ennen toimenpidettä (ns. event study-analyysi). Näiden kuvioiden tarkoitus on näyttää, että vaikutuksia ei näy ennen palveluun menoa. Suurilta osin kuviot näyttävät siltä kuin pitäisikin, eli estimoidut vaikutukset alkavat vasta palvelun alkamisen jälkeen. Esitämme kuitenkin myös näihin kuvioihin liittyen joitakin huolenaiheita. Esimerkiksi kuntouttavan työtoiminnan analyysissä näkyy negatiivinen trendi työtuloissa ennen toimenpiteen alkamista. Jos trendi ryhmien välillä olisi jatkunut samanlaisena, tuloksena olisi suurempi negatiivinen vaikutus kuin todellisuudessa on olemassa. Vaikka samanlainen negatiiviinen työllisyysvaikutus kuntouttavalle työtoiminnalle on havaittu myös monissa aiemmissa tutkimuksissa ja selvityksissä, on vaikea sanoa, onko ko. toimenpiteellä oikeasti negatiivinen työllisyysvaikutus vai johtuuko havaittu vaikutus vain siitä, että jotain olennaista tekijää ei pystytä havaitsemaan ja siten kontrolloimaan kaltaistamista tehdessä. Trenditarkastelu ei kerro siitä, kuinka työvoimaviranomaiset lajittelevat asiakkaitaan eri toimenpiteisiin.

Arvokasta tietoa kustannuksista ja kustannusvaikuttavuudesta

Aktiivisen työvoimapalveluiden kustannusvaikuttavuudesta on tärkeää tietää politiikkaa suunnitellessa, mutta olemassa olevaa tutkimustietoa on olemassa melko vähän erityisesti Suomesta. Siksi kustannusvaikuttavuutta koskeva osuus onkin tutkimusraportin olennaisin uusi sisältö verrattuna aiempiin aktiivista työvoimapolitiikkaa käsitteleviin tutkimusraportteihin. Kustannusvaikutukset yksilölle, julkiselle taloudelle ja yhteiskunnalle on esitetty erittäin hyvin ja havainnollistavasti samassa kuvassa. Kustannustiedot ovat nähdäksemme luotettavia, mutta kustannusvaikuttavuuden laskeminen perustuu edellä kuvattujen vaikuttavuustulosten luotettavuuteen ja on näin riippuvainen niiden uskottavuudesta. Lisäksi eri toimenpiteisiin osallistuvat asiakasryhmät ovat niin erilaisia keskenään, että eri toimenpiteiden laittaminen paremmuusjärjestykseen olisi hankalaa siinäkin tapauksessa, että vaikuttavuusestimaatit olisivat luotettavia.

Tutkimusraportin kehittämissuositukset toteuttamiskelpoisia

Tutkimusraportti suosittelee kustannustietojen parempaa saatavuutta arviointikäyttöön. Tämä on erinomainen tavoite. Myös me olemme tutkimustyössä kaivanneet parempaa tietoa aktiivisen työmarkkinapolitiikan toimenpiteiden kustannuksista. Kaikki raportissa esitetyt kustannusten tilastoimiseen liittyvät toimenpide-ehdotukset ovat mielestämme erinomaisia ja toteuttamiskelpoisia.

Raportissa ehdotetaan, että palveluiden järjestäjien olisi jatkossa tarkasteltava kriittisesti niitä palveluita, joilla ei ole positiivisia kustannushyötyjä. Näin tietysti on. Samalla pitää kuitenkin muistaa varaukset liittyen raportin tutkimusasetelman luotettavuuteen. Myös ehdotus pehmeiden vaikutusten mittaamisesta on kiinnostava, mutta siihen liittyy haasteita. Tätä varten pitäisi olla olemassa joku luotettava mittari, jota käytettäisiin kaikilla alueilla.

Olemme samaa mieltä siitä, että tietoa aktivointipalvelujen kustannusvaikuttavuudesta on tarpeen saada huomattavasti enemmän. Tarvitsemme etenkin kokeellista ja kvasikokeellista tutkimusevidenssiä eri toimenpiteiden vaikuttavuudesta. Päättäjien tulisi edistää tällaisen tutkimustiedon syntyä pitkäjänteisesti.

Helsingissä 15. päivänä marraskuuta 2022

Hannu Karhunen Ohto Kanninen Jeremias Nieminen
tutkimusjohtaja johtava tutkija tohtorikoulutettava
Labore Labore Turun yliopisto

Viitteet:

Caliendo, M. and S. Kopeinig (2008). Some Practical Guidance for the Implementation of Propensity Score Matching. Journal of Economic Surveys 22 (1), 31–72.
Nieminen, J. & Kanninen, O. & Karhunen, H. (2020). Työllisyyden nostaminen vaatii systemaattista tiedon kartuttamista työllisyystoimien vaikutuksista, Talous & Yhteiskunta, 48:1, 40–45.