Työllisyyden nostaminen vaatii systemaattista tiedon kartuttamista työllisyystoimien vaikutuksista
Työllisyyskokeilujen järjestäminen on paras tapa saada luotettavaa tietoa työvoimapoliittisten toimenpiteiden vaikuttavuudesta, mutta kokeilujen onnistuminen vaatii vaikuttavuuden arvioinnin ottamista huomioon jo suunnitteluvaiheessa. Suomessa on onnistuttu järjestämään joitakin työllisyyskokeiluja, joiden vaikutuksia on pystytty luotettavasti arvioimaan, mutta esimerkiksi kuntakokeilujen kohdalla tämä ei ole ollut mahdollista. Vaikuttavuuden arviointi vaatii tutkimusasetelman, jonka avulla työllisyyskokeiluihin osallistuvia voidaan verrata oikeaan vertailuryhmään. Systemaattinen, hyvillä tutkimusasetelmilla tehty tutkimus työllisyystoimien vaikuttavuudesta voisi auttaa työllistämään monet työttömyyden kanssa painivat ihmiset.
Työllisyysasteen nostaminen on suomalaisen talouspolitiikan keskeinen tavoite. Ei ole kuitenkaan selvää, parantavatko työllisyystoimiksi suunnitellut uudistukset lainkaan työllisyyttä, tai missä määrin toimenpiteiden hyödyt kattavat niiden kustannukset. Jotta työvoimapolitiikkaa voidaan kehittää systemaattisesti kohti sille asetettuja tavoitteita, on ensisijaisen tärkeää todentaa uskottavalla tavalla erilaisten työllisyystoimenpiteiden vaikuttavuus ja kustannustehokkuus.
Työllisyysvaikutusten arviointiin ideaaliasetelma on kokeilu, teknisemmin sanottuna kenttäkoe. Kenttäkokeessa on oltava
- selkeästi määritelty ja toteutettu käsittely eli toteuttamiskelpoinen politiikkamuutos,
- tavoite, jolle on selkeät mittarit sekä
- käsittely- ja verrokkiryhmät: toinen ryhmä kohtaa politiikkamuutoksen ja toinen ryhmä pysyy vanhan politiikan piirissä. Näiden ryhmien tulisi olla vertailukelpoisia.
Paras työkalu vertailukelpoisuuden toteuttamiseen on satunnaistaminen eli käsittely- ja verrokkiryhmien valitseminen arpomalla. Satunnaistamisen lisäksi myös luonnolliset koeasetelmat eli kvasikokeet voivat tarjota hyvän asetelman: kvasikokeissa hyödynnetään sitä, että joku ryhmä jää ilman toimenpidettä. Esimerkki kvasikokeellisesta tutkimuksesta on sääntömuutosten vaiheistamisen mahdollistama ajallinen vertailu eli muutoksen kohteena olleiden vertaileminen niihin, jotka eivät ole vielä olleet muutoksen kohteena. Olennaisinta on, että joku joukko jää vanhan politiikan piiriin vertailuryhmäksi. Muuten mm. suhdanteen aiheuttamat muutokset voidaan tulkita väärin uudistuksen vaikutuksiksi.
Työllisyystoimien vaikutuksia tulee arvioida vertailemalla niiden kohteina olevaa ryhmää ja ilman niitä jäänyttä vertailuryhmää.
Hyvä esimerkki arvioitavuuden näkökulmasta huonosta uudistuksesta oli aktiivimalli (Kyyrä ym. 2019). Aktiivimallin piiriin siirtyivät kerralla kaikki työttömät, minkä vuoksi jäljelle ei jäänyt vertailuryhmää, jonka avulla työllisyysvaikutuksia olisi voitu arvioida.
Päinvastaisen eli hyvin arvioitavan esimerkin tarjoaa perustulokoe, jossa kaikki hyvän kokeen peruselementit olivat kohdillaan – paitsi toteuttamiskelpoisuus, sillä kokeiltu malli olisi erittäin kallis koko väestöön laajennettuna. Perustulokokeessa havaittiin luotettavasti, että merkittävä rahallisten kannustimien parannus perustuloryhmässä ei tuottanut ensimmäisenä vuonna tilastollisesti havaittavaa muutosta kohderyhmän työllisyydessä (Hämäläinen ym. 2019). Etukäteen tehtyjen kannustinlaskelmien perusteella perustulokokeen olisi kuitenkin pitänyt parantaa työllisyyttä.
Keskustelemme kirjoituksessamme työllisyyspolitiikan kokeiluista ja niiden arvioinneista Suomessa. Sidomme tarkastelumme laajemmin suomalaisen vaikuttavuusarvioinnin tilaan käymällä läpi työ- ja elinkeinoministeriön (TEM), opetus- ja kulttuuriministeriön (OKM) sekä valtioneuvoston selvitys- ja tutkimustoiminnan (VN TEAS) arviointiraportteja erilaisista politiikkatoimista. Pyrimme näin havainnollistamaan, että vaikuttavuusarviointeihin liittyvät vakavat puutteet eivät koske vain työllisyyspolitiikan arviointeja vaan myös laajemmin arviointitoimintaa hallinnon eri sektoreilla.
Vaikuttavuus ja tutkimusnäytön vahvuus
Työvoimapoliittisten ja muidenkin toimenpiteiden vaikuttavuuden arvioiminen edellyttää tietoa syy-seuraussuhteista. Vaikuttavuuden määritelmä on tästä näkökulmasta yksiselitteinen, ja siitä on olemassa laaja tieteellinen konsensus. Syy-seuraussuhteen todentamisen ja mahdollisen vaikutuksen suuruuden mittaamisen lisäksi on oleellista arvioida, ovatko tutkimuksessa havaitut vaikutukset yleistettävissä tutkimuksen kohdejoukosta (esimerkiksi haastatteluun vapaaehtoisesti osallistunet pitkäaikaistyöttömät) laajempaan joukkoon henkilöitä (esimerkiksi kaikki pitkäaikaistyöttömät).
TYÖVOIMAPOLIITTISTEN TOIMENPITEIDEN ARVIOINTI EDELLYTTÄÄ SYY–SEURAUSSUHTEIDEN TODENTAMISTA JA VAIKUTUSTEN YLEISTETTÄVYYTTÄ.
Käytännössä työvoimapoliittisten toimenpiteiden syy-seuraussuhteiden määrittämiseen käytetään tilastollisia menetelmiä ja kokeellista tai ei-kokeellista tutkimusaineistoa. Vaikuttavuusarvioinnissa syntyvän tiedon uskottavuus riippuu pitkälti siitä, kuinka vahvan tutkimusasetelman ympärille itse arviointi rakentuu. Tutkimuskirjallisuus on pyrkinyt kuvaamaan syy-seuraussuhteita koskevan tiedon uskottavuutta kootusti erilaisia tiedonhierarkioita käyttäen. Näin tutkimustiedon käyttäjillä on mahdollisuus puntaroida käytettävissä olevan tiedon uskottavuutta jäsennetyllä tavalla.
Esitämme seuraavaksi yhden tavan luokitella erityyppisiä tutkimusasetelmia niiden tuottaman tutkimusnäytön vahvuuden mukaan. Luokitus pohjautuu pitkälti aikaisempaan tutkimuskirjallisuuteen tieteellisistä menetelmistä (Maryland Scientific Method Scale; ks. Farrington et al. 2002). Emme väitä, että tämä olisi ainoa ja oikea tapa koota tutkimusnäyttöä tutkimuksessa syntyvän tiedon vahvuuden mukaan. Alla esitettävän hierarkian tarkoitus on toimia keskustelumme tukena, kun arvioimme, kuinka luotettavia tutkimustuloksia työvoimapoliittisten toimenpiteiden vaikuttavuudesta Suomesta löytyy päätöksenteon pohjaksi ja kuinka hyvällä tasolla Suomessa tehtävä vaikuttavuusarviointi yleisesti on.
Taulukossa 1 esiteltävä luokittelu tutkimusnäytön vahvuudesta voidaan tiivistää muutamaan keskeiseen perusperiaatteeseen vertailuryhmän olemassaolosta. Syy-seuraussuhteita tutkivan tutkimusnäytön vahvuuden määrittää pitkälti se, muodostuuko toimenpiteiden kohteena olevalle joukolle uskottava vertailuryhmä. Satunnaistetussa kenttäkokeessa (taso 3) tämä muodostuu satunnaistamisen avulla ja kvasikokeellisessa tutkimuksessa politiikkamuutoksen seurauksena (taso 2). Kontrollitutkimukset taas pyrkivät rakentamaan verrokkiryhmän aineistosta (taso 1). Haastatteluissa ja kyselytutkimuksissa ei yleensä ole vertailuryhmää, jolloin ei myöskään tehdä syy-seurausväittämiä (taso 0). On kuitenkin mahdollista, että laadulliset menetelmät yhdistetään koeasetelmiin, jolloin myös näille lähestymistavoille löytyy vertailuryhmä.
Vaikutusarvioinnin tila Suomessa
Suomalaisten ministeriöiden vaikuttavuusarvioinnin tasoa voidaan arvioida yleisellä tasolla tarkastelemalla erilaisista kokeiluista ja uudistuksista tehtyjä arviointiraportteja. Tällä tavalla saadaan kuva, kuinka luotettavasti Suomessa arvioidaan politiikkatoimien vaikutuksia tällä hetkellä ja miten käytetyt menetelmät sijoittuvat esimerkiksi edellä kuvailtuun tiedonhierarkiaan.
Tarkastelimme suomalaisen vaikutusarvioinnin nykyistä tilaa käymällä läpi saatavilla olevia TEMin, OKM:n ja VN TEASin tuottamia arviointiraportteja erilaisista uudistuksista ja politiikkatoimista. TEMin ja OKM:n raportteja käytiin läpi vuodesta 2005, VN TEAS- raportteja vuodesta 2016. Luokittelimme raportteja niissä käytettyjen aineistojen ja menetelmien mukaan ja tarkastelimme, eroaako niissä käytetty vaikuttavuuden määritelmä edellä kuvaamastamme tieteellisestä määritelmästä eli syy–seuraussuhteesta. Taulukko 2 kuvaa lyhyesti läpikäytyjen raporttien jakaumaa.
Arvioinneista laadukkaimpia ovat valtioneuvoston selvitys- ja kehitystoiminnan julkaisut, joten VN TEAS -toiminnan voidaan nähdä parantaneen vaikuttavuuden arvioinnin tasoa Suomessa. Parhaimpaan mahdolliseen tilanteeseen on kuitenkin vielä matkaa, sillä vaikuttavuustutkimuksen ihanteellisinta asetelmaa, satunnaiskoetta, ei ole käytetty yhdessäkään tarkastelluista raporteista. Tiedon hierarkiassa tasolle 2 kuuluvia kvasikokeita on käytetty, mutta ainoastaan kahdessa otoksessamme olevassa julkaisussa, joista molemmat ovat VN TEAS -raportteja.
Tilastollista samankaltaistamista on käytetty yhdessä TEMin sekä neljässä VN TEASin julkaisussa. Erilaisia regressiomalleja taas hyödynnetään yhdessä OKM:n, kolmessa TEMin ja viidessä VN TEASin julkaisussa. Loput raporteista – siis suurin osa – kuuluvat tasolle 0, eli niissä on tehty ainoastaan kyselytutkimusta, kuvailevaa tilastoanalyysiä tai laadullista tutkimusta ilman verrokkiryhmää.
Kyselyt ovat hyvin suosittuja, mutta ilman verrokkiryhmää ne eivät kerro vaikuttavuudesta.
Suomessa on laajat ja hyvät rekisteriaineistot, mutta läpikäydyissä arviointiraporteissa rekisteriaineistoja on hyödynnetty ainoastaan 18 julkaisussa eli vain 36 prosentissa tarkastelluista raporteista. Erityisen merkillepantavaa on, että OKM:n arvioinneista yhdessäkään ei ollut käytetty rekisteriaineistoja. VN TEASin ja TEMin kohdalla rekisteriaineistojen käyttö on kuitenkin yleisempää: niiden raporteista 56 prosenttia hyödyntää rekisteriaineistoja.
Kyselyiden käyttö aineiston hankinnassa on hyvin suosittua erityisesti OKM:n ja TEMin vaikuttavuuden arvioinneissa, minkä lisäksi useat raportit pohjautuvat laadulliseen aineistoon kuten haastatteluihin. Kyselyt yhdistettyinä hyvään tutkimusasetelmaan voivat toki olla hyvä tapa vaikuttavuuden arviointiin, mutta pelkkä kysely ilman verrokkiryhmää ei ole riittävä.
On huolestuttavaa, että raportit käsittävät vaikuttavuuden sanana paikoittain hyvin eri tavoin kuin se yleisesti ymmärretään empiirisessä yhteiskunnallisessa tutkimuksessa: toimenpiteen vaikuttavuudella ei välttämättä tarkoitetakaan kausaalivaikutusta johonkin toivottuun muuttujaan. Sen sijaan saatetaan puhua tavoitevapaasta arvioinnista, välillisistä vaikutuksista tai vuorovaikutteisuudesta. Selkeä vaikuttavuussuhde, jota tutkitaan määrällisesti, on määritelty vain 45 prosentissa raporteista.
Suomalaiset työllisyyskokeilut
Suomessa on aiemmin tehty joitakin työllisyyskokeiluja, joita on kyetty arvioimaan asiallisesti. Böckerman ja Kanninen (2013) tiivistävät matalapalkka-aloihin Suomessa kohdistettujen kokeilujen vaikutuksia uskottavasti arvioivan kirjallisuuden.
Eräässä kokeilussa sovittiin työmarkkinaosapuolten kesken 1990-luvun puolivälissä vähimmäispalkkoihin poikkeuksia (Saari 1996). Vuosina 1993–1995 oli mahdollista maksaa työehtosopimuksessa sovittua taulukkopalkkaa alhaisempaa palkkaa alle 25-vuotiaille nuorille. Tämän kokeilun avulla Böckerman ja Uusitalo (2010) arvioivat uudistuksen vaikutukset työllisyyteen, keskittyen kaupan alaan. Kaupan alaa koskevan sopimuksen perusteella alle 25-vuotiaille oli mahdollista maksaa 60–80 prosenttia työehtosopimuksessa määrätystä alimmasta taulukkopalkasta. Kokeilussa todelliset palkat alenivat käsittelyryhmässä noin prosentin. Tulosten valossa kokeilulla ei ollut tilastollisesti merkitseviä vaikutuksia työllisyyteen, mikä on sopusoinnussa kokeilun pienen keskimääräisen palkkavaikutuksen kanssa.
Vuonna 2006 Suomessa aloitettiin matalapalkkatukikokeilu. Yli 54-vuotiaat täysiaikaista työtä 900–2000 euron palkalla tekevät työntekijät kelpuutettiin viisi vuotta kestäneeseen kokeiluun. Tuki suunnattiin työnantajille ja riippui palkan tasosta, ollen suurimmillaan 16 prosenttia bruttopalkasta ja 13 prosenttia työn reformia edeltäneistä kokonaiskustannuksista. Työntekijää kohden tuki oli suurimmillaan 220 euroa/kk. Kokeilu tarjosi hyvän tutkimusasetelman. Huttunen ym. (2013) tutkivat sen vaikutuksia palkkoihin, työtunteihin ja työllisyyteen. He havaitsivat, että matalapalkkatuki ei lisännyt työllisyyttä tuen kohderyhmässä. Lisäksi osa osa-aikaisista työntekijöistä siirtyi täysiaikaisiksi. Kuukausipalkat nousivat, mutta tuntipalkat laskivat.
Kuntakokeilujen vaikuttavuutta ei ole arvioitu tai niillä ei ole todettu olleen työllisyysvaikutuksia.
Korkeamäki ja Uusitalo (2008) sekä Korkeamäki (2011) ovat analysoineet Lapin ja Kainuun yritysten alueellisen sosiaaliturvamaksuvapautuksen vaikutusta työllisyyteen, palkkasummaan ja voittoihin sekä tarkastelleet näissä yrityksissä työskennelleiden tuntipalkkoja. Alueellinen kokeilu toteutettiin vuosina 2003–2005. Sitä jatkettiin vielä vuoteen 2009 ja uudestaan 2012 asti. Sosiaaliturvamaksuja pudotettiin siten, että vaikutus oli noin 3–6 prosenttia yritysten palkkasummasta. Kokeilu kokonaisuudessaan ei vaikuttanut palkkoihin eikä työllisyyteen.
Suomessa on järjestetty myös kaksi työnhakuavustukseen liittyvää satunnaiskoetta, 1996 alkanut Työhön-ohjelma sekä 1999 alkaneet työnhakuavustusohjelmat. Näillä ei ollut työllisyysvaikutuksia (Hämäläinen ym. 2008). Hämäläinen ym. (2008) vertailivat satunnaiskokeella saatuja tuloksia kaltaistamismenetelmillä saatuihin näistä kokeiluista, ja havaitsivat, että kaltaistamisessa syntyy harhaa. Näin käy etenkin Työhön-ohjelman kohdalla, jossa käsittely- ja kontrolliryhmät arvottiin vapaaehtoisten osallistujien joukosta.
Kuntakokeilut
Vuosina 2012–2015 ja 2017–2018 järjestetyt työllisyyden kuntakokeilut ovat esimerkkejä tuoreista kokeiluista, joista olisi voinut saada tärkeää tietoa julkisten työvoimapalvelujen alueellistamisen vaikutuksista, mutta tutkimusasetelma jäi puuttumaan eikä arviointia ollut suunniteltu ennen kokeilujen aloittamista. Kuntakokeilut olivat laajoja ja kalliita järjestää: ensimmäiseen kokeiluun osallistui 61 kuntaa ja myönnetyt määrärahat olivat kymmeniä miljoonia euroja. Toiseen kokeiluun osallistui 23 kuntaa ja panostukset olivat merkittäviä: esimerkiksi Pirkanmaan kokeilun tapauksessa on puhuttu 5–10 miljoonan euron kustannuksesta.
Ensimmäisessä kuntakokeilussa toimijoiden rooli ei muuttunut, mutta kunnat tarjosivat TE-toimistojen rinnalla palveluita. Kuntien palveluihin kuului muun muassa yritysyhteistyö, opinnollistaminen, sosiaali- ja terveyspalvelut, kuntoutuspalvelut sekä ohjaus (Arnkil ym. 2015). Vuosien 2012–2015 kuntakokeilua on käsitelty ainoastaan Arnkilin ym. (2015) seurantatutkimuksessa, mutta kyseisessä raportissa ei pyritty analysoimaan kokeilun vaikuttavuutta, vaan kokeilua tutkittiin kuvailevien tilastojen sekä laadullisen tutkimuksen avulla.
Vuosina 2017–2018 järjestetty jälkimmäinen kokeilu oli nimeltään työvoima- ja yrityspalveluiden alueellinen kokeilu. Siinä julkisten työvoimapalveluiden järjestämisvastuuta siirrettiin osittain kunnille, jolloin osa TE-toimistojen asiakkaista siirtyi kuntien asiakkaaksi. Kokeiluun osallistui 23 kuntaa, jotka kuuluivat viiteen kokeilualueeseen. Kokeilun virallinen raportti (Annala ym. 2019) ei pyrkinyt arvioimaan kokeilun vaikutuksia, mutta kokeiluun liittyen on tehty kaksi alueellista arviointia Pirkanmaalla ja Varsinais-Suomessa. Pirkanmaan työllisyyskokeilun raportissa (Arnkil ym. 2019) vertailtiin Pirkanmaan kokeiluun osallistuneita kuntia kaltaistamalla saatuihin verrokkikuntiin, ja siinä ei löydetty kokeilulle tilastollisesti merkitsevää vaikutusta työttömyysasteeseen. Varsinais-Suomen kokeilun analyysissä (Ylikännö ym. 2019) ei myöskään löydetty työllisyysvaikutuksia.
Yhteenveto
Työllisyyskokeilujen järjestäminen on erinomainen tapa saada tietoa työllisyyspolitiikan tueksi. Tämä kuitenkin edellyttää kokeilujen järjestämistä niin, että muodostuu uskottava tutkimusasetelma, joka mahdollistaa toimenpiteiden jälkikäteisarvioinnin. Sama pätee kaikkiin muihinkin yhteiskunnallisiin kokeiluihin ja uudistuksiin. Vertailuryhmän olemassaolo on välttämätöntä, jos halutaan oppia, mikä vaikutus politiikkatoimella on ollut haluttuun tulemaan.
Vaikuttavuuden arvioinnin tasoa on mahdollista parantaa Suomessa huomattavasti, sillä havaintojemme mukaan ministeriöiden koordinoimien arviointien laatu ei ole vielä sillä tasolla millä se voisi olla. On tosin todettava, että VN TEAS -toiminta on parantanut julkisen sektorin tuottamaa vaikuttavuuden arviointia. Suosittelemme, että Suomessa alettaisiin käymään entistä laajempaa keskustelua julkisen sektorin tilaamien arviointiraporttien laadusta ja siitä, kuinka uskottavaa ja käyttökelpoista tietoa nämä onnistuvat tuottamaan päätöksenteon tarpeisiin.
Vaikuttavuuden määritteleminen vaatii myös tarkkaavuutta ministeriöiden organisoimilta ohjausryhmiltä. Vaikuttavuuden arvioinnilla tarkoitetaan vain ja ainoastaan kausaalivaikutuksen tutkimista, eikä vaikuttavuudesta tulisi puhua muissa tapauksissa. Ilman tutkimusasetelmaa saadut havainnot eivät kerro vaikuttavuudesta, vaan ne ainoastaan kuvaavat muuttujien välisiä yhteyksiä.
Vaikka kaikista toimenpiteistä ei välttämättä edes ole mahdollista tehdä määrällistä vaikuttavuuden arviointia, niin työllisyyskokeilujen kohdalla sen pitäisi olla mahdollista. Kokeilukulttuurista ja pilottihankkeista puhutaan Suomessa paljon, mutta pelkkä kokeileminen ei kuitenkaan itsessään riitä, vaan tärkeänä osana kokeilemiseen kuuluu arviointi, jonka suunnittelu pitäisi aloittaa jo ennen kokeilua.
Kirjoittajat
- Ohto Kanninen
- johtava tutkija
- Puh. +358-41 513 7175
- ohto.kanninen@labore.fi
- Tutkijaprofiili
- Hannu Karhunen
- tutkimusohjaaja
- Puh. +358-40 940 2779
- hannu.karhunen@labore.fi
- Tutkijaprofiili
Jeremias Nieminen
apulaistutkija
PALKANSAAJIEN TUTKIMUSLAITOS
jeremias.nieminen at labour.fi
Viitteet
1 Samankaltaistamisella tarkoitetaan verrokkiryhmän rakentamista tilastoaineistoista niin, että verrokkiryhmän taustamuuttujien arvot ovat mahdollisimman samankaltaisia käsittelyryhmän kanssa.
2 Erot eroissa -menetelmä (DID) perustuu käsittely- ja verrokkiryhmän kehityksen erotuksen muutoksen tarkasteluun: ilman kokeilua erotuksen oletettaisiin pysyvän vakiona, joten erotuksen muutos kertoo kokeilun vaikutuksen.
3 Regressioepäjatkuvuusmenetelmässä (RD) tulemia verrataan käsittelyyn valitsemisessa käytetyn rajan läheisyydessä, ja katsotaan, tuleeko käsittelyn alkamisen kohdalle epäjatkuvuuskohta.
Kirjallisuus
Annala, M. & Hokkanen, L. & Laasonen, V. & Pyykkönen, J. & Ranta, T. & Sarkia, K. & Valtakari, M. (2019), Työvoima- ja yrityspalvelujen alueellisten kokeilujen toiminta- ja arviointitutkimus, Valtioneuvoston selvitys- ja tutkimustoiminnan julkaisusarja 1/2019.
Arnkil, R. & Spangar, T. & Jokinen, E. & Tuusa, M. & Pitkänen, S. (2015), Kokonaisvoimavarat käyttöön työllisyyden edistämisessä. Työllisyyden kuntakokeilun (2012–2015) seurantatutkimuksen loppuraportti, Työ- ja elinkeinoministeriön julkaisuja 47/2015.
Arnkil, R. & Spangar, T. & Jokinen, E. (2019), Kohti laajaa ja ihmisläheistä työvoimapalvelujen ekosysteemiä. Pirkanmaan työvoima- ja yrityspalveluiden alueellisen kokeilun tutkimus, Tampereen kaupunki, Tutkimukset 1/2019.
Böckerman, P. & Kanninen, O. (2013), Matalapalkkatyön kysyntä ja tarjonta Suomessa, teoksessa Valtioneuvoston kanslia: Matalapalkkatyö Suomessa, Valtioneuvoston kanslian raporttisarja 1/2013, 8–25.
Böckerman, P. & Uusitalo, R. (2009), Minimum Wages and Youth Employment: Evidence from the Finnish Retail Trade Sector, British Journal of Industrial Relations, 47, 388–405.
Card, D. & Kluve, J. & Weber, A. (2018), What Works? A Meta-Analysis of Recent Active Labor Market Program Evaluations, Journal of European Economic Association, 16, 894–931.
Crepon, B. & Duflo, E. & Gurgand, M. & Rathelot, R. (2013), Do Labor Market Policies have Displacement Effects? Evidence from a Clustered Randomized Experiment, Quarterly Journal of Economics, 128, 531–580.
Crepon, B. & van den Berg, G. (2016), Active Labor Market Policies, Annual Review of Economics, 8, 521–546.
Farrington, D.P. & Gottfredson, D.C. & Sherman, L.W. & Welsh, B.C. (2002), The Maryland Scientific Methods Scale, teoksessa Farrington, D.P. & MacKenzie, D.L. & Sherman, L.W. & Welsch, B.C. (Eds.): Evidence-Based Crime Prevention, London: Routledge, 13–21.
Huttunen, K. & Pirttilä, J. & Uusitalo, R. (2010), Matalapalkkatuki: hyvä idea, mutta ei toimi käytännössä, Työpoliittinen Aikakauskirja, 1/2010, 53–59.
Hämäläinen, K. & Uusitalo, R. & Vuori, J. (2008), Varying Biases in Matching Estimates: Evidence from Two Randomized Job Search Training Experiments, Labour Economics, 15, 604–618.
Hämäläinen, K. & Kanninen, O. & Simanainen, M. & Verho, J. (2019), Perustulokokeilun ensimmäinen vuosi, VATT muistiot 56.
Korkeamäki, O. & Uusitalo, R. (2009), Employment and Wage Effects of a Payroll-Tax Cut: Evidence from a Regional Experiment, International Tax and Public Finance, 16, 753–772.
Korkeamäki, O. (2011), The Finnish Payroll Tax Cut Experiment Revisited, VATT Working Papers 22.
Kyyrä, T. & Naumanen, P. & Pesola, H. & Uusitalo, R. & Ylikännö, M. (2019), Aktiivimallin vaikutukset työttömiin ja TE-toimistojen toimintaan, VATT tutkimukset 189.
Lundin, M. & Skedinger, P. (2006) Decentralization of active labor market policy: The case of Swedish local employment service committees. Journal of Public Economics, 90, 775–798.
Mergele, L. & Weber, M. (2020), Public Employment Services under Decentralization: Evidence from a Natural Experiment, Journal of Public Economics, 182, 104–113.
Saari, E. (1996), Joustoilla työtä? Työsopimuslain poikkeus ja sopimus nuorten työllistymisedellytysten parantamiseksi – helpottuiko pitkäaikaistyöttömien ja nuorten työhön pääsy? Työministeriö, Työpoliittinen tutkimus No. 139.
Ylikännö, M. & Naumanen, P. & Jonker–Hoffrén, P. & Retulainen, O. & Viljanen, M. (2019), Se on kyl mission impossible – Alueellisella työvoima- ja yrityspalvelukokeilulla hallinnonrajat ylittäviä, kustannusvaikuttavia ja asiakaslähtöisempiä työllisyyspalveluja, Turun kaupunkitutkimusohjelma, Tutkimusraportteja 2/2019.
