Kyselytekniikan kehitys tarjoaa tutkijoille uusia mahdollisuuksia – monet vanhat ongelmat edelleen riesana
Tietotekniikan kehitys ja laaja käyttöönotto väestössä ovat mullistaneet kyselytutkimuksen. Uudet selainpohjaiset sovellukset ja nettipaneelit, eli vastaajajoukon rekrytoiminen säännöllisesti tehtäviä kyselyitä varten, ovat madaltaneet perinteisten posti- tai käyntihaastattelukyselyjen korkeista kustannuksista johtuvia käyttörajoituksia.
Tänä päivänä kyselytiedon käyttäjiä ovat käytännössä kaikki yhteiskunnalliset tahot: viranomaiset, tutkimuslaitokset ja yliopistot, yritykset, edunvalvojat, poliittiset toimijat, järjestöt ja yhdistykset, media ja niin edelleen. Tutkijan näkökulmasta kyselytekniikan kehitys on tuonut uusia mielenkiintoisia tutkimusmahdollisuuksia, kun verkkokysely-ympäristö on mahdollistanut koe- ja pitkittäistutkimusasetelmat kyselytutkimuksissa.
PERINTEISEN HAVAINTOIHIN perustuvan kyselyn ongelma yhteyksistä ja kausaalisuhteista kiinnostuneelle tutkijalle on tunnetusti se, että syy-seuraussuhteen suuntaa ei voi päätellä. Niin kutsuttuja sekoittavia tekijöitä voidaan parhaimmillaankin vain kontrolloida eli huomioida.Vain harvoin, jos koskaan, kaikkia mahdollisia sekoittavia tekijöitä voidaan mitata.
Esimerkiksi julkisesti ja yksityisesti tuotetun hyvinvointipalvelun vertaaminen kysymällä ihmisten tyytyväisyydestä on vaikeaa, sillä poliittiset arvot vaikuttavat mielikuvien kautta palvelujen tyytyväisyysarvioihin. Ihmisten poliittisia arvoja voi toki huomioida kysymällä niistä erikseen mutta kysymykset ovat yleensä hyvin yleispiirteisiä, jolloin puolestaan niiden merkitys on epäselvää ja analyyttinen ongelma siirtyy tai peräti kertaantuu.
Kyselyn koeasetelmalla eli ”kyselyeksperimentillä” tarkoitetaan sellaista kyselyä, jossa vastaajat arvotaan johonkin ennalta määriteltyyn kontrolli- tai käsittelyjoukkoon. Kyselyeksperimentin vahvuuksia ovat sekä manipuloinnin ja kontrollin mahdollistava päättelyketju yhteyden suunnasta että arpomisesta seuraava riippumattomuus. Sen ansiosta voidaan luotettavammin tehdä päätelmiä tutkitusta ilmiöstä.
Parhaimmillaan koeasetelmakyselyt lupaavatkin yhdistää kyselyjen vahvuuden, eli ulkoisen validiteetin, tai yleistettävyyden ja koeasetelman sisäisen validiteetin, eli tutkitun asian luotettavuuden. Koeasetelmakyselyllä tutkijat selvittivät, että poliittiset vinoumat palvelujen tyytyväisyydestä vaikuttavat muun muassa siten, että julkisesti tuotettujen palvelujen epäonnistumisista rangaistaan arvioissa suhteellisesti ankarammin kuin yksityisesti tuotettujen palveluiden epäonnistumisista.
Koeasetelmavariaatioita on tätä nykyä lukematon määrä, mutta yleisimpiä ovat erilaiset faktori- tai vinjettieksperimentit, conjoint-analyysit ja listaeksperimentit (eng. list experiment tai item-count technique). Karkeasti näiden käytön voi luokitella teoreettisesti tai käytännöllisesti kiinnostavien ongelmien tutkimiseen tai menetelmällisesti kiinnostavien ongelmien tutkimiseen.
Esimerkiksi niin kutsutun sosiaalisen paineen vinouman on arveltu heikentävän tavanomaisten kyselyjen luotettavuutta, koska ihmiset saattavat muunnella vastauksiaan vallitsevien odotusten mukaisiksi.
Erityisesti yhdenvertaisuuteen ja tasa-arvoon tai poliittiseen aktiivisuuteen liittyvät kyselyt ovat vaarassa tuottaa systemaattisia vinoumia: tunnetussa Yhdysvaltalaisessa tutkimuksessa arvioitiin, että jopa neljännes kyselyyn vastanneista valehtelee äänestäneensä. Kysymyksen esittäminen epäsuorasti ja vastausten vertailu tavanomaiseen kysymykseen voi kertoa, miten paljon suora kysymys luo tällaista vinoumaa.
ONGELMAKSI NOUSEE yleensä lähinnä yksittäisen koeasetelman suppeus, jonka myötä yhteys teoriaan jää helposti heikoksi ja löydösten merkittävyys vähäiseksi. Siksi yksittäisiä koeasetelmakyselyitä kiinnostavampia ovat vertailut, eli meta-analyysit, ja systemaattisesti suunnitellut koeasetelmasarjat.
Vertailemalla samanlaisia koeasetelmakyselyitä tai toistamalla perusasetelmaa ja lisäämällä tekijöitä askeleittain päästään kenties parhaiten kiinni tutkittavan ilmiön yleisyyteen ja syy-seuraussuhteisiin. Myös pitkittäistutkimukset ovat yleistyneet huomattavasti, koska vastaajat on aiempaa helpompi saavuttaa ja koska laajojen aineistojen hallinta on helpottunut aiempaa tehokkaampien tietokoneiden ja joustavien ohjelmistojen ansiosta.
Kun nämä edistysaskeleet on yhdistetty tilastollisten analyysiohjelmistojen kehitykseen, on onnistuttu tekemään merkittäviä löytöjä perustavaa laatua oleviin ongelmiin: Ruotsalais-tanskalainen tutkijaryhmä päätteli 20 pitkittäiskyselyn perusteella rakenneyhtälömallilla, että sosiaalinen eli yleinen luottamus on poliittisen luottamuksen seurausta eikä päinvastoin.
KYSELYTEKNIIKAN KEHITYS on tuonut uusia analyysikeinoja tutkijoiden käytettäväksi, mutta ne eivät kuitenkaan ole ratkaisseet kaikkia kyselytutkimusten vanhoja ongelmia.
Kyselyillä kerättyjen tietojen paikkansapitävyyteen vaikuttavat tunnetusti otos, kysymysten asettelu ja tiedonkeruutapa. Kyselyjen koeasetelmat saattavat lähinnä vaikeuttaa näistä syntyviä ongelmia ja niiden hallintaan kehitettyjen tekniikoiden käyttöä.
Otoksen edustavuutta voi edistää erilaisilla otantatekniikoilla, mutta vastaajakato, joka parhaimmillaankin on yleensä vähintään puolet otoksesta, tuo huomattavaa epävarmuutta kerättyjen tietojen edustavuudesta.
On epäselvää, missä määrin perinteinen painotus populaation tunnettujen ominaisuuksien eli esimerkiksi ikä- ja koulutusrakenteen perusteella soveltuu koeasetelmakysymysten analysointiin. Vuosikymmenten mittaan kertyneiden kokemusten ansiosta kysymysten muotoilujen vaikutus vastauksiin tunnetaan, ja monet tunnetut kysymykset ovatkin lähes yleisen standardin asemassa. Koeasetelmia varten kysymyksiä ja vastausvaihtoehtoja joudutaan kuitenkin väistämättä muokkaamaan tai jopa keksimään uusia vaihtoehtoja, mikä tuo merkittävää epävarmuutta aineistoon.
Myös nettikyselyissä käytetään suurimmaksi osaksi koeasetelmakyselyjä niiden helpon muokattavuuden vuoksi. Verkkokyselyt tapaavat kuitenkin jättää vanhimman väestönosan katveeseen, ja verkkokyselyissä on havaittu jonkin verran paperikyselyitä heikompaa aineistoa esimerkiksi korkeamman keskeytysasteen takia.
Kyselytekniikan kehitys 2010-luvulta lähtien on tuonut yhteiskuntatieteelliseen tutkimukseen ennen näkemättömiä mahdollisuuksia, jotka hyvästä syystä ovat saaneet innostuneen vastaanoton tutkijayhteisöissä. Innostuksen vallatessa alaa on kuitenkin entistä tärkeämpää muistaa lainalaisuudet, joihin uusikaan tekniikka ei tuo ratkaisua – tai joita uudet sovellukset pahimmassa tapauksessa vahingossa entisestään vain pahentavat.
Kirjallisuus
Dinesen, P. T., Sønderskov, K. M., Sohlberg, J., & Esaiasson, P. (2022), “Close (Causally Connected) Cousins?: Evidence on the Causal Relationship between Political Trust and Social Trust”, Public Opinion Quarterly, 86(3), 708–721.
Gaines, B. J., Kuklinski, J. H., & Quirk, P. J. (2007), “The logic of the survey experiment reexamined”, Political Analysis, 15(1), 1–20.
Glynn, A. N. (2013), “What can we learn with statistical truth serum? Design and analysis of the list experiment”, Public Opinion Quarterly, 77(S1), 159–172.
Sniderman, P. M. (2018), “Some Advances in the Design of Survey Experiments”, Annual Review of Political Science, 21(1), 259–275.
van den Bekerom, P., van der Voet, J., & Christensen, J. (2021), “Are citizens more negative about failing service delivery by public than private organizations? Evidence from a large-scale survey experiment”, Journal of Public Administration Research and Theory, 31(1), 128–149.
