Tiedeyhteisö on itsensä tiukin kriitikko

Tutkijoita moititaan milloin vääristä tutkimusaiheista ja epämieluisista tuloksista, milloin aktivismista tai oman edun tavoittelusta. Joskus moitteissa on perääkin. Kukaan tai mikään ei ole erehtymätön. Tiedeyhteisö pyrkii kuitenkin havaitsemaan omat puutteensa itse. Tutkimuksia ruoditaan ja arvioidaan niin monin tavoin, että yhtä systemaattista ja syvälle menevää itsereflektiota on vaikea löytää miltään muulta inhimillisen toiminnan alueelta.

Tunnetun sanonnan mukaan tiede on itseään korjaavaa: se etsii, löytää ja korjaa vikoja itsessään. Sanonnassa on perää, mutta nykyisessä tilanteessa pelkästään julkaistavan tutkimuksen määrä on niin valtava, että tutkimuksella on vaikeuksia pysyä itsensä perässä.  Kysymys ei ole kuitenkaan vain määrästä vaan tieteen luonteesta. Tiede kiiruhtaa itsensä edellä. Wilhelm Von Humboldt kuvasi 1800-luvun alkupuolella tiedettä todeten, että sitä ”lakkaamatta etsitään jonakin ei vielä täysin löydettynä eikä koskaan täysin selville saatuna asiana”. Aikoinaan keskeneräiseksi jääneestä tekstistä on historian kuluessa muodostunut yksi sivistysyliopistoa puolustavista klassikoista, jossa opetus ja tutkimus yhdistetään, argumentoidaan tutkimuksen itsenäisyyden puolesta ja vastustetaan valtion puuttumista tutkimustoimintaan.

Tieteen itsereflektion kannalta lainauksen sanomassa on oleellista tunnistaa ja tunnustaa, että tiede ja tutkimus muuttuvat ja kulkevat useisiin suuntiin jatkuvasti. Jos kuvitellaan, että nyt tiedämme tarkasti ja selvärajaisesti, mitä tiede ja tutkimus täsmälleen ovat, ne ovat jo löytäneet uusia uria ja kenties hylänneet vanhoja. Liian kirjaimellisesti otettuna ajatus saattaa johtaa tieteen romantisointiin, sillä tutkimusta tehdään pitkälti myös toistaen hyviksi havaittuja menetelmiä, ja usein erinomainen tutkimus vain vahvistaa oletukset. Isossa kuvassa oman toiminnan puntarointi tulee kuitenkin aina välttämättä myöhässä, siitäkin syystä, että uusi tieto itsestä tai itseymmärryksen kehittyminen muuttaa ymmärryksen kohdetta, tässä tapauksessa tiedettä.

Tiedeyhteisö on järjestäytynyt siten, että mitä vaikutusvaltaisempi jokin tutkimus on ja mitä laajemmalle se leviää, sitä ankaramman tarkastelun se käy läpi.

Tiedeyhteisö on järjestäytynyt siten, että mitä vaikutusvaltaisempi jokin tutkimus on ja mitä laajemmalle se leviää, sitä ankaramman tarkastelun se käy läpi. Myös tutkimusprosessit ja -instituutiot, tiedeviestintä sekä tiedepolitiikka ja yhteiskunnallinen vaikuttavuus ovat jatkuvan tutkimusperusteisen arvioinnin ja kriittisen keskustelun kohteita. Tiedeyhteisössä tällainen toiminta on institutionalisoitu. Se on jatkuvaa ja monimuotoista, toisinaan keskustelu on jopa kiivasta.

Tieteen tiede

Millä eri tavoin tiede ja tutkijat arvioivat toimintaansa? On ainakin kolme tasoa: tiede reflektoimassa toimintaansa instituutiona, tutkijat arvioimassa toisten tutkijoiden työtä ja tutkija arvioimassa omaa toimintaansa osana tiedeyhteisöä ja yhteiskuntaa.

Ensimmäisenä ja ilmeisimpänä esimerkkinä voidaan mainita pääosin humanistis-yhteiskuntatieteelliset tutkimusalat, joita voidaan kutsua myös yhteisnimellä tieteen tutkimus. Tällaisia aloja ovat muun muassa tieteen filosofia, tieteen sosiologia ja tieteen historia. Tiedettä tutkitaan kuitenkin monilla muillakin aloilla, mainittujen lisäksi muun muassa psykologiassa ja taloustieteissä. Tutkimuksen kohteena ovat tieteelliset metodit, tieteen demarkaatio- eli rajanvetokriteerit, tieteellinen edistys ja innovaatioprosessit, epäonnistumiset ja huijaukset, tiedejulkaisemisen ilmiöt, tutkijanurat, tutkimusetiikka sekä tieteen vaikutus demokratiaan, talouteen ja sivistykseen.

Toisin sanoen tieteessä tutkitaan tieteellisiä käytäntöjä, ongelmia ja oivalluksia kaikilla tieteen harjoittamisen tasoilla. Mainittakoon, että Suomessakin toimii tieteen ja teknologian tutkimuksen seura, Finnish Society for Science and Technology Studies, joka julkaisee avoimesti luettavaa alan kansainvälistä lehteä Science & Technology Studies. 

Tieteen tutkimuksen historia on pitkä ja määrä laaja. Olisi anakronistista liittää Aristoteles suoraan nykyaikaisen tieteen tutkimukseen, mutta hän analysoi tiedon lajeja ja hankintatapoja, ja hänen vaikutuksensa, kuten monien muiden satoja tai tuhansia vuosia sitten eläneiden filosofien vaikutus, on ollut valtava tieteille ja tieteen tutkimukselle. Nykyään osa tieteen tutkimuksen kirjallisuudesta on löytänyt tiensä myös tieteestä käytävään valistuneeseen kansalaiskeskusteluun. Tunnetuimpia nykyajan klassikoita ovat muun muassa Thomas Kuhnin The Structure of Scientific Revolutions, Tony Becherin Academic Tribes and Territories, Robert K. Mertonin Sociology of Science, Bruno Latourin ja Steve Woolgarin La Vie de laboratoire sekä Helen Longinon Science as Social Knowledge.

Tutkimuskirjallisuuden luetteloa voisi jatkaa ties kuinka paljon, mutta oleellista on huomata, että klassikkoasemastaan huolimatta tai juuri sen vuoksi mainitut teokset ovat asettuneet kritiikin ja arvioinnin kohteeksi. Kriittisten kommentaarien määrä on suuri samoin kuin on näiden teosten oivalluksia eteenpäin kehittävän kirjallisuuden massa. Myös tieteen tutkimuksen kriittinen ja jalostava prosessi on jatkuvaa.

Mainittakoon eräs henkilökohtaisista tieteen tutkimuksen suosikkiartikkeleistani: Paul E. Smaldinon ja Richard McElreathin artikkeli Natural Selection of Bad Science. Tässä tutkimuksessa päädytään esittämään, että erityisesti tieteen julkaisukäytännöistä on seurannut rakenteellisia ongelmia, jotka johtavat ongelmiin jopa metatutkimuksissa eli tutkimuksissa, joissa tarkastellaan useita tiettyyn tutkimusongelmaan keskittyneitä artikkeleita ja tehdään tuloksista yhteenveto. 

En mene artikkelin yksityiskohtiin. Se on julkaistu avoimesti ja jokainen voi sen vapaasti lukea. Mainitsen artikkelin tässä yhteydessä erityisesti siksi, että siitä on julkaistu myös replikaatio, eli toiset tutkijat ovat toistaneet tutkimuksen tarkistaakseen sen tulokset. Toistetun tutkimuksen perusteella artikkeliin tehtiin pieni korjaus. 

Tämän mainitseminen on merkittävää siksi, että tiede, erityisesti kokeelliset tieteet ovat kohdanneet viime vuosina niin sanotun toistettavuuskriisin. On käynyt ilmi, että monien aikaisemmin tehtyjen tutkimusten tuloksia ei ole pystytty toistamaan. Tiedeyhteisö on reagoinut tähän muun muassa perustamalla projekteja, joissa systemaattisesti toistetaan aikaisemmin julkaistuja tutkimuksia mahdollisimman tarkasti samoja menetelmiä ja aineistoja käyttäen tai toistaen kokeita mahdollisimman tarkasti samalla tavalla kuin ne alkuperäisessä tutkimuksessa tehtiin. Jos mahdollista, toisto tehdään yhteistyössä alkuperäisen tutkimuksen julkaisseiden tutkijoiden kanssa. Tiede siis tutkii itseään myös toistamalla tutkimuksia.

Tiedejulkaiseminen arvioinnin kohteena

Tiedejulkaiseminen eli tieteellisten artikkeleiden tai monografioiden (eli artikkelia laajempien yhtenäisten teosten) julkaiseminen on keskeinen tieteellinen aktiviteetti, jopa tieteellisyyden keskeinen vaatimus. Tieteellistä julkaisemista seurataan ja tutkitaan kansainvälisesti ja kansallisesti.

Suomessa tutkijoiden julkaisutoiminnasta on poikkeuksellisen hyvät tiedot, sillä tutkimusorganisaatiot keräävät informaatiota kaikista tutkijoidensa julkaisuista.

Suomessa tutkijoiden julkaisutoiminnasta on poikkeuksellisen hyvät tiedot, sillä tutkimusorganisaatiot keräävät informaatiota kaikista tutkijoidensa julkaisuista: muun muassa julkaisutyypeistä (yleistajuinen, vertaisarvioitu, artikkeli tai monografia jne.), kielestä ja siitä, ovatko julkaisut avoimia eli kenen tahansa ilmaiseksi luettavissa. Tiedot tallennetaan Virta-julkaisutietopalveluun, josta ne ovat kaikkien saatavilla. Tiedoista käy ilmi muun muassa se, minkälaisia julkaisuja tutkijoilla on, missä julkaisukanavissa ja kuinka paljon.

Virta-palvelu on opetus- ja kulttuuriministeriön hallinnoima, tieteen tietotekniikan keskuksen CSC:n ylläpitämä korkeakoulujen valtakunnallinen tietovaranto. Tutkijoiden julkaisutietojen lisäksi sinne kerätään tietoa muun muassa opintosuorituksista ja korkeakoulujen henkilöstömääristä eri aloilla. Virta-palvelut ovat avoimia ja kaikki voivat hakea sieltä tietoa vapaasti. Toisin sanoen tietovaranto tarjoaa valtavasti informaatiota tieteen ja tutkimuksen resursseista, niiden jakautumisesta ja julkaisutoiminnasta. Palvelua käytetäänkin hyväksi muun muassa kotimaisen tutkimuksen arvioinnissa.

Erinomaisen yhteenvedon kotimaisesta julkaisutoiminnasta tarjoaa Julkaisufoorumin itsearviointiraportti. Julkaisukanavien laatuluokituksen ylläpitämisestä parhaiten tunnettu Julkaisufoorumi tuottaa lisäksi paljon tutkimusta ja informaatiota tiedejulkaisemisesta niin Suomessa kuin muualla.

Tiedejulkaisemiseen liittyy tietenkin myös ehkä tunnetuin tieteen sisäisen arvioinnin muoto: vertaisarviointi. Yksinkertaistettuna se tarkoittaa sitä, että tutkimusalan asiantuntijat arvioivat tieteelliseen julkaisukanavaan tarjotun artikkelin tai monografian tieteellistä tasoa ja usein myös sen uutuusarvoa ja sopivuutta julkaisukanavan profiiliin. Julkaisukanavan toimitus tekee päätöksen tarjotun artikkelin tai kirjan julkaisemisesta vertaisarviolausuntoihin perustuen, mutta voi ottaa myös niistä poikkeavan kannan. Julkaisua edeltävän portinvartijavertais­arvioinnin ongelmista ja hyödyistä käydään jatkuvaa keskustelua ja siitä tehdään tutkimusta. 

Onkin syytä pitää mielessä, että tärkein vertaisarviointi tapahtuu vasta, kun tutkimusartikkeli tai -kirja on julkaistu. Kirjoitin aiheesta tarkemmin Janne Pölösen kanssa artikkelissa Mitä on jatkuva vertaisarviointi – erityisesti humanistisissa ja yhteiskuntatieteissä. Pähkinänkuoressa julkaisemisen jälkeinen vertaisarviointi tarkoittaa sitä, että koska julkaisemisen myötä koko tiedeyhteisö voi perehtyä tutkimukseen, kriittisten silmien määrä kasvaa valtavasti. Tässä vaiheessa vertaisarviointi voi tarkoittaa esimerkiksi kriittisten kommenttiartikkeleiden julkaisemista tai tutkimuksen toistamista edellä mainittuun tapaan. Toisinaan julkaisemisen jälkeinen vertaisarviointi johtaa artikkelin takaisinvetoon, jos siinä on havaittu merkittäviä ongelmia. 

On myös olemassa erityisiä verkkoalustoja, esimerkiksi PubPeer, joilla julkaisemisen jälkeistä vertaisarviointia on pyritty systematisoimaan ja tekemään näkyväksi. Tällaisen toiminnan kanssa linjassa on myös artikkeleiden takaisinvetoja seuraava ja rekisteröivä Retraction Watch -palvelu, josta voi tarkistaa, onko jossain tutkimusjulkaisussa havaittu sellaisia ongelmia, että se on vedetty takaisin.

Tieteessä on myös yleistynyt käytäntö, että tutkimuskäsikirjoitukset asetetaan julkisiksi erilaisissa palveluissa ennen tieteellisessä lehdessä julkaisemista. Näin niistä saadaan enemmän palautetta. Samoin on yleistynyt niin sanottu tutkimusten esirekisteröinti, joka tarkoittaa tutkimussuunnitelman tai siihen liittyvän informaation tallentamista julkiseen palvelimeen aivan tutkimuksen alkuvaiheessa. Tämä voi auttaa kirjoittajia saamaan kriittisiä kommentteja työn alkuvaiheessa tai sitten havaitsemaan muutoksia alkuperäisten suunnitelmien ja lopullisen toteutuksen välillä. (Jokin suunnitelman osuus saattaa esimerkiksi osoittautua mahdottomaksi toteuttaa.) Molemmissa tapauksissa tieteen sisäinen silmä arvioi työtä. 

Mainittu Retraction Watch ylläpitää myös listaa tieteellisistä lehdistä (Hijacked Journal Checker), jotka imitoivat olemassa olevaa aitoa tieteellistä lehteä, mutta pyrkivät vain rahastamaan kirjoittajia. Joskus kategoriaan voi kuulua myös sellaisia alkujaan tieteellisiä lehtiä, jotka on ostanut epämääräinen toimija, joka uhraa tieteelliset standardit liiketoiminnan takia.

Niin sanotut saalistajalehdet, jotka keräävät maksun artikkeleiden julkaisemisesta, mutta eivät huolehdi sen tieteellisestä vertaisarvioinnista, ovat muodostaneet ongelman tutkimukselle.

Niin sanotut saalistajalehdet, jotka keräävät maksun artikkeleiden julkaisemisesta, mutta eivät huolehdi sen tieteellisestä vertaisarvioinnista, ovat muodostaneet ongelman tutkimukselle. Niitä vastaan pyritään toimimaan ylläpitämällä listoja saalistajalehdistä. Tällaisia ovat esimerkiksi anonyymin tutkijan ylläpitämä Beall’s List ja joidenkin yliopistojen kirjastojen tilannetta seuraavat palvelut. 

Tieteen julkisuus, vaikuttavuus ja etiikka

Tutkimusyhteisössä seurataan myös kansalaisten käsityksiä tieteestä ja tutkimuksesta. Tieteen tiedotus ry julkaisee säännöllisesti Tiedebarometria, jossa tarkastellaan kansalaisten käsityksiä ja tietoja tutkimusmaailmasta. Yhdistys myöntää myös rahoitusta yleisölle suunnattuun tiedeviestintään, mutta Tiedebarometri lienee sen tunnetuin toiminnan muoto. Vastaavia tutkimuksia tehdään myös muualla maailmassa.

Suomen Akatemiassa seurataan rahoituksen vaikuttavuuden lisäksi tiedettä ja tutkimusta laajemminkin. Esimerkiksi Tieteen tila -toiminta tuottaa tilastokatsauksia ja raportteja muun muassa tutkimuksen rahoituksesta, tutkimushenkilöstä ja julkaisutoiminnasta. Tilastot antavat kuvan tutkimusjärjestelmästämme kokonaisuutena ja sisältävät myös rahoituksen ja julkaisutoiminnan kansainvälistä vertailua.

Tilastoinformaation lisäksi Tieteen tila -toimintaan kuuluu erillisraporttien julkaiseminen. Raportteja on julkaistu muun muassa tieteen yhteiskunnallisista vaikutuksista, osaamiskeskittymistä ja YK:n kestävän kehityksen tavoitteista julkaisutoiminnassa. Suomen Akatemiassa seurataan myös sen yhteydessä toimivan Strategisen Tutkimuksen Neuvoston rahoittaman tutkimuksen vaikuttavuutta.  

Suomessa seurataan tarkasti myös avoimen tieteen käytäntöjen kehittymistä. Tieteellisten seurain valtuuskunnassa toimii avoimen tieteen koordinaatio, joka avoimen tieteen käytäntöjen ja linjausten edistämisen lisäksi seuraa avoimuuden kehitystä kyselytutkimuksilla sekä eri tietolähteistä saatavilla olevaan kvantitatiiviseen informaatioon nojaten. Seurannassa tarkastellaan muun muassa julkaisemisen, tutkimusaineistojen ja oppimateriaalien avoimuutta ja avoimen tieteen edistämistapoja.

Tutkimusetiikka on oma tutkimusalansakin, mutta siihen liittyy myös käytännöllinen toiminta. Ala on valtavan laaja. Siihen kuuluu kriittisiä pohdintoja koe-eläinten käytöstä tutkimuksessa julkaisukäytäntöihin ja ansioluetteloiden laatimiseen, ohjeiden tai sääntöjen laatimista näiden perusteella ja tietenkin niiden noudattamisen seuranta. Osa kysymyksistä kuuluu lainsäädännön alaan (esimerkiksi juuri koe-eläinten käyttö), osa itsesääntelyn piiriin.

Itsesääntelyn puolella, johon kuuluu muun muassa hyvä tieteellinen käytäntö (HTK) ja tutkimusvilpin välttäminen, keskeinen toimija Suomessa on Tutkimuseettinen neuvottelukunta (TENK). Se laatii ohjeita ja antaa lausuntoja tutkimusta suorittavien organisaatioiden HTK-prosesseista sekä niissä käsitellyistä HTK-loukkausepäilyistä. TENK julkaisee myös Tutkimusetiikan barometriä, jolla selvitetään tutkijoiden tietoisuutta muun muassa HTK-ohjeesta. TENK myös kouluttaa ja neuvoo tutkijoita oman tutkimustoiminnan eettisessä arvioinnissa.   

Kansainvälinen ja paikallinen silmä

Yhdeksi itsereflektion muodoksi voidaan myös mainita kansainväliset yliopistorankingit.

Tiedeyhteisö suhtautuu niihin ristiriitaisesti. Hyviä sijoituksia saatetaan pitää esillä, mutta toisaalta saatetaan olla sitä mieltä, että ne mittaavat vääriä asioita ja että rankingit pitäisi kokonaan unohtaa. Joka tapauksessa rankingeja on monia ja ne tuottavat informaatiota, jota käytetään myös itsearviointiin.

Jos puhutaan nimenomaan tutkimuksesta, on Taiwan-ranking keskeisin. Siinä mitataan pääosin tutkimusjulkaisutoimintaa: julkaistujen artikkeleiden määrää sekä niiden saamia viittauksia ja julkaisukanavia. Muissa rankingeissa mitataan muun muassa yliopiston mainetta, tutkintomääriä, opiskelijoiden ja henkilökunnan määrän suhdetta, opiskelijoiden antamia arvioita yliopistostaan, Nobel-palkittujen tutkijoiden määrää ja yhteistyötä teollisuuden kanssa. Pelkkä sijoittuminen tietyssä rankingissa ei kerro juuri mitään. Tuloksia tulkitessa pitää tietää, miten eri rankingit muodostuvat, jotta niiden merkitystä voi arvioida kriittisesti.

Yliopistot tekevät myös itse sisäistä tutkimuksen arviointia. Nämä projektit ovat tyypillisesti suuria ja niitä tehdään tietyin väliajoin. Esimerkiksi Helsingin yliopiston edellinen arviointiraportti käsittelee vuosia 2018–2019 ja siellä on nyt alkamassa uusi arviointiprojekti. Arviointi suoritetaan alakohtaisissa paneeleissa, jotka arvioivat tutkimuksen tasoa, yhteiskunnallista vaikutusta ja tutkimusympäristöä, hallintoa, työhyvinvointia ja niin edelleen.

Tutkija arvioimassa itse itseään

On sanomattakin selvää, että yllä kuvatut institutionalisoidut tieteen itsereflektion muodot ohjaavat yksittäistä tutkijaa monella tavalla pohtimaan omaa työtään. Yksilötasolla itsereflektioon pakottavista käytännöistä voidaan mainita rahoituksen hakeminen. Se pakottaa tutkijan arvioimaan työtään ja työympäristöään erilaisista näkökulmista.

Jokainen tutkija joutuu hakemaan kilpailtua rahoitusta itselleen tai tutkimusryhmälleen. Onnistunut hakemus edellyttää hakijalta erittäin huolellista tutkimusidean ja projektin arviointia.

Esimerkiksi Suomen Akatemian rahoitushauissa tutkimussuunnitelmilla ja tietenkin hakemuslomakkeilla on määrämuoto. Niissä hakijan tulee tehdä selkoa tutkimusympäristöstä (ml. käytettävät infrastruktuurit), tutkimukseen liittyvistä riskeistä ja vaihtoehtoisista toimintavoista, yhteistyötahoista ja tutkimuseettisistä seikoista. Hakijan tulee tietenkin arvioida projektin tieteellistä vaikutusta ja suhdetta aiempaan tutkimukseen. On myös kuvattava yhteiskunnalliset vaikutukset ja esitettävä avointa saatavuutta tukeva julkaisusuunnitelma. Kansainväliset tieteen asiantuntijat arvioivat hakemukset. Arviointiprosessi on kuvattu Suomen Akatemian nettisivuilla.

Täydellisyyttä ei tule tavoitella

Olen käynyt edellä läpi luettelonomaisesti erilaisia institutionalisoituja tieteellisen toiminnan itsereflektoinnin muotoja. Mainittujen lisäksi on tietenkin muitakin muotoja, joita ei ole institutionalisoitu, virallistettu.

Kertoo paljon tieteestä ja tutkimuksesta, että kaikki yllä mainitut itsereflektion muodot – vertaisarviointi, rahoituksen kriteerit, tutkijan ja tutkimuksen arviointi, yliopistojen ja julkaisukanavien rankingit – on asetettu kriittisen tutkimuksen ja keskustelun kohteeksi. Se on tiedeyhteisön ominaisuus.

Mutta kaiken mainitun jälkeen esiin nousee helposti kysymys, miten on mahdollista, että erheitä ja jopa huijauksia kuteinkin tapahtuu?

Maailmassa tehdään valtavasti tiedettä. On selvää, ettei mikään organisaatio tai valtio pysty valvomaan tieteen tekemistä kattavasti sen tekohetkellä, jolloin väärinkäytökset tehdään.

Maailmassa tehdään valtavasti tiedettä. On selvää, ettei mikään organisaatio tai valtio pysty valvomaan tieteen tekemistä kattavasti sen tekohetkellä, jolloin väärinkäytökset tapahtuvat. Paras tapa seurata tiedekritiikkiä ja tieteen itsearviointia, pysyä mukana tieteessä ja tutkimuksessa havaituista ongelmista (ja iloista), on seurata aihetta käsitteleviä vertaisarvioituja artikkeleita, niihin perustuvaa uutisointia tai esimerkiksi tässä tekstissä mainitun Retraction Watch -palvelun blogia.

Humboldtia mukaillen voidaan sanoa, että muutokset tieteessä kulkevat aina itse­reflektiota edellä. Toiminnan ja sen seuraamisen huolellisesta suunnittelusta huolimatta itsearviointi voi tapahtua vasta jälkikäteen ja hyvä niin. 

Jos vaaditaan, että tutkijan tai tiedeyhteisön tai minkä tahansa yhteisön tulee olla perillä kaikesta eikä virheitä sallita, syntyy kyttäämisen kulttuuri ja ilmapiiri, jossa ei oteta lainkaan riskejä. Tämä tukahduttaa tieteellisen mielikuvituksen, joka on lopulta kaiken tieteen ja tutkimuksen tärkein voimavara.