Voivatko taloudelliset kannustimet vaikuttaa älykkyyteen?

T&Y 1/2023 Artikkeli Santiago Hermo, David Seim, Miika Päällysaho, Jesse Shapiro

Uudet sukupolvet ovat vanhempiaan fiksumpia, ainakin loogisella päättelykyvyllä mitattuna. Muutosta on tavattu selittää parantuneella ravinnolla ja terveydellä, mutta tässä selityksessä on aukkoja. Ruotsalaista kutsunta-aineistoa hyödyntävä tutkimus viittaa siihen, että muutokset taloudellisissa kannustimissa voivat selittää ainakin osan kehityksestä.

Voivatko taloudelliset kannustimet vaikuttaa älykkyyteen?
Kuva: Hans Eiskonen

Kognitiotieteilijät ovat kauan ihmetelleet, miksi ihmisten joustava älykkyys eli looginen päättelykyky on parantunut sukupolvesta toiseen 1900-luvulla ja osin sen jälkeenkin. Tätä eri puolilla maailmaa etenkin kehittyneissä maissa havaittua ilmiötä1 kutsutaan Flynnin efektiksi (Flynn effect). Nimensä ilmiö on saanut aihepiirin parissa 1980-luvun alusta alkaen uraauurtavaa työtä tehneen älykkyystutkijan James Flynnin (1934–2020) mukaan.2 Kuvio 1­ esittää joustavien älykkyysosamääräpisteiden vuosittaisen kasvun muutamissa eri maatutkimuksissa.

Kuvio 1. Joustavan älykkyyden kehitys

Kuvio 1. Joustavan älykkyyden kehitys

Kuviossa esitetään joustavien älykkyysosamääräpisteiden vuotuinen muutos valituissa maatutkimuksissa. Tiedot perustuvat joko Pietschnigin ja Voracekin (2015, taulukko S1, ympyrät) meta-analyysiin tai tutkimuksemme kutsunta-aineistoon (kolmio). Sama maa voi esiintyä useamman kerran, mikäli soveltuvia tutkimuksia on useampia ja/tai yksi tutkimus tarkastelee useampaa kuin yhtä tutkimuspopulaatiota.

Lähde: Muokattu verkkoliitteen kuviosta 9, Hermo ym. (2022).

Ilmiö on dokumentoitu aikaisemmin ruotsalaisen kutsunta-aineiston avulla3, ja se liittyy myös muissa yhteyksissä tehtyihin havaintoihin.4

Mikä selittää joustavan älykkyyden kasvun? Kognitiotieteilijät ovat esittäneet selitykseksi esimerkiksi terveyden ja ravitsemuksen parantumista ja muita vastaavia tekijöitä, joita taloustieteilijät kutsuisivat kykyjen tarjontaa lisääviksi.5 Ajatuksena on siis se, että kun ihmiset elävät terveellisemmin, myös heidän aivonsa voivat paremmin.

On vaikea löytää todisteita niin suurista muutoksista terveydessä ja ravitsemuksessa, että ne voisivat selittää testeissä havaitun suorituskyvyn kasvun.

Todisteiden puute pistää silmään etenkin vauraissa maissa, kuten Ruotsissa, joissa on ollut jo pitkään kehittynyt talous ja terve väestö.

Nämä selitykset ovat kuitenkin osoittautuneet puutteellisiksi. On vaikea löytää todisteita niin suurista muutoksista terveydessä ja ravitsemuksessa, että ne voisivat selittää testeissä havaitun suorituskyvyn kasvun. Todisteiden puute pistää silmään etenkin vauraissa maissa, kuten Ruotsissa, joissa on ollut jo pitkään kehittynyt talous ja terve väestö. Tästä syystä Flynnin efekti on pysynyt sitkeänä arvoituksena. Eräässä arvovaltaisessa katsausteoksessa esimerkiksi todetaan, että ”[jos] ihmisälyn tutkimuksen alalla myönnettäisiin palkinto, se voisi kuulua henkilölle, joka osaa selittää Flynnin efektin…”6

Tietolähteenä kutsunnat

Hiljattain julkaistussa taloustieteellistä mallia ja Ruotsin väestöä koskevia rekisteriaineistoja hyödyntävässä tutkimuksessamme7 esitämme, että Flynnin efekti voi johtua ainakin osittain muutoksista ihmisten taloudellisissa kannustimissa. Arvioidemme mukaan noin kolmannes keskimääräisen päättelykyvyn kasvusta 13 vuoden mittaisella tarkastelujaksollamme johtuu muutoksista eri kykyjen työmarkkinatuotoissa – eli siinä, kuinka eri kykyjä palkitaan työmarkkinoilla esimerkiksi palkan muodossa. Tämän ilmiön kanssa sopii yhteen myös analyyttisesti vaativien ammattien merkityksen kasvu.

Kuviossa 2 esitämme, kuinka suorituskyky loogista päättelykykyä mittaavassa testissä on kehittynyt vuosina 1962–1975 syntyneillä ruotsalaismiehillä. Tiedot ovat peräisin testeistä, jotka tehtiin kutsunnoissa noin 18–19-vuotiaana. Koska asepalvelus oli pakollinen ja kokeet pysyivät muuttumattomina koko tarkastelujakson ajan, nämä tiedot antavat harvinaisen selkeän kuvan miesten kognitiivisten kykyjen kehityksestä väestötasolla.

Kuvio 2. Loogisen päättelykyvyn kehitys

Kuvio 2. Loogisen päättelykyvyn kehitys

Kuviossa on kunkin syntymäkohortin keskimääräinen loogisen päättelyn pistemäärä, joka ilmaistaan persentiilinä vuoden 1967 syntymäkohortin jakaumassa. Pistemäärä perustuu testeihin, jotka on tehty sotilaspalvelukseen kutsuttaessa noin 18–19-vuotiaana.

Lähde: Muokattu kuviosta I, Hermo ym. (2022).

Kuviossa näkyy loogisen päättelykyvyn jyrkkä nousu. Käyrän mukaan vuonna 1975 syntyneen keskivertomiehen testitulos oli 4,4 persentiilipistettä korkeampi kuin vuonna 1962 syntyneen. Tämä tarkoittaa 8,5 persentiilipisteen muutosnopeutta 25 vuoden sukupolvea kohden.

Varsinaisissa testituloksissa mahdollinen pistemäärä oli 0–40, minkä muutimme persentiileiksi eli jaoimme testipisteet sataan yhtä suureen osaan. Vertailukohtana meillä oli vuonna 1967 syntyneiden miesten syntymäkohortti. Näin saimme selville, miten tietyllä pistemäärällä sijoittuisi vuonna 1967 syntyneiden joukossa. Jos esimerkiksi 35 pisteellä sijoittuisi persentiiliin 95, testitulos olisi parempi kuin 95 prosentilla vuonna 1967 syntyneistä miehistä.

Taloudellisten kannustimien rooli

Tutkimuksessamme estimoimme kullekin syntymäkohortille, kuinka paljon heidän elinkaaritulonsa keskimäärin kasvaisivat, mikäli heidän joustava älykkyytensä olisi yhden persentiilin korkeampi. Kutsumme tätä joustavan älykkyyden työmarkkinatuotoksi eli elinkaaripreemioksi. Elinkaarituloilla tarkoitamme kokonaistuloja, jotka yksilö ansaitsee työuransa aikana 30–55-vuotiaana.

Jos esimerkiksi yhden persentiilin nousu päättelykyvyssä nostaisi ihmisen kuukausipalkkaa 3 000 eurosta 3 050 euroon, tästä kertyisi hänen koko työuransa aikana noin 15 600 euron eli 1,7 prosentin elinkaaripreemio.

Looginen päättelykyky on työmarkkinoilla vähemmän arvokas esimerkiksi vuonna 1973 syntyneille miehille kuin heitä kymmenen vuotta vanhemmille.

Kuviossa 3 esitämme, kuinka joustavan älykkyyden työmarkkinatuotto on muuttunut yli syntymäkohorttien. Aiempien tutkimusten mukaisesti8 havaitsimme, että tuotto laski yli kohorttien. Tämä tarkoittaa sitä, että looginen päättelykyky on työmarkkinoilla vähemmän arvokas esimerkiksi vuonna 1973 syntyneille miehille kuin heitä kymmenen vuotta vanhemmille.

Kuvio 3. Loogisen päättelykyvyn työmarkkinatuotot

Kuvio 3. Loogisen päättelykyvyn työmarkkinatuotot

Kuvio esittää estimoidun elinkaaripreemion, joka ilmaistaan ​​luonnollisina logaritmeina. Estimoimme syntymäkohorttien miehille, kuinka heidän elinkaaritulonsa keskimäärin muuttuisivat, mikäli heillä olisi yhden persentiilipisteen parempi looginen päättelykyky. Pienistä luvuista puhuttaessa logaritmipisteet ovat hyvin lähellä prosentteja, eli kuvio kertoo, että miesten elinkaaritulot kasvaisivat noin 0,4–0,5 prosenttia.

Lähde: Muokattu kuviosta I, Hermo ym. (2022).

Pelkästään kuvioiden 1 ja 3 perusteella vaikuttaisi aivan ymmärrettävältä, miksi kognitiotieteilijät ovat keskittyneet kykyjen tarjontaan vaikuttavien tekijöiden tarkastelemiseen. Kognitiivisten kykyjen tarjonnan kasvu – esimerkiksi terveyden tai ravitsemuksen paranemisen vuoksi – parantaisi keskimääräistä päättelykykyä (kuvio 1) ja pienentäisi sen markkina-arvoa (kuvio 3), hyvin pitkälti havaintojemme mukaisesti.

Asetelma kuitenkin muuttuu, kun tarkastelemme päättelykyvyn lisäksi toista kognitiivisten kykyjen ulottuvuutta. Kuvio 4 esittää sanavaraston kehittymistä tutkimissamme syntymäkohorteissa. Sanavarasto on yleinen mittari kiteytyneelle älykkyydelle tai kontekstisidonnaiselle tiedolle (domain knowledge), jonka on usein havaittu kasvaneen joustavaa älykkyyttä hitaammin tai jopa laskeneen nuoremmissa syntymäkohorteissa – kuten on tapahtunut Ruotsissa.

Kuvio 4. Sanavaraston kehitys

Kuvio 4. Sanavaraston kehitys

Kuvassa on kunkin syntymäkohortin keskimääräinen sanavarastopistemäärä, joka ilmaistaan persentiilinä vuoden 1967 syntymäkohortin jakaumassa. Pistemäärä perustuu testeihin, jotka on tehty sotilaspalvelukseen kutsuttaessa noin 18–19-vuotiaana.

Lähde: Muokattu kuviosta I, Hermo ym. (2022).

Kiteytyneen älykkyyden väheneminen viittaa siihen, että havaitsemiemme trendien taustalla on muitakin tekijöitä kuin yleinen terveyden ja ravitsemuksen kohentuminen sekä muut tarjontapuolen tekijät. Voisiko taloudellisilla kannustimilla olla merkitystä?

Kuvio 5. Suhteellisten kykytasojen ja työmarkkinatuottojen yhteiskehitys

Kuvio 5. Suhteellisten kykytasojen ja työmarkkinatuottojen yhteiskehitys

Kuvio 5 kertoo, kuinka looginen päättelykyky muuttuu suhteessa sanavarastoon (muutos y-akselilla), mikäli loogisen päättelykyvyn arvo työmarkkinoilla kasvaa suhteessa sanavarastoon (eli jos siirrytään x-akselilla oikealle). Vaaleanruskea viiva kuvaa parhaiten sopivaa viivaa, joka antaa karkeasti parhaan arvion siitä, kuinka paljon looginen päättelykyky muuttuu suhteessa sanavarastoon, kun loogisen päättelykyvyn suhteellinen tuotto kasvaa. Koska parhaiten sopivalla viivalla on positiivinen kulmakerroin, nähdään, että looginen päättelykyky kasvaa suhteessa sanavarastoon, kun loogisen päättelykyvyn tuotto työmarkkinoilla kasvaa suhteessa sanavarastoon.

Lähde: Kuvio II, Hermo ym. (2022).

Kuvion 5 perusteella näin voi olettaa. Kuvio esittää loogisen päättelykyvyn ja sanavaraston suhteellisen tason muutosta verrattuna niiden suhteelliseen tuottoon. Näiden kahden välillä on vahva positiivinen yhteys tarkastelemissamme ikäryhmissä, mikä viittaa siihen, että erilaiset kyvyt voivat mukautua niiden eriäviin tuottoihin työmarkkinoilla.

Taloudellinen malli osaamiseen sijoittamisesta

Olemme kehittäneet asian selvittämiseksi kykyihin sijoittamista kuvaavan taloustieteellisen mallin.9 Mallissa kunkin syntymäkohortin jäsenet päättävät, kuinka paljon investoida eri kykyihin, ottaen huomioon heidän odotuksensa eri kykyjen tulevista tuotoista työmarkkinoilla. Uhratako aikaansa ongelmanratkaisukyvyn kehittämiseen vai asiatiedon omaksumiseen?

Artikkelissamme näytämme, kuinka kuvioiden 2, 3, 4 ja 5 sisältämien tietojen pohjalta voidaan estimoida mallin keskeiset parametrit. Estimoidun mallin avulla voimme jakaa osaamistasoissa havaitut kehityskulut kahteen ryhmään: ensimmäisiä ohjaavat työmarkkinatuotoista johtuvat taloudellisten kannustimien muutokset, toisia terveydestä, ravitsemuksesta ja muista vastaavista syistä johtuvat kykyjen tarjonnan muutokset.

Kuvio 6. Ikäryhmien päättelykyvyn kehitys osiin purettuna

Kuvio 6. Ikäryhmien päättelykyvyn kehitys osiin purettuna

”Todellinen”-sarja kuvaa kunkin syntymäkohortin keskimääräisen loogisen päättelyn pistemäärää, joka ilmaistaan ​​ persentiilinä vuoden 1967 syntymäkohortin jakaumassa. Pistemäärä perustuu testeihin, jotka on tehty kutsunnoissa noin 18–19-vuotiaana. Sarja ”työmarkkinatuotot vakioitu” kuvaa kontrafaktuaalista eli vaihtoehtoista sarjaa, jossa kykypreemioiden on oletettu pysyvän samalla tasolla kuin vuoden 1962 syntymäkohortin keskuudessa.

Lähde: Muokattu kuviosta IV, Hermo ym. (2022).

Kuviosta 6 näkyy, että mallin mukaan looginen päättelykyky olisi noussut myös ilman työmarkkinatuottojen muutoksia, mutta vain 63 prosenttia siitä, mitä todellisuudessa tapahtui. Tässä mielessä malli viittaa siihen, että muutokset työmarkkinoiden tuotoissa selittävät 37 prosenttia Flynnin efektistä tutkimusaineistossamme.

Vanhempien ja koulun rooli

Analyysimme mukaan kykyinvestoinnit reagoivat taloudellisiin kannustimiin. Mutta kuka näistä investoinneista vastaa? Tarkastelimme kahta keskeistä toimijaa prosessissa, jossa kykyihin sijoittamisesta päätetään: vanhempia ja kouluja.

Kuvio 7. Päättelykyky vai asiatieto

Kuvio 7. Päättelykyky vai asiatieto

Kuvion tiedot ovat peräisin vanhempien mielipiteitä koskevasta kyselytutkimuksestamme. Punaiset pylväät kuvaavat niitä vastaajia, jotka arvioivat päättelykyvyn tärkeämmäksi, oranssit pylväät niitä, joille päättelykyky ja asiatieto olivat yhtä tärkeitä ja vaaleanruskeat pylväät niitä, joille asiatieto oli tärkeämpää. Vastaajat on jaettu kymmeneen ryhmään heidän esikoistensa syntymävuoden desiilin mukaan. Vaaka-akselilla on annettu kunkin vastaajaryhmän esikoisten keskimääräinen syntymävuosi.

Lähde: Muokattu kuviosta VI, Hermo ym. (2022).

Kuviossa 7 olemme käyttäneet ruotsalaisille vanhemmille tekemämme kyselyn aineistoja. Se osoittaa, että nuorempien lapsikohorttien vanhemmat pitävät päättelykykyä tärkeämpänä suhteessa asiatietoon kuin aiempien kohorttien vanhemmat. Vaikka kuvio 7 ei todista sitä, että muutokset vanhempien arvostuksissa johtuisivat taloudellisten kannustimien muutoksista, kuvio viittaa siihen, että vanhempien suhtautuminen kognitiivisten kykyjen eri ulottuvuuksiin muuttuu ajan myötä.

Kuvio 8. Päättelyn ja asiatiedon painottuminen opetussuunnitelmissa

Kuvio 8. Päättelyn ja asiatiedon painottuminen opetussuunnitelmissa

Kuvio kertoo, miten päättelykyvyn ja asiatiedon painotukset Ruotsin peruskoulun opetussuunnitelmissa ovat muuttuneet kunkin kohortin peruskouluvuosien aikana. Kuvion muodostamiseksi yhdistimme ensin opetussuunnitelman eri versiot kohortin peruskouluvuosiin ja laskimme sitten päättelyyn ja asiatietoon liittyvien avainsanojen määrän kussakin opetussuunnitelman versiossa. Lopuksi laskimme keskimääräisen altistumisen päättelyyn verrattuna asiatietoon avainsanojen esiintymisten keskiarvona. Esimerkiksi vuonna 1968 syntyneen ikäluokan peruskouluvuosina päättelyyn liittyviä avainsanoja esiintyi opetussuunnitelmissa asiatietoon verrattuna suhteessa 2:1.

Lähde: Muokattu kuviosta VII, Hermo ym. (2022).

Kuvio 8 tarjoaa samanlaista näyttöä kouluista. Siinä käytämme tekstianalyysiä ruotsalaisen peruskoulun opetussuunnitelmista. Päättelyyn tai analysointiin liittyvät käsitteet ovat ajan oloon yleistyneet enemmän kuin tietoon tai ulkoa muistamiseen liittyvät käsitteet. Tämä on linjassa useiden opetussuunnitelmia laadullisesti tutkineiden pedagogisten tutkimusten kanssa.10

Muutoksia osaamisen kysynnässä

James Flynn kirjoitti, että ”kun yhteiskunta pyytää meitä ajan saatossa lisäämään minkä tahansa kyvyn hyödyntämistä, aivot vastaavat kutsuun”.11 Kuvio 5 viittaa siihen, että työmarkkinat korostavat ajan saatossa yhä enemmän päättelykykyä tiedon sijaan. Miksi?

Analyysimme viittaa siihen, että tämä suuntaus voi osittain johtua tehtävien luonteen muutoksista työpaikoilla.12 Analyyttisesti erityisen intensiiviset ammatit (esimerkiksi ohjelmointiin liittyvät) ovat yleistyneet muiden, enemmän kontekstisidonnaista tietoa vaativien ammattien (kuten myyntityön) kustannuksella.

Inhimillisellä pääomalla on tärkeä rooli talouskasvussa ja hyvinvoinnissa.13 Mitatun älykkyyden väestötrendejä tutkivat kognitiotieteilijät ovat pyrkineet korostamaan osaamisen tarjontaan vaikuttavien tekijöiden roolia. Analyysimme viittaa kuitenkin siihen, että ihmisten taidot mukautuvat yhteiskunnan muuttuvien vaatimusten myötä. Tutkimuksemme antaa myös syytä olettaa, että taloustieteen työkalut voivat olla hyödyllisiä mitatun älykkyyden väestökehityksen tutkimuksessa.

Kirjoitus on muokattu versio tekijöiden VoxEU.org-sivustolla heinäkuussa 2022 julkaistusta tekstistä Economic incentives help explain a longstanding puzzle in cognitive science. Se puolestaan perustuu tekijöiden vuonna 2022 Quarterly Journal of Economics -julkaisussa julkaistuun artikkeliin Labor Market Returns and the Evolution of Cognitive Skills: Theory and Evidence.

Käännös: Tuomo Tamminen.

SANTIAGO HERMO

Santiago Hermo

Santiago Hermo on taloustieteen väitöskirjatutkija Brownin yliopistossa Yhdysvalloissa. Hänen tutkimusalansa ovat työn taloustiede ja kaupunkitaloustiede.

MIIKA PÄÄLLYSAHO

Miika Päällysaho

Miika Päällysaho on taloustieteen väitöskirjatutkija Tukholman yliopistossa. Hän valmistui valtiotieteen maisteriksi Helsingin yliopistosta vuonna 2017. Hänen tutkimusalansa ovat työn taloustiede ja julkistaloustiede.

DAVID SEIM

David Seim

David Seim työskentelee taloustieteen professorina Tukholman yliopistossa. Hänen tutkimusalansa ovat työn taloustiede, julkistaloustiede ja poliittinen taloustiede. Hän toimii Journal of Public Economics -julkaisun co-editorina.

JESSE SHAPIRO

Jesse Shapiro
Kuva: John D. and Catherine T. MacArthur Foundation

Jesse Shapiro on George Gund Professor of Economics and Business Administration Harvardin yliopistossa. Hän on research associate National Bureau of Economic Research -tutkimuslaitoksen Labor Studies, Political Economy ja Industrial Organization -tutkimusohjelmissa. Hän toimii Quarterly Journal of Economicsin ja American Economic Review: Insightsin associate editorina.

Viitteet

1 Pietschnig ja Voracek 2015.
2 Flynn 1984, 2007, 2012.
3 Esim. Rönnlund ym. 2013.
4 Esim. Jokela ym. 2017.
5 Esim. Pietschnig ja Voracek 2015, Rindermann ym. 2017.
6 Deary 2020.
7 Hermo ym. 2022.
8 Castex ja Dechter 2014, Markussen ja Røed 2020, Edin ym. 2022.
9 Hermo ym. 2022.
10 Larsson 2011, Johansson ja Wickman 2012, Prytz 2015, Dahlbäck ja Lyngfelt 2017.
11 Flynn 2018, 79.
12 Hermo ym. 2022.
13 Esim. Bishop 1989, Toivanen ja Väänänen 2013, Aghion ym. 2017.

Kirjallisuus

Aghion, P., Akcigit, U., Hyytinen, A., ja Toivanen, O. (2017), The social origins and IQ of inventors, VoxEU.org, julkaistu 23.12.2017.

Bishop, J. H. (1989), ”Is the Test Score Decline Responsible for the Productivity Growth Decline?”, American Economic Review 79(1): 178–197.

Castex, G. ja Kogan Dechter, E. (2014), ”The Changing Roles of Education and Ability in Wage Determination”, Journal of Labor Economics 32(4): 685–710.

Dahlbäck, K. ja Lyngfelt, A. (2017), ”Estetiska dimensioner i svenskämnets kursplaner från Lgr 69 till Lgr 11”, Educare 1: 152–182.

Deary, I. J. (2020), Intelligence: A Very Short Introduction, 2nd ed, New York: Oxford University Press.

Edin, P-A., Fredriksson, P., Nybom, M., ja Öckert, B. (2022), ”The Rising Return to Noncognitive Skill”, American Economic Journal: Applied Economics 14(2): 78–100.

Flynn, J. R. (1984), ”The Mean IQ of Americans: Massive Gains 1932 to 1978”, Psychological Bulletin 95(1): 29–51.

Flynn, J. R. (2007), What is Intelligence? Beyond the Flynn Effect, Cambridge, UK: Cambridge University Press.

Flynn, J. R. (2012), Are We Getting Smarter? Rising IQ in the Twenty-First Century, Cambridge, UK: Cambridge University Press.

Flynn, J. R. (2018), ”Reflections About Intelligence Over 40 Years”, Intelligence 70: 73–83.

Hermo, S., Päällysaho, M., Seim, D. ja Shapiro, J.M. (2022), “Labor Market Returns and the Evolution of Cognitive Skills: Theory and Evidence”, Quarterly Journal of Economics 137(4), 2309–2361.

Johansson, A-M. ja Wickman, P-O., (2012), ”Vad ska elever lära sig angående naturvetenskaplig verksamhet? En analys av svenska läroplaner för grundskolan under 50 år”, Nordic Studies in Science Education 8(3): 197–212.

Jokela, M., Pekkarinen, T., Sarvimäki, M., Terviö, M., ja Uusitalo, R. (2017), ”Secular rise in economically valuable personality traits”, VoxEU.org, julkaistu 11.7.2017.

Larsson, H. A., (2011), Mot bättre vetande: En svensk skolhistoria, Stockholm: SNS Förlag.

Markussen, S., ja Røed, K. (2020), ”Economic Mobility Under Pressure”, Journal of the European Economic Association 18(4): 1844–1885.

Pietschnig, J., ja Voracek, M., (2015), ”One Century of Global IQ Gains: A Formal Meta-analysis of the Flynn Effect (1909–2013)”, Perspectives on Psychological Science 10(3): 282–306.

Prytz, J. (2015), ”Swedish Mathematics Curricula, 1850-2014: An Overview”, Proceedings of the Third International Conference on the History of Mathematics Education 309–326.

Rindermann, H, Becker, D., ja Coyle, T. R., (2017), ”Survey of Expert Opinion on Intelligence: The Flynn Effect and the Future of Intelligence”, Personality and Individual Differences 106: 242–247.

Rönnlund, M., Carlstedt, B., Blomstedt Y., Nilsson, L-G., ja Weinehall, L., (2013), ”Secular Trends in Cognitive Test Performance: Swedish Conscript Data 1970–1993”, Intelligence 41(1): 19–24.

Toivanen, O., ja Väänänen, L. (2013), ”Does education lead to more innovation?”, VoxEU.org, julkaistu 21.7.2013.