Minder dan de helft van alle psychologische onderzoeken zijn reproduceerbaar

Wetenschappers houden ervan om onderzoeken te onderzoeken, maar een nieuw onderzoek in Science gaat hier wel heel ver in. 270 wetenschappers hebben geprobeerd om 100 experimenten te reproduceren van eerder gepubliceerde psychologische onderzoeken.

Zij wilden kijken of ze de onderzoeken, die gepubliceerd waren in gerenommeerde journals, op dezelfde manier uit konden voeren. Zou je, wanneer je hetzelfde experiment met dezelfde methode zou reproduceren, op dezelfde resultaten uitkomen? Het antwoord is dus nee.

"De resultaten van de reproducties waren in veel gevallen slechts maar de helft van de originele experimenten," staat in het onderzoek, die door het Open Science Collaboration werd uitgevoerd onder leiding van Brian Nosek.

"Als je een onderzoek kan reproduceren betekent dat het onderzoek van goede kwaliteit is en er echt wetenschappelijk bewijs is," aldus Gavin Sullivan, één van de deelnemende wetenschappers. Als een onderzoek open is over haar resultaten en methodes ga je ervan uit dat je het onderzoek kan herhalen. "Als dit niet kan ga je je toch afvragen welke factoren hiervoor gezorgd hebben - waren het interne factoren, had het iets te maken met de deelnemers of was het een externe factor?"

De wetenschappers namen ieder een experiment van een onderzoek dat in 2008 had plaatsgevonden. Deze onderzoeken kwamen allemaal uit gerenommeerde psychologische journals. Ze werden opgedragen om de experimenten zo nauwkeurig mogelijk te reproduceren, zelfs als ze hiervoor de originele auteur voor moesten contacteren.

Het onderzoek dat Sullivan moest reproduceren stelde dat de emotie "trots" werd herkend door verschillende culturen en etniciteiten. Hij kwam wel op hetzelfde resultaat als het originele onderzoek.

Maar dit was zeker niet het geval voor alle onderzoeken die werden behandeld. "Een groot deel van de reproducties toonden een zwakker bewijs dat het origineel, ook al waren de originele materialen geleverd door de oorspronkelijke auteurs, werden dezelfde methodes gebruikt en werden de resultaten op dezelfde manier gemeten," aldus het onderzoek.

Dit betekent natuurlijk niet dat de vorige onderzoeken nergens op sloegen. Deze konden best een interessant resultaat opleveren, maar deze resultaten waren eerder nieuw dan toepasbaar. Sullivan gaf aan dat de reproductie van psychologische onderzoeken minder vaak met de originele resultaten strookten dan cognitieve onderzoeken. Misschien is dit omdat deze in het algemeen iets complexer zijn en het moeilijker is om de variabelen te controleren.

Hoewel dit onderzoek zich alleen richtte op psychologische onderzoeken, is dit absoluut niet het enige veld waar reproductie andere resultaten opleveren. Een onderzoek dat [eerder dit jaar](http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002165) uitkwam stelde dat zelfs minder dan de helft van de onderzoeken in de levenswetenschappen reproduceerbaar was.

Een andere reden voor deze niet-reproduceerbare onderzoeken zijn de persoonlijke voorkeuren van de journals. "Soms waarderen de journals de meer innovatieve onderzoeken of onderzoeken die bepaalde theorieën weerleggen," zegt Sullivan. "Dit soort voorkeuren kunnen twijfelachtige resultaten in de hand werken."

Dit zet aan tot "p-hacking", waarbij data selectief wordt gebruikt wordt om de resultaten kracht bij te zetten. Dat is natuurlijk niet de juiste manier om wetenschappelijke conclusies te trekken, maar het laat je onderzoek er wel beter, verrassender en belangrijker uitzien. "Je wilt er natuurlijk voor zorgen dat dit zo min mogelijk gebeurt," zegt Sullivan.

Het onderzoek concludeert dat de reproduceerbaarheid van de psychologie beter zal moeten worden. "Mensen willen graag zekerheid, maar de wetenschap biedt deze niet constant. Hoe graag we ook zouden willen, één onderzoek is bijna nooit een verklaring op oplossing voor een probleem of effect," aldus de auteurs.