Over de significantie van insignificantie

Daar sta je dan. Je hebt de afgelopen maanden hard gewerkt aan je afstudeeronderzoek. Na het uitwerken van je theorie heb je data verzameld. En nu, tegen het einde van het project, kom je erachter dat het allemaal anders in elkaar zit. De verbanden zijn een stuk minder sterk dan in de eerdere studies waarop je je hebt gebaseerd. De twijfel slaat toe. Natuurlijk is er altijd een kans dat het allemaal aan jou te wijten is. En toch kan het goed zijn dat er iets heel anders aan de hand is.

Wat ging mis?

Het is alom bekend dat een onderzoeker liever wel dan geen resultaat publiceert. Hoe werkt dat bij de individuele wetenschapper? In het ideale geval start hij met het uitwerken van een hypothese, afgeleid uit een theorie, om die vervolgens te toetsen. 

Dan is het natuurlijk het mooist als er een duidelijke uitkomst te melden is. Ook bij een negatieve uitkomst valt er iets te rapporteren: het verband is toch anders dan we veronderstelden. Maar wat als er géén resultaat is? Dan moet er toch iets zijn misgegaan? Vreemd is die reactie niet. 

Studenten krijgen daar op verschillende manieren mee te maken. Omdat zij geen toegang hebben tot alle mislukte studies, weten ze ook niet dat zij misschien in de verkeerde richting zoeken. Doordat tijdschriften vooral artikels met sterke uitkomsten plaatsen, komt daar nog eens bij dat studenten verwachten dat er altijd een resultaat te melden zal zijn. Is dat niet zo, dan wordt er getwijfeld aan de meting, de omvang van de dataset of aan de respondenten. 

Positieve bias

Kritisch blijven over uitkomsten van eigen onderzoek is de kern van wetenschap. En toch: als er wél resultaten zijn, horen we minder snel kritiek. Die neiging is niet alleen een kwestie van individuele overwegingen. Tijdschriften publiceren liever artikels mét uitkomsten dan artikels zonder uitkomsten. 

Daar zijn verschillende redenen voor. Zo worden dergelijke artikels als wetenschappelijker en interessanter gezien. Het gevolg is dat het tijdschrift dat die artikels plaatst, stijgt in aanzien: andere auteurs gaan vaker naar positieve verbanden verwijzen, waardoor de status van het tijdschrift toeneemt. Dat leidt ertoe dat vooral positieve uitkomsten worden gepubliceerd.

Daardoor raken de uitkomsten scheef verdeeld. En dat is meer dan jammer. Onderzoek dat een hypothese ontkracht – of dat nu komt door een negatieve uitkomst of door een niet-significante uitkomst – is enorm belangrijk. Het is essentieel om een correct wereldbeeld te vormen. En de wereld is eenvoudigweg een stuk minder aangeharkt dan we willen denken. 

Overbodig werk

De publicatie van insignificante resultaten voorkomt ook dat onderzoekers overbodig werk verrichten: als die ene positieve uitkomst wél is gepubliceerd en al die honderden studies waaruit blijkt dat er géén effect is in de kast blijven liggen, gaan mensen denken dat dat ene resultaat een correcte weergave van de werkelijkheid is. Dat leidt tot nutteloos vervolgonderzoek.

Veel studenten zijn te bescheiden om de meer voor de hand liggende conclusie te trekken: de theorie klopt gewoon niet. Zij zijn er enorm bij gebaat bij inzicht in de niet-significante uitkomsten uit eerder onderzoek. Het helpt hen bij het opzetten van hun eigen onderzoek en bij het ontwikkelen van een correct wereldbeeld.

Ferry Koster is hoogleraar Werk en Instituties, verbonden aan Erasmus Universiteit Rotterdam.

Heb je vragen of opmerkingen bij dit artikel? Stuur ze ons.