Replicatiestudie naar zinsbegrip: welke rol speelt de frontaalkwab?
Welke rol speelt de frontaalkwab bij het begrijpen van zinnen? Universitair docent Jurriaan Witteman ontvangt een beurs om een toonaangevend onderzoek naar die vraag opnieuw te doen. ‘Omdat er twijfel is over de betrouwbaarheid van bestaande neuro-imaging resultaten, is het belangrijk invloedrijke studies te herhalen’.
Witteman focust zich in zijn onderzoek op een invloedrijke studie uit 2004 van Hagoort e.a. ‘Bij een zin als: “ik smeer boter op mijn sok”, lichtte de frontaalkwab op in een MRI-scan’, legt Witteman hun bevindingen uit. ‘Bij de zin: “ik smeer boter op mijn brood”, gebeurde dat niet.’ Die ontdekking bewijst dat de frontaalkwab een rol heeft bij de integratie van zinsbetekenissen.
Alleen, de vraag is hoe betrouwbaar de resultaten zijn. ‘MRI onderzoek is duur’, vertelt Witteman. ‘Daardoor wordt er vaak gewerkt met kleine groepen proefpersonen. In het oorspronkelijke experiment waren dat er zestien. Bij dergelijke kleine aantallen worden er regelmatig verschillen gevonden die puur toeval zijn.’
Sinds het originele onderzoek zijn er daarom regelmatig vergelijkbare onderzoeken gedaan. Soms werd een soortgelijk effect gevonden, maar soms ook niet. ‘We gaan daarom ook een meta-analyse doen van alle gepubliceerde onderzoeken om te achterhalen hoe stevig de resultaten zijn’, vertelt Witteman.
Publication bias
De verwachting is echter dat dit geen uitsluitsel gaat geven over het bestaan van het effect. Witteman: ‘Wetenschappelijke tijdschriften publiceren het liefst artikelen waarbij de resultaten overeenkomen met wat eerder is gevonden.’
Door deze publication bias én doordat het oorspronkelijke experiment nooit precies is herhaald, is alleen een meta-analyse niet genoeg. Witteman: ‘Je vat dan eigenlijk de gebiaste literatuur samen, wat tot dan tot een gebiaste conclusie leidt’ Hij zal daarom een preciezere versie van het experiment uitvoeren, waarbij de groep proefpersonen flink wordt uitgebreid tot vijftig mensen. Daarbij wordt met een tijdschrift vooraf afgesproken dat de resultaten worden gepubliceerd, ongeacht de uitkomst. ‘We geven voorafgaand aan het onderzoek precies aan hoe we het onderzoek gaan aanpakken. Dat laten we peer reviewen. Zodra we die goedkeuring hebben, gaat het tijdschrift akkoord met publicatie, ook als we dus geen bevestiging vinden.’
Samenwerken met oorspronkelijke onderzoekers
Zowel met als zonder replicatie van de oorspronkelijke resultaten is het onderzoek interessant, meent Witteman. ‘Als de oorspronkelijke resultaten worden bevestigd, wordt de theorie robuuster ondersteund, wat belangrijk is Als dat niet gebeurt, moet de theorie worden aangepast. In beide gevallen is het een interessante bevinding en dus vooral belangrijk dat het experiment wordt herhaald. De traditie wil dat we als onderzoekers nieuw onderzoek doen. Maar omdat in de neurolinguïstiek studies bijna nooit worden herhaald, is het dus paradoxaal genoeg vernieuwend om niet een nieuw onderzoek te doen maar te repliceren. Nog steeds gaat het meeste geld naar nieuwe studies, maar het is belangrijk dat NWO nu ook een beurs beschikbaar stelt voor een replicatiestudie, zodat we beter weten hoe robuust resultaten eigenlijk zijn. Pas dan kun je goede theorieën ontwikkelen die deze bevindingen verklaren. Zo niet, dan zijn je theorieën zandkastelen.
Dat vinden ook de oorspronkelijke onderzoekers. ‘Tot nu toe heb ik voor replicatiestudies altijd constructief samengewerkt met oorspronkelijke onderzoekers, vertelt Witteman. ‘Dat toont aan dat zij ook het belang zien van een robuuste feitenbasis. Anders heb je geen fundament onder je wetenschap.’