Recente publicaties problematiseren de mate waarin onderwijsonderzoek bruikbaar en relevant onderzoek levert voor de praktijk. In het bijzonder is er onenigheid over of er teveel of te weinig interventiestudies worden uitgevoerd. Er is echter geen representatief beeld beschikbaar van welke onderzoeksmethoden onderwijsonderzoekers gebruiken. We onderzochten welke onderzoeksmethoden onderwijsonderzoekers gebruiken door een representatieve steekproef van abstracts te coderen onderwijsonderzoekscongressen op drie continenten, op drie momenten, over de afgelopen tien jaar (n = 3,342). Uit het overzicht komt naar voren dat onderwijsonderzoekers de afgelopen tien jaar steeds minder interventiestudies presenteren (van 17% naar 9%). De overgrote meerderheid van abstracts bij AERA, ACE, HKERA, en ECER zijn kwalitatieve observationele studies. EARLI is een uitzondering met een meerderheid van kwantitatieve observationele studies. Binnen EARLI zijn opvallende verschillen tussen landen zichtbaar. Door een representatief overzicht te bieden draagt deze paper bij aan een op feiten gebaseerde discussie over de samenstelling en richting van de onderwijswetenschappen.
Introductie
Onderzoeksmethodes kunnen meer of minder geschikt zijn, afhankelijk van de onderzoeksvraag. Observationele studies zijn geschikt voor het verkennen van een onderzoekscontext, designstudies zijn geschikt voor het ontwikkelen van een interventie, interventiestudies zijn geschikt voor het meten van de impact of effectiviteit. Interventiestudies zijn de minst onbetrouwbare manier om uitspraken te doen over causaliteit en daardoor essentieel voor ‘wat werkt’ vragen (Dekker & Meeter, 2022). In het debat over evidence-informed education, stellen sommige onderwijsonderzoekers dat we te weinig interventiestudies doen, terwijl anderen juist waarschuwen voor een monocultuur van interventiestudies (Dekker & Meeter, 2022). Binnen de onderwijspsychologie bestudeerden Brady et al. (2023) wat de huidige verdeling van onderzoeksmethodes is door publicaties in ‘top-journals’ te coderen. Ze vonden dat het percentage van empirische artikelen dat interventies onderzocht daalde van 47% in 1994, tot 25% in 2020. Om na te gaan of hun observaties een bredere trend weerspiegelen in de onderwijswetenschappen repliceerden we hun studie met een bredere steekproef van congresbijdragen. Congresbijdragen zijn een bredere weerspiegeling van wat onderwijsonderzoekers doen doordat congressen minder selectief zijn en een betere geografische spreiding hebben.
Onderzoeksvraag:
Welke empirische onderzoeksmethodes gebruikten onderwijsonderzoekers in hun presentaties op congressen van 2013 tot en met 2023?
Methode
We selecteerden de 2013, 2018 en 2023 edities van onderwijsonderzoekscongressen van drie continenten, namelijk de AERA (American Educational Research Association), ACE (Asian Conference on Education) en EARLI (European Association for Research on Learning and Instruction). Om de dekking over Azië en Europa te verbeteren voegden we voor 2023 ook abstracts van de HKERA (Hong Kong Educational Research Association) en ECER (van de European Educational Research Association) toe. Voor elke editie codeerden we een steekproef van maximaal 384 willekeurige abstracts aan de hand van het codeerschema van Brady et al. (2023). De intercodeursbetrouwbaarheid was met een ICC van .704 voldoende.
Resultaten
Het percentage congresbijdragen van interventiestudies in onderwijsonderzoek nam de afgelopen tien jaar af van 17% naar 9%. Alle congressen, met uitzondering van EARLI, worden in toenemende mate gedomineerd door observationele kwalitatieve studies. Bij EARLI overheersen observationele kwantitatieve studies en vielen landelijke verschillen op. Duitsland en Nederland waren hofleverancier observationele kwantitatieve en interventiestudies en Scandinavische landen presenteerden het minste interventiestudies en voornamelijk kwalitatief onderzoek.
Discussie
Onderwijsonderzoek lijkt zich net als onderwijspsychologie langzaam af te wenden van interventiestudies. Dit is een opmerkelijke ontwikkeling, gegeven dat juist interventiestudies nodig zijn om de causale vragen over effectiviteit van docenten en beleidsmakers te beantwoorden. Het signaleren van deze trend in een representatieve steekproef kan bijdragen aan een discussie over het onderwijsonderzoekslandschap. Wat zou het ideale onderzoeksportfolio zijn en wat zou er voor nodig zijn om dit als veld te bieden?
