Focus op afbeeldingen in toetsitems en feedback

Toetsvragen bevatten naast tekst vaak afbeeldingen. Verschillende onderzoeken hebben aangetoond dat het gebruik van afbeeldingen in toetsvragen de toetsresultaten verhoogt en dat deelnemers vragen met afbeeldingen als minder moeilijk ervaren, zonder dat zij meer tijd nodig hebben voor het beantwoorden ervan. Het positieve effect van afbeeldingen op de prestaties wordt het multimedia effect in testing genoemd. Tegenover de onderzoeken die positieve effecten laten zien van het gebruik van afbeeldingen in toetsvragen, staan ook onderzoeken die deze positieve effecten niet vinden. Het lijkt er op dat effecten van het gebruik van afbeeldingen beïnvloed wordt door specifieke karakteristieken van de vraag, de afbeelding en/of de context zoals de functionaliteit van de afbeelding. In dit postdoc onderzoek zijn de effecten van zogenaamde representatieve en informatieve afbeeldingen onderzocht. Representatieve afbeeldingen zijn afbeeldingen die (een gedeelte van) de tekstuele informatie van de toetsvraag weergeven. Ze geven dus nooit extra informatie. Informatieve afbeeldingen zijn afbeeldingen die juist essentiële informatie bevatten, die nodig is om de toetsvraag te beantwoorden. Voor het onderzoek zijn experimentele toetsen geconstrueerd, waarbij er van elke individuele vraag twee versies zijn gemaakt: een versie met enkel tekst en een versie met tekst gecombineerd met afbeelding. Uit het onderzoek komt naar voren dat er op toetsniveau geen multimedia effect in testing aangetoond kan worden voor representatieve en informatieve afbeeldingen. Een analyse op het niveau van individuele toetsvragen laat zien dat er voor individuele vragen wel significante effecten gevonden kunnen worden. Zo is er soms sprake van een effect op prestatie, soms op de tijd die een student nodig heeft voor het beantwoorden van de vraag en soms op de ervaren moeilijkheid. Voor de representatieve afbeeldingen konden deze resultaten deels verklaard worden door het zogenaamde coherence principe: sluit de afbeelding enkel aan op de stam van toetsvraag, of sluit de afbeelding zowel aan op de stam als de opdracht van de toetsvraag? Afbeeldingen die niet specifiek aansluiten op de opdracht hebben een (al dan niet significant) negatief effect op de prestatie en kosten meer tijd om te beantwoorden. De analyses op toetsvraag-niveau vormen een geheel nieuwe benadering binnen dit onderzoeksdomein en biedt kansen om verder te zoeken naar specifieke karakteristieken van toetsvraag en/of afbeelding om zo te komen tot ontwerprichtlijnen voor toetsconstructeurs.

Het verzamelen, interpreteren en produceren van informatie met multimedia (tekst gecombineerd met afbeeldingen) is een belangrijke vaardigheid die studenten zich eigen moeten maken. Met name in het natuurwetenschappelijk onderwijs, zoals Biologie (de context van dit onderzoek), spelen afbeeldingen en diagrammen een steeds belangrijkere rol. Het gegeven dat studenten meer leren van de combinatie van tekst en afbeeldingen dan van enkel afbeeldingen of enkel tekst, wordt het multimedia-effect genoemd. Waar veel onderzoek zich richt op het multimedia-effect bij leren, is er relatief weinig bekend over de effecten van multimediagebruik in toetsen.
Een meta-analyse uit 2019 laat een overall positief effect zien op de nauwkeurigheid van de antwoorden van studenten (response accuracy). Echter, de resultaten van empirische studies lopen onderling sterk uiteen. De invloed van multimedia in toetsitems wordt significant beïnvloed door de functionaliteit van de afbeelding in een toetsitem. Mogelijk dat afbeeldingen in feedback die een student ontvangt na het maken van een item ook invloed hebben op het leereffect van de feedback. Diepgaand onderzoek naar het multimedia-effect in de toetsitems en de feedback kan de validiteit en effectiviteit van toetsen verhogen.
Een within-group design waarbij enkel de functionaliteit van de afbeelding wordt onderzocht en andere moderators zo goed mogelijk gelijk worden gehouden ontbreekt tot op heden. Een mogelijk multimedia-effect bij feedback is nog nauwelijks onderzocht.
Dit project richt zich op bovenstaande hiaten in de onderzoeksdata om zo te komen tot richtlijnen voor de itemconstructeurs bij multimediagebruik in toetsitems en voor studenten bij het beantwoorden van items. Hiervoor zullen drie experimentele onderzoeken in de context van de lerarenopleiding Biologie opgezet worden. In elke studie zal gevarieerd worden met de functionaliteit van afbeeldingen in de toetsitems en de feedback. De effecten ten aanzien van prestaties en cognitieve belasting worden gemeten met eye-tracking, toetsen en thinking aloud protocollen.