Toetsen is een vak apart en niet elke goede opleider is direct ook een goede beoordelaar. Toetsen en leren zijn onlosmakelijk met elkaar verbonden en voor het verkrijgen van beter onderwijs zullen onderwijs en toetsing steeds beter geïntegreerd en op elkaar afgestemd dienen te worden. Professionalisering van de beoordelaars is daarvoor noodzakelijk. Het onderzoek dat in dit rapport beschreven wordt, wil antwoord geven op de vraag of er inderdaad verschil in interventies waar te nemen is tijdens het criteriumgericht interview (CGI) tussen de verschillende groepen van assessoren (ongetraind, getraind en expert), en op de vraag of er verschillende professionele niveaus van criteriumgericht beoordelen zijn te beschrijven in de vorm van een kwaliteitsrubriek (rubric) criteriumgericht beoordelen? Dit leidt tot de onderstaande onderzoeksvragen: 1. Is er verschil te observeren bij de 3 onderzoeksgroepen (ongetraind, getraind en expert) in het gebruik van de interventies die de assessoren bij het criteriumgericht beoordelen hanteren tijdens de afname van het CGI? Het onderzoek richt zich vooral op de eerste vijf onderdelen van het assessorenprofiel. 2. Als blijkt dat er verschil is in de hantering van de onderdelen van het assessorenprofiel, zijn er dan patronen waar te nemen in de interventies die de assessoren gebruiken? 3. Is er een kwaliteitsrubriek criteriumgericht beoordelen te beschrijven waarin de drie verschillende professionele niveaus (ongetraind, getraind en gecertificeerd) qua interventies met betrekking tot criteriumgericht beoordelen zichtbaar zijn. Om de onderzoekvragen te kunnen beantwoorden is het noodzakelijk om de assessoren te observeren bij het afnemen van assessments. De onderzoeker heeft daarom gekozen voor observaties van ongetrainde, getrainde en expert assessoren. Dit was mogelijk doordat de onderzoeker vanuit haar assessorentrainingspraktijk direct toegang heeft tot het observeren van alle drie de onderzoeksgroepen ongetraind – ervaren - expert. De observaties waren deels ‘live’ en deels observaties van op DVD opgenomen assessments. De methode van onderzoek is kwalitatief. Gekozen is voor de observatie als waarnemingstechniek om via de directe waarneming (zien en horen) de gedragsinterventies die de assessor pleegt tijdens het criteriumgericht interview (CGI) te observeren en te analyseren. Dit gebeurt in de natuurlijke context van de assessmentafname. De onderzoeker gebruikt het assessorenprofiel als kijkkader om de CGI-gesprekken en DVD’s te analyseren. Op basis van de observaties die in het kader van dit onderzoek zijn uitgevoerd, kunnen drie prototypische assessorenprofielen beschreven worden, die onderling verschillen in de mate waarin ze systematisch gebruik maken van gesprekstechnieken, in staat zijn om tot objectieve en transparante oordelen te komen, zich bewust zijn van de kwaliteit van hun handelen en gericht zijn op het verbeteren daarvan. Het gaat hier om prototypische beschrijvingen: individuele assessoren kunnen ook zonder formele training tot de categorie expert assessor horen, en assessoren kunnen kenmerken uit verschillende prototypen hebben
In het nieuwste nummer van de Nieuwe Meso, het vakblad voor bestuurders en schoolleiders in het basis, voortgezet en middelbaar beroepsonderwijs is het Focus-deel dit keer gewijd aan het opleiden van leraren. De gastredactie bestaande uit HvA-lector Marco Snoek, Fontys-lector Quinta Kools en de DNM-redacteuren Pieter Leenheer en Gerritjan van Luin belichten het thema vanuit verschillende invalshoeken: de initiële lerarenopleidingen, ervaringen van startende leraren, en de wijze waarop de initiële lerarenopleiding en professionalisering van ervaren leraren kan samenkomen in professionele leergemeenschappen en in lesson studies. Daarbij gaan de verschillende artikelen in op de rol van schoolleiders en besturen bij het opleiden van nieuwe leraren en het ondersteuning van professionaliseren van ervaren leraren.Het focusdeel bevat bijdragen van verschillende HvA medewerkers: Marco Snoek, Evelien van Geffen, Tom van Eijck en Ed van den Berg.
In het werving- en selectieproces proberen organisaties in eerste instantie zoveel mogelijk geschikte kandidaten te laten solliciteren (een marketing/ branding probleem) om daaruit dan de meest geschikte kandidaat te kiezen (een selectieprobleem).Het is wettelijk verboden om bij het selecteren van kandidaten te discrimineren op kenmerken die niet relevant zijn voor de selectie (zoals huidskleur, geloof of leeftijd). Maar een eerlijk en rechtvaardig proces moet verder gaan dan de wet. Een ethische aanpak zorgt ervoor dat gelijk gesitueerde mensen gelijk behandeld worden, dat vooroordelen geen kans hebben, dat kandidaten met menswaardigheid en respect behandeld worden, dat de procedures en uitkomsten voor iedereen helder zijn, dat de kandidaat zinnige feedback krijg na het proces, en dat de voorspellingen over het toekomstige werksucces van een kandidaat daadwerkelijk kloppen.Voor elk van de fasen van werving- en selectie zijn er kunstmatige intelligentiesystemen op de markt die organisaties kunnen helpen bij het proces. Die technologieën hebben gevolgen voor wie er wel of niet worden geselecteerd en kunnen dus een impact hebben op de diversiteit van een organisatie.De diversiteit binnen een organisatie kan op drie manieren worden vergroot. Je kunt de bestaande bias uit het proces proberen te halen, je kunt barrières die ervoor zorgen dat alleen specifieke groepen kunnen of willen solliciteren wegnemen, en je kunt actief op zoek gaan naar kandidaten met een divers profiel.Technologie zou op drie manieren kunnen helpen bij het verminderen van bias binnen het proces. Irrelevante persoonskenmerken kunnen automatisch buiten beschouwing worden gelaten en je kunt een stuk makkelijker dan bij een menselijke recruiter meten op wat voor manier het systeem biased is. Ook zou technologie kunnen helpen bij het vindenvan nieuwe groepen kandidaten die eerder nog niet in beeld waren.De voordelen van het gebruik van kunstmatige intelligentie hebben daarnaast vooral te maken met efficiëntie. Delen van het proces kunnen worden geautomatiseerd, en de werkwijze kan meer uniform gemaakt. Het zijn daarom vooral organisaties die grote aantal kandidaten werven die op dit moment gebruik maken van kunstmatige intelligentie.Er kleven ook grote risico’s aan het gebruik van kunstmatige intelligentie binnen werving- en selectieprocessen. Omdat veel van de technologie uitgaat van de huidige (succesvolle) werknemers is er de kans dat je de (weinige diverse) status quo juist handhaaft. Het is nooit uit te sluiten dat er hele specifieke vormen van bias met betrekking tot bepaalde groepen in het systeem blijven zitten, en dit soort systemen kunnen sowieso slecht omgaan met individuen die op een of andere manier afwijken van de norm. Die bias die – ook na een zorgvuldige implementatie – overblijft is dan wel meteen systematisch en schaalt mee met de inzet van de technologie. Verder blijft het moeilijk om te valideren of de kunstmatige intelligentie die je inzet wel goed werkt. Tot slot hebben dit soort systemen veel data nodig. Dit kan op het gebied van privacy en de vereiste dataminimalisatie problemen opleveren.Je hoort vaak dat we ons geen zorgen hoeven te maken over de inzet van kunstmatige intelligentie binnen werving- en selectie. Het is immers voorlopig nog steeds de mens die de uiteindelijke beslissing neemt. Dit klopt (vooralsnog) misschien nog wel voor het aannemen van de kandidaat, maar is allang niet meer het geval voor de kandidaten die worden afgewezen. Daar is het vaak al de machine die kiest, zonder enige menselijke tussenkomst.Als je er toch voor kiest om kunstmatige intelligentiesystemen binnen werving- en selectieprocessen te implementeren, dan moet je dat op een heel intentionele manier doen. En met een scherpe blik op de achterliggende waarden. Dit onderzoek heeft gereedschap opgeleverd dat daarbij kan helpen. Met de AI in Recruitment (AIR) Discussietool kun je aan de hand van de volgende vijf vragen (en de bijbehorende deelvragen) komen tot een zo verantwoord mogelijke implementatie:1. Wat is voor jouw organisatie eerlijke en rechtvaardige werving en selectie?2. Hoe zit het met de benodigde data?3. Blijft de mens de baas over het proces?4. Is jouw organisatie en is de technologie onbevooroordeeld?5. Weet je zeker dat de technologie werkt en dat het blijft werken?
MULTIFILE
Geavanceerde hoortesten die worden ingezet om slechthorendheid te diagnosticeren en hoortoestellen af te regelen worden standaard uitgevoerd door een geoefend professional in een face-to-face consult. In de context van Covid-19 afstandsmaatregelen brengt dit voor vele slechthorenden een belangrijk gezondheidsrisico mee. Dit is in het bijzonder zo voor de kwetsbare groep van 65-plussers met slechthorendheid die vaak bijkomende aandoeningen hebben. Zij kiezen er om die reden niet zelden voor om te verzaken aan de noodzakelijke hoorzorg. De centrale doelstelling van dit project is om een objectief meetinstrument te ontwikkelen om spraakverstaan geautomatiseerd en online te toetsen. Deze testprocedure dient een valide alternatief te vormen voor face-to-face testconsults. De resultaten van deze online test dienen professionals toe te laten om het functionele horen van cliënten op afstand in kaart te brengen en zo nodig te optimaliseren dankzij een aangepaste fijnstelling van het hoortoestel. Aldus biedt het online testen voor bepaalde groepen van slechthorende cliënten een kostenefficiënte en veilige manier om communicatief zo goed mogelijk aangesloten te blijven op de maatschappij. De beide praktijkpartners zullen aan de hand van surveys eerst de belangrijkste communicatieve uitdagingen en behoeften van de doelgroep van slechthorenden in kaart brengen. De resultaten hiervan leveren de nodige input voor het gericht ontwikkelen van het testinstrumentarium en de experimentele testcondities. Om de nieuwe testprocedure te valideren zullen tot slot de spraakverstaanscores van state-of-the-art manuele on-site procedures worden vergeleken met deze van een geautomatiseerde online procedure. Verder willen we de PPS samenwerking consolideren en een belangrijke opstap maken naar breedschalig vervolgonderzoek binnen het ‘SME Instrument’ van het Horizon Europe Programma 2021-2017 met als doel een volledig aanbod van online audiologische revalidatie te bieden. Dankzij dit KIEM project kan een eerste cruciale stap worden gezet in het deblokkeren van de rechte lijn naar dit einddoel.
