This paper proposes an innovative method for factor analyzing data that potentially contains individual response bias. Past methods include the use of “ipsative” data, or, related to that, “ipsatized” data. Unfortunately, factor analysis as the main method used for analyzing the dimensionality of data, cannot be applied to ipsative data. In contrast, normalization of data as an alternative method to filter out response bias, is not hampered by the technical statistical issues inherent to applying multivariate techniques to ipsative data. Using high-quality data from a survey in Nepal that makes use of – among others – the High-Performance Organizations (HPO) framework, this paper shows that the traditional approach of directly applying Confirmatory Factor Analysis (CFA) starting from an existing model or theory, is inferior to our approach. Even applying Exploratory Factor Analysis (EFA) to the raw (non-normalized) data before using CFA, is unable to detect the optimal dimensionality, or structure, in the data. A better structure can be obtained by performing EFA on normalized data that corrects for response bias in the raw data. This paper convincingly shows that the newly identified structure is superior to the original structure suggested by the HPO framework. Applying a CFA using the newly detected structure on the raw data, gives excellent goodness-of-fit statistics, with more items retained, and no need of forced methods to improve the model fit. The findings suggest that existing models and questionnaires based on these models, are not necessarily as valid and reliable as empirical studies that make use of traditional analyses seem to suggest. When adopting existing instruments, researchers are advised to critically check the validity and reliability of these instruments – especially those vulnerable to response bias - and to apply the procedures laid out in this paper, in order to enhance the quality of their research, and to inform future researchers who consider using the same instruments or to warn them about the potential shortcomings of these instruments.
LINK
Reporting of research findings is often selective. This threatens the validity of the published body of knowledge if the decision to report depends on the nature of the results. The evidence derived from studies on causes and mechanisms underlying selective reporting may help to avoid or reduce reporting bias. Such research should be guided by a theoretical framework of possible causal pathways that lead to reporting bias. We build upon a classification of determinants of selective reporting that we recently developed in a systematic review of the topic. The resulting theoretical framework features four clusters of causes. There are two clusters of necessary causes: (A) motivations (e.g. a preference for particular findings) and (B) means (e.g. a flexible study design). These two combined represent a sufficient cause for reporting bias to occur. The framework also features two clusters of component causes: (C) conflicts and balancing of interests referring to the individual or the team, and (D) pressures from science and society. The component causes may modify the effect of the necessary causes or may lead to reporting bias mediated through the necessary causes. Our theoretical framework is meant to inspire further research and to create awareness among researchers and end-users of research about reporting bias and its causes.
![Causes of reporting bias: a theoretical framework [version 2; peer review: 2 approved]](https://publinova-harvester-content-prod.s3.amazonaws.com/thumbnails/files/previews/pdf/20240419021423483168.68f_a863_4e94_84cd_cf2a63540cea_18310_jenny_van_der_stee-thumbnail-400x300.png)
Dr. Inga Wolframm, lector Duurzame Paardenhouderij en Paardensport aan Hogeschool Van Hall Larenstein heeft met onderzoek aangetoond dat het huidige jureersysteem juryleden dwingt tot het inzetten van zogenaamde ‘cognitive shortcuts’ (cognitieve afkortingen) die zich vervolgens vertalen naar vooroordelen bij de beoordeling. In haar in het wetenschappelijke blad animals gepubliceerde artikel ‘Bias Cascade in Elite Dressage Judging’ (een waterval van juryvooroordeel in de topdressuursport’) toont Wolframm niet alleen dat judging bias bestaat, maar ook welke vooroordelen in welke mate een rol spelen bij de beoordeling.
LINK
Artificiële Intelligentie (AI) speelt een steeds belangrijkere rol in mediaorganisaties bij de automatische creatie, personalisatie, distributie en archivering van mediacontent. Dit gaat gepaard met vragen en bezorgdheid in de maatschappij en de mediasector zelf over verantwoord gebruik van AI. Zo zijn er zorgen over discriminatie van bepaalde groepen door bias in algoritmes, over toenemende polarisatie door de verspreiding van radicale content en desinformatie door algoritmes en over schending van privacy bij een niet transparante omgang met data. Veel mediaorganisaties worstelen met de vraag hoe ze verantwoord met AI-toepassingen om moeten gaan. Mediaorganisaties geven aan dat bestaande ethische instrumenten voor verantwoorde AI, zoals de EU “Ethics Guidelines for trustworthy AI” (European Commission, 2019) en de “AI Impact Assessment” (ECP, 2018) onvoldoende houvast bieden voor het ontwerp en de inzet van verantwoorde AI, omdat deze instrumenten niet specifiek zijn toegespitst op het mediadomein. Hierdoor worden deze ethische instrumenten nog nauwelijks toegepast in de mediasector, terwijl mediaorganisaties aangeven dat daar wel behoefte aan is. Het doel van dit project is om mediaorganisaties te ondersteunen en begeleiden bij het inbedden van verantwoorde AI in hun organisaties en bij het ontwerpen, ontwikkelen en inzetten van verantwoorde AI-toepassingen, door domeinspecifieke ethische instrumenten te ontwikkelen. Dit gebeurt aan de hand van drie praktijkcasussen die zijn aangedragen door mediaorganisaties: pluriforme aanbevelingssystemen, inclusieve spraakherkenningssystemen voor de Nederlandse taal en collaboratieve productie-ondersteuningssystemen. De ontwikkeling van de ethische instrumenten wordt uitgevoerd met een Research-through-Design aanpak met meerdere iteraties van informatie verzamelen, analyseren prototypen en testen. De beoogde resultaten van dit praktijkgerichte onderzoek zijn: 1) nieuwe kennis over het ontwerpen van verantwoorde AI in mediatoepassingen, 2) op media toegespitste ethische instrumenten, en 3) verandering in de deelnemende mediaorganisaties ten aanzien van verantwoorde AI door nauwe samenwerking met praktijkpartners in het onderzoek.
Receiving the first “Rijbewijs” is always an exciting moment for any teenager, but, this also comes with considerable risks. In the Netherlands, the fatality rate of young novice drivers is five times higher than that of drivers between the ages of 30 and 59 years. These risks are mainly because of age-related factors and lack of experience which manifests in inadequate higher-order skills required for hazard perception and successful interventions to react to risks on the road. Although risk assessment and driving attitude is included in the drivers’ training and examination process, the accident statistics show that it only has limited influence on the development factors such as attitudes, motivations, lifestyles, self-assessment and risk acceptance that play a significant role in post-licensing driving. This negatively impacts traffic safety. “How could novice drivers receive critical feedback on their driving behaviour and traffic safety? ” is, therefore, an important question. Due to major advancements in domains such as ICT, sensors, big data, and Artificial Intelligence (AI), in-vehicle data is being extensively used for monitoring driver behaviour, driving style identification and driver modelling. However, use of such techniques in pre-license driver training and assessment has not been extensively explored. EIDETIC aims at developing a novel approach by fusing multiple data sources such as in-vehicle sensors/data (to trace the vehicle trajectory), eye-tracking glasses (to monitor viewing behaviour) and cameras (to monitor the surroundings) for providing quantifiable and understandable feedback to novice drivers. Furthermore, this new knowledge could also support driving instructors and examiners in ensuring safe drivers. This project will also generate necessary knowledge that would serve as a foundation for facilitating the transition to the training and assessment for drivers of automated vehicles.
Moderatie van lezersreacties onder nieuwsartikelen is erg arbeidsintensief. Met behulp van kunstmatige intelligentie wordt moderatie mogelijk tegen een redelijke prijs. Aangezien elke toepassing van kunstmatige intelligentie eerlijk en transparant moet zijn, is het belangrijk om te onderzoeken hoe media hieraan kunnen voldoen.Doel Dit promotieproject zal zich richten op de rechtvaardigheid, accountability en transparantie van algoritmische systemen voor het modereren van lezersreacties. Het biedt een theoretisch kader en bruikbare matregelen die nieuwsorganisaties zullen ondersteunen in het naleven van recente beleidsvorming voor een waardegedreven implementatie van AI. Nu steeds meer nieuwsmedia AI gaan gebruiken, moeten ze rechtvaardigheid, accountability en transparantie in hun gebruik van algoritmen meenemen in hun werkwijzen. Resultaten Hoewel moderatie met AI zeer aantrekkelijk is vanuit economisch oogpunt, moeten nieuwsmedia weten hoe ze onnauwkeurigheid en bias kunnen verminderen (fairness), de werking van hun AI bekendmaken (accountability) en de gebruikers laten begrijpen hoe beslissingen via AI worden genomen (transparancy). Dit proefschrift bevordert de kennis over deze onderwerpen. Looptijd 01 februari 2022 - 01 februari 2025 Aanpak De centrale onderzoeksvraag van dit promotieonderzoek is: Hoe kunnen en moeten nieuwsmedia rechtvaardigheid, accountability en transparantie in hun gebruik van algoritmes voor commentmoderatie? Om deze vraag te beantwoorden is het onderzoek opgesplitst in vier deelvragen. Hoe gebruiken nieuwsmedia algoritmes voor het modereren van reacties? Wat kunnen nieuwsmedia doen om onnauwkeurigheid en bias bij het modereren via AI van reacties te verminderen? Wat moeten nieuwsmedia bekendmaken over hun gebruik van moderatie via AI? Wat maakt uitleg van moderatie via AI begrijpelijk voor gebruikers van verschillende niveaus van digitale competentie?
