Explainable Artificial Intelligence (XAI) aims to provide insights into the inner workings and the outputs of AI systems. Recently, there’s been growing recognition that explainability is inherently human-centric, tied to how people perceive explanations. Despite this, there is no consensus in the research community on whether user evaluation is crucial in XAI, and if so, what exactly needs to be evaluated and how. This systematic literature review addresses this gap by providing a detailed overview of the current state of affairs in human-centered XAI evaluation. We reviewed 73 papers across various domains where XAI was evaluated with users. These studies assessed what makes an explanation “good” from a user’s perspective, i.e., what makes an explanation meaningful to a user of an AI system. We identified 30 components of meaningful explanations that were evaluated in the reviewed papers and categorized them into a taxonomy of human-centered XAI evaluation, based on: (a) the contextualized quality of the explanation, (b) the contribution of the explanation to human-AI interaction, and (c) the contribution of the explanation to human- AI performance. Our analysis also revealed a lack of standardization in the methodologies applied in XAI user studies, with only 19 of the 73 papers applying an evaluation framework used by at least one other study in the sample. These inconsistencies hinder cross-study comparisons and broader insights. Our findings contribute to understanding what makes explanations meaningful to users and how to measure this, guiding the XAI community toward a more unified approach in human-centered explainability.
MULTIFILE
The paper presents a framework that through structured analysis of accident reports explores the differences between practice and academic literature as well amongst organizations regarding their views on human error. The framework is based on the hypothesis that the wording of accident reports reflects the safety thinking and models that have been applied during the investigation, and includes 10 aspects identified in the state-of-the-art literature. The framework was applied to 52 air accident reports published by the Dutch Safety Board (DSB) and 45 ones issued by the Australian Transport Safety Bureau (ATSB) from 1999 to 2014. Frequency analysis and statistical tests showed that the presence of the aspects in the accident reports varied from 32.6% to 81.7%, and revealed differences between the ATSB and the DSB approaches to human error. However, in overall safety thinking have not changed over time, thus, suggesting that academic propositions might have not yet affected practice dramatically.
A symbiotic relationship between human factors and safety scientists is needed to ensure the provision of holistic solutions for problems emerging in modern socio-technical systems. System Theoretic Accident Model and Processes (STAMP) tackles both interactions and individual failures of human and technological elements of systems. Human factors topics and indicative models, tools and methods were reviewed against the approach of STAMP. The results showed that STAMP engulfs many human factors subjects, is more descriptive than human factors models and tools, provides analytical power, and might be further improved by including more aspects of human factors. STAMP can serve in minimizing the gap between human factors and safety engineering sciences, which can collectively offer inclusive solutions to the industry.
Het lopen van een marathon wordt steeds populairder. Naast de vele positieve gezondheidseffecten van duurinspanning, kan duurinspanning ook gepaard gaan met maagdarmklachten. Zo’n 30-90% van de hardlopers heeft last van maagdarmklachten tijdens of in de uren na het hardlopen. Het ontstaan van maagdarmklachten heeft waarschijnlijk te maken met de herverdeling van het bloedvolume, resulterend in minder bloedtoevoer naar het spijsverteringskanaal en een minder goed functionerende darmbarrière. Doordat de darmbarrière minder goed functioneert kunnen er ongewenste stoffen (endotoxinen) de bloedbaan intreden en voor ontstekingsreacties zorgen. De vele micro-organismen in onze darm, gezamenlijk onze darmmicrobiota genoemd, zijn van invloed op de voedselvertering, maar ook op het functioneren van de cellen die de darmwand bekleden en de verbindingen tussen deze cellen. Mogelijk hebben hardlopers met maagdarmklachten tijdens duurinspanning te maken met een afwijkende samenstelling van de darmmicrobiota en/of metabolieten ten opzichte van hardlopers zonder klachten, waardoor de darmbarrière minder goed functioneert en er problemen kunnen optreden. Vandaar dat het voornaamste doel van ons onderzoeksproject is om te onderzoeken of er een relatie bestaat tussen de samenstelling van de darmmicrobiota en/of metabolieten en het ontstaan van maagdarmklachten tijdens duurinspanning. De onderzoeksvragen die zullen worden bestudeerd zijn: 1) Verschilt de samenstelling van de darmmicrobiota en/of metabolieten van hardlopers die wel en niet last krijgen van maagdarmklachten tijdens het lopen van een marathon? En zo ja, hoe? 2) Kan de samenstelling van de darmmicrobiota en/of metabolieten van getrainde sporters die maagdarmklachten ervaren tijdens duurinspanning positief beïnvloed worden door probiotica-suppletie, zodat de kans op en/of intensiteit van maagdarmklachten tijdens duurinspanning wordt verminderd en de sportprestatie verbeterd? Het onderzoeksproject richt zich op de identificatie van sporters die last hebben van maagdarmklachten tijdens duurinspanning. We hopen met de beoogde resultaten bij te kunnen dragen aan op de persoon gerichte preventie van maagdarmklachten door het aanpassen van de darmmicrobiota.
Designing cities that are socially sustainable has been a significant challenge until today. Lately, European Commission’s research agenda of Industy 5.0 has prioritised a sustainable, human-centric and resilient development over merely pursuing efficiency and productivity in societal transitions. The focus has been on searching for sustainable solutions to societal challenges, engaging part of the design industry. In architecture and urban design, whose common goal is to create a condition for human life, much effort was put into elevating the engineering process of physical space, making it more efficient. However, the natural process of social evolution has not been given priority in urban and architectural research on sustainable design. STEPS stems from the common interest of the project partners in accessible, diverse, and progressive public spaces, which is vital to socially sustainable urban development. The primary challenge lies in how to synthesise the standardised sustainable design techniques with unique social values of public space, propelling a transition from technical sustainability to social sustainability. Although a large number of social-oriented studies in urban design have been published in the academic domain, principles and guidelines that can be applied to practice are large missing. How can we generate operative principles guiding public space analysis and design to explore and achieve the social condition of sustainability, developing transferable ways of utilising research knowledge in design? STEPS will develop a design catalogue with operative principles guiding public space analysis and design. This will help designers apply cross-domain knowledge of social sustainability in practice.
De, bijna oneindige, mogelijkheden van digitale (3D print)technieken prikkelen de geest en zetten aan tot creatief denken. Voorheen onmogelijke vormen worden mogelijk en kunnen op locatie en op maat worden gemaakt. Het (primair) onderwijs ziet grote potentie in 3D (print)technieken als onderwijsthema om structureel en actief mee aan de slag te gaan in de klas, om 21ste Century Skills te ontplooien bij zowel leerkrachten als leerlingen en om als thema in te zetten binnen Wetenschap & Technologie-onderwijs. De onderwijsketen is een cruciale partner in de Human Capital Agenda met haar taak om van jongs af aan kinderen op te leiden tot een moderne professional die kan uitblinken in een snel veranderende innovatie-economie. Met dat doel voor ogen zoekt het primair onderwijs structureel naar manieren om de lesprogramma’s actueel en effectief te houden. Door een toenemend aanbod van 3D (print)technieken en diensten zoeken directies, leerkrachten maar ook het team talentontwikkeling van de Gemeente Enschede naar betrouwbare experts die de scholen advies, begeleiding en (uiteindelijk) professionalisering op maat kunnen bieden. Saxion FabLab Enschede, een publieke moderne makerspace en verbonden aan Saxion Lectoraat Industrial Design, richt zich op de verbinding tussen (HBO) onderwijs, onderzoek en het bedrijfsleven. Sinds de oprichting in 2011 krijgt het FabLab ook structureel vragen vanuit het primair onderwijs (PO) om deze doelgroep hands-on in contact te brengen met moderne (3D) technieken. Waar mogelijk zijn bovengenoemde vragen opgepakt met in samenwerking met scholen en bedrijven. Knelpunten die hierbij naar voren zijn gekomen, zijn dat leerkrachten na de opstart niet weten hoe ze onvermijdelijke technische problemen moeten oplossen en/of het ontbreekt hen de kennis om een volgende verdiepende stap (zelf) te zetten. Gevolg is dat men niet verder komt dan het doen van demonstraties en/of een eerste (simpel) productje, of dat de printers stil in een hoek staan te ver-stoffen. Deze ervaringen uit Enschede zijn in lijn met conclusies van een eerder onderzoek in Flevoland (Van Keulen & van Oenen, 2015) Doel van het traject “3D in de klas” is de bundeling van krachten binnen het consortium rondom de ontwikkeling van uitdagend en uitnodigend Wetenschap & Techniek-onderwijs voor leerling en leerkracht in het primair onderwijs, door leerkrachten te scholen in 3D printen, door lesprogramma’s te ontwikkelen die verder gaan dan het ‘printen van de standaard sleutelhanger’ en door een didactische verbreding te bieden door het koppelen van kennisdomeinen. Het initiatief voor gezamenlijk onderzoek en 3D in de Klas is opgedeeld in drie delen: Deel 1) Mapping the state of the art: leren van eerdere initiatieven en de knelpunten. Deel 2) Doelgroep betrokkenheid in kaart brengen, van leerkrachten en leerlingen, inhoudelijk en organisatorisch. Deel 3) Structurele inbedding, door afstemming op en integratie in de PO-keten. Het voorliggende projectvoorstel beslaat deel 1 van dit traject. Resultaat van dit deelproject hiervan vormt de basis voor deel 2 en 3 in een vervolgtraject, mogelijk in een RAAK-publiek vorm. Saxion FabLab Enschede heeft de afgelopen jaren een actief consortium opgebouwd dat bovenstaande impasse wil doorbreken. Het consortium bestaat naast het FabLab o.a. uit: Saxion Lectoraat Industrial Design en Academie Pedagogiek en Onderwijs, ESV, Stichting Consent, Bètatechtniek, Gemeente Enschede (Team Talentontwikkeling) en het bedrijf LAYaLAY.
