Explainable Artificial Intelligence (XAI) aims to provide insights into the inner workings and the outputs of AI systems. Recently, there’s been growing recognition that explainability is inherently human-centric, tied to how people perceive explanations. Despite this, there is no consensus in the research community on whether user evaluation is crucial in XAI, and if so, what exactly needs to be evaluated and how. This systematic literature review addresses this gap by providing a detailed overview of the current state of affairs in human-centered XAI evaluation. We reviewed 73 papers across various domains where XAI was evaluated with users. These studies assessed what makes an explanation “good” from a user’s perspective, i.e., what makes an explanation meaningful to a user of an AI system. We identified 30 components of meaningful explanations that were evaluated in the reviewed papers and categorized them into a taxonomy of human-centered XAI evaluation, based on: (a) the contextualized quality of the explanation, (b) the contribution of the explanation to human-AI interaction, and (c) the contribution of the explanation to human- AI performance. Our analysis also revealed a lack of standardization in the methodologies applied in XAI user studies, with only 19 of the 73 papers applying an evaluation framework used by at least one other study in the sample. These inconsistencies hinder cross-study comparisons and broader insights. Our findings contribute to understanding what makes explanations meaningful to users and how to measure this, guiding the XAI community toward a more unified approach in human-centered explainability.
MULTIFILE
16-10-2024The increasing use of AI in industry and society not only expects but demands that we build human-centred competencies into our AI education programmes. The computing education community needs to adapt, and while the adoption of standalone ethics modules into AI programmes or the inclusion of ethical content into traditional applied AI modules is progressing, it is not enough. To foster student competencies to create AI innovations that respect and support the protection of individual rights and society, a novel ground-up approach is needed. This panel presents on one such approach, the development of a Human-Centred AI Masters (HCAIM) as well as the insights and lessons learned from the process. In particular, we discuss the design decisions that have led to the multi-institutional master’s programme. Moreover, this panel allows for discussion on pedagogical and methodological approaches, content knowledge areas and the delivery of such a novel programme, along with challenges faced, to inform and learn from other educators that are considering developing such programmes.
The aim of this research/project is to investigate and analyze the opportunities and challenges of implementing AI technologies in general and in the transport and logistics sectors. Also, the potential impacts of AI at sectoral, regional, and societal scales that can be identified and chan- neled, in the field of transport and logistics sectors, are investigated. Special attention will be given to the importance and significance of AI adoption in the development of sustainable transport and logistics activities using intelligent and autonomous transport and cleaner transport modalities. The emphasis here is therefore on the pursuit of ‘zero emissions’ in transport and logistics at the urban/city and regional levels.Another goal of this study is to examine a new path for follow-up research topics related to the economic and societal impacts of AI technology and the adoption of AI systems at organizational and sectoral levels.This report is based on an exploratory/descriptive analysis and focuses mainly on the examination of existing literature and (empirical) scientific research publica- tions, previous and ongoing AI initiatives and projects (use cases), policy documents, etc., especially in the fields of transport and logistics in the Netherlands. It presents and discusses many aspects of existing challenges and opportunities that face organizations, activities, and individuals when adopting AI technology and systems.
Het RAAK-MKB project "(G)een Moer Aan" heeft zich gericht op het ontwerpen van een veilige en effectieve ondersteuning van een cobot in een productieomgeving. De focus is hierbij gelegd op productiehandelingen die in veel sectoren voorkomen en die relatief veel arbeidstijd kosten, zoals het indraaien van moeren en bouten in een object. Binnen het project is veel kennis opgedaan dit heeft geresulteerd in gripperontwerpen die in staat zijn een bout in een flens te draaien. Daarnaast is kennis gegeneerd van vision technieken om gaten e.d. te detecteren, en het meenemen van (beleefde) veiligheid in het ontwerp van een cobot systeem. Deze nieuw opgedane kennis is erg bruikbaar voor zowel de beroepspraktijk als voor de studenten in het onderwijs. Dat maakt het relevant voor (her)gebruik middels het nieuwe open-acces e-learning platform van Fontys: Open Learning Labs. Door trainingsmateriaal te ontwikkelen dat betrekking heeft op onder andere het aspect veilig ontwerpen, worden toekomstige engineers (de studenten) en zittend personeel bij bedrijven bekend met nieuwe technieken die toepasbaar zijn in diverse sectoren waar met robots gewerkt wordt. Het doel van deze Top-up aanvraag is tweeledig: 1) Het vergroten van de zichtbaarheid van de resultaten uit het initiële RAAK-project, zowel richting onderwijs, onderzoek en beroepspraktijk. 2) Het realiseren van trainingsmateriaal t.b.v. het rekening houden met en veilig ontwerpen van cobotsystemen. Door o.a. kennis aan te dragen omtrent het doen van een correcte risico analyse van het proces. Dit zal bij toekenning stapsgewijs uitgevoerd worden: 1. Definiëren inhoud lesmodules en bijbehorende didactische werkvormen 2. Realisatie PR- & instructievideo's en onderwijsopdrachten 3. Realisatie E-learning lesmodule Dit alles gekoppeld aan het open-acces e-learning platform Open Learning Labs van Fontys.
Het RAAK-MKB project Aerobic heeft zich gericht op modulaire robotica (grippers, handling en vision systemen) en specifiek binpicking. Binnen dit project is veel kennis opgedaan die heeft geresulteerd in diverse fysieke demonstrators (robotopstellingen t.b.v. binpicking). Deze nieuw opgedane kennis is erg bruikbaar voor zowel de beroepspraktijk als studenten. Daarnaast is deze kennis praktisch gemaakt en laagdrempelig toepasbaar. Dat maakt het relevant voor (her)gebruik middels het nieuwe open-acces e-learning platform van Fontys: Open Learning Labs. Door trainingsmateriaal te ontwikkelen dat betrekking heeft op onder andere het aspect “binpicking” met behulp van robots, worden toekomstige engineers (onze studenten) en zittend personeel bij bedrijven bekend met nieuwe technieken die toepasbaar zijn in diverse sectoren waar met robots gewerkt wordt. Het doel van deze Top-up aanvraag is tweeledig: 1) het vergroten van de zichtbaarheid van de resultaten uit het initiële RAAK-project, zowel richting onderwijs, onderzoek en beroepspraktijk. 2) het realiseren van trainingsmateriaal t.b.v. het praktisch toepassen van kennis die betrekking heeft op de gerealiseerde binpicking-demonstrator binnen het RAAK project. Dit zal bij toekenning stapsgewijs uitgevoerd worden: 1. Definiëren inhoud lesmodule en bijbehorende didactische werkvormen 2. Realisatie PR- & instructievideo's en onderwijsopdrachten 3. Realisatie E-learning lesmodule Dit alles gekoppeld aan het open-acces e-learning platform Open Learning Labs van Fontys.
The pace of technology advancements continues to accelerate, and impacts the nature of systems solutions along with significant effects on involved stakeholders and society. Design and engineering practices with tools and perspectives, need therefore to evolve in accordance to the developments that complex, sociotechnical innovation challenges pose. There is a need for engineers and designers that can utilize fitting methods and tools to fulfill the role of a changemaker. Recognized successful practices include interdisciplinary methods that allow for effective and better contextualized participatory design approaches. However, preliminary research identified challenges in understanding what makes a specific method effective and successfully contextualized in practice, and what key competences are needed for involved designers and engineers to understand and adopt these interdisciplinary methods. In this proposal, case study research is proposed with practitioners to gain insight into what are the key enabling factors for effective interdisciplinary participatory design methods and tools in the specific context of sociotechnical innovation. The involved companies are operating at the intersection between design, technology and societal impact, employing experts who can be considered changemakers, since they are in the lead of creative processes that bring together diverse groups of stakeholders in the process of sociotechnical innovation. A methodology will be developed to capture best practices and understand what makes the deployed methods effective. This methodology and a set of design guidelines for effective interdisciplinary participatory design will be delivered. In turn this will serve as a starting point for a larger design science research project, in which an educational toolkit for effective participatory design for socio-technical innovation will be designed.
