Artificial Intelligence (AI) offers organizations unprecedented opportunities. However, one of the risks of using AI is that its outcomes and inner workings are not intelligible. In industries where trust is critical, such as healthcare and finance, explainable AI (XAI) is a necessity. However, the implementation of XAI is not straightforward, as it requires addressing both technical and social aspects. Previous studies on XAI primarily focused on either technical or social aspects and lacked a practical perspective. This study aims to empirically examine the XAI related aspects faced by developers, users, and managers of AI systems during the development process of the AI system. To this end, a multiple case study was conducted in two Dutch financial services companies using four use cases. Our findings reveal a wide range of aspects that must be considered during XAI implementation, which we grouped and integrated into a conceptual model. This model helps practitioners to make informed decisions when developing XAI. We argue that the diversity of aspects to consider necessitates an XAI “by design” approach, especially in high-risk use cases in industries where the stakes are high such as finance, public services, and healthcare. As such, the conceptual model offers a taxonomy for method engineering of XAI related methods, techniques, and tools.
MULTIFILE
Dit artikel legt het belang uit van goede uitleg van kunstmatige intelligentie. Rechten van individuen zullen door ontwerpers van systemen van te voren moeten worden ingebouwd. AI wordt beschouwd als een 'sleuteltechnologie' die de wereld net zo ingrijpend gaat veranderen als de industriele revolutie. Binnen de stroming XAI wordt onderzoek gedaan naar interpretatie van werking van AI.
DOCUMENT
This guide was developed for designers and developers of AI systems, with the goal of ensuring that these systems are sufficiently explainable. Sufficient here means that it meets the legal requirements from AI Act and GDPR and that users can use the system properly. Explainability of decisions is an important requirement in many systems and even an important principle for AI systems [HLEG19]. In many AI systems, explainability is not self-evident. AI researchers expect that the challenge of making AI explainable will only increase. For one thing, this comes from the applications: AI will be used more and more often, for larger and more sensitive decisions. On the other hand, organizations are making better and better models, for example, by using more different inputs. With more complex AI models, it is often less clear how a decision was made. Organizations that will deploy AI must take into account users' need for explanations. Systems that use AI should be designed to provide the user with appropriate explanations. In this guide, we first explain the legal requirements for explainability of AI systems. These come from the GDPR and the AI Act. Next, we explain how AI is used in the financial sector and elaborate on one problem in detail. For this problem, we then show how the user interface can be modified to make the AI explainable. These designs serve as prototypical examples that can be adapted to new problems. This guidance is based on explainability of AI systems for the financial sector. However, the advice can also be used in other sectors.
DOCUMENT
Bedrijven, waaronder telecomproviders, vertrouwen steeds meer op complexe AI-systemen. Het gebrek aan interpreteerbaarheid dat zulke systemen vaak introduceren zorgt voor veel uitdagingen om het onderliggende besluitvormingsproces te begrijpen. Vertrouwen in AI-systemen is belangrijk omdat het bijdraagt aan acceptatie en adoptie onder gebruikers. Het vakgebied Explainable AI (XAI) speelt hierbij een cruciale rol door transparantie en uitleg aan gebruikers te bieden voor de beslissingen en werking van zulke systemen.Doel Bij AI-systemen zijn gewoonlijk verschillende stakeholders betrokken, die elk een unieke rol hebben met betrekking tot deze systemen. Als gevolg hiervan varieert de behoefte voor uitleg afhankelijk van wie het systeem gebruikt. Het primaire doel van dit onderzoek is het genereren en evalueren van op stakeholder toegesneden uitleg voor use cases in de telecomindustrie. Door best practices te identificeren, nieuwe explainability tools te ontwikkelen en deze toe te passen in verschillende use cases, is het doel om waardevolle inzichten op te doen. Resultaten Resultaten omvatten het identificeren van de huidige best practices voor het genereren van betekenisvolle uitleg en het ontwikkelen van op maat gemaakte uitleg voor belanghebbenden voor telecom use-cases. Looptijd 01 september 2023 - 30 augustus 2027 Aanpak Het onderzoek begint met een literatuurstudie, gevolgd door de identificatie van mogelijke use-cases en het in kaart brengen van de behoeften van stakeholders. Vervolgens zullen prototypes worden ontwikkeld en hun vermogen om betekenisvolle uitleg te geven, zal worden geëvalueerd.
Bedrijven, waaronder telecomproviders, vertrouwen steeds meer op complexe AI-systemen. Het gebrek aan interpreteerbaarheid dat zulke systemen vaak introduceren zorgt voor veel uitdagingen om het onderliggende besluitvormingsproces te begrijpen. Vertrouwen in AI-systemen is belangrijk omdat het bijdraagt aan acceptatie en adoptie onder gebruikers. Het vakgebied Explainable AI (XAI) speelt hierbij een cruciale rol door transparantie en uitleg aan gebruikers te bieden voor de beslissingen en werking van zulke systemen.
Zorgverleners geven in de palliatieve fase zorg aan zorgvragers en diens naasten gericht op het bestrijden van symptomen en behoud of verhogen van kwaliteit van leven (en sterven). Het niet tijdig (kunnen) herkennen en markeren van de palliatieve fase leidt tot ongewenste situaties in praktijk. Zorgvragers krijgen niet de best passende zorg afgestemd op de wensen en behoeften van zorgvragers wat kan leiden tot over-/onderbehandeling of het overlijden op een locatie die niet de voorkeur van de zorgvrager heeft. Zorgverleners in de eerstelijnszorg vinden het belangrijk om tijdig de palliatieve fase te markeren, maar dat is niet eenvoudig bij zorgvragers met een chronische aandoening als COPD of hartfalen. Bestaande instrumenten die de palliatieve fase markeren halen de praktijk niet, omdat deze niet aansluiten op bestaande werkwijze van het primaire proces. Machine learning op basis van bestaande data en vervolgens geïntegreerd in het individuele elektronisch zorgdossier lijkt een veelbelovende technologische toepassing waarmee positieve ervaring is opgedaan, maar die nog niet ingezet voor het tijdig markeren van de palliatieve fase door verpleegkundigen en verzorgenden. Deze aanvraag heeft de volgende onderzoeksvraag: Hoe kunnen zorgverleners ondersteund worden in de markering van de palliatieve fase door middel van machine learning bij zorgvragers met COPD en hartfalen aan de hand van signalen uit het elektronisch zorgdossier van ZorgAccent en ZZG zorggroep en daarmee een bijdrage leveren aan het verbeteren van de kwaliteit van de palliatieve zorg? Voor de uitwerking is gekozen voor een ontwerpgericht onderzoek. In vijf werkpakketten wordt gewerkt aan de ontwikkeling van de technologische toepassing, gebruikmakend van literatuur en kwalitatieve data van eindgebruikers als zorgverleners, zorgvragers en hun naasten. In de laatste fase wordt een haalbaarheidsstudie naar de toepassing uitgevoerd waarin nagegaan wordt of deze toepassing ondersteunend is bij het markeren van de palliatieve fase, de gebruikerservaringen en beïnvloedende factoren in de praktijk.
