Jo-An Kamp is a lecturer and researcher at Fontys University of Applied Sciences in the Netherlands. She coaches ICT students in the fields of UX, research, (interactive) media, communication, (interaction) design, ethics and innovation. She does research on the impact of technology on humans and society. Jo-An is co-creator of the Technology Impact Cycle Toolkit (www.tict.io), a toolkit designed to make people think and make better decisions about (the implementation of) technology and is a member of the Moral Design Strategy research group.
YOUTUBE
poster voor de EuSoMII Annual Meeting in Pisa, Italië in oktober 2023. PURPOSE & LEARNING OBJECTIVE Artificial Intelligence (AI) technologies are gaining popularity for their ability to autonomously perform tasks and mimic human reasoning [1, 2]. Especially within the medical industry, the implementation of AI solutions has seen an increasing pace [3]. However, the field of radiology is not yet transformed with the promised value of AI, as knowledge on the effective use and implementation of AI is falling behind due to a number of causes: 1) Reactive/passive modes of learning are dominant 2) Existing developments are fragmented 3) Lack of expertise and differing perspectives 4) Lack of effective learning space Learning communities can help overcome these problems and address the complexities that come with human-technology configurations [4]. As the impact of a technology is dependent on its social management and implementation processes [5], our research question then becomes: How do we design, configure, and manage a Learning Community to maximize the impact of AI solutions in medicine?
This guide was developed for designers and developers of AI systems, with the goal of ensuring that these systems are sufficiently explainable. Sufficient here means that it meets the legal requirements from AI Act and GDPR and that users can use the system properly. Explainability of decisions is an important requirement in many systems and even an important principle for AI systems [HLEG19]. In many AI systems, explainability is not self-evident. AI researchers expect that the challenge of making AI explainable will only increase. For one thing, this comes from the applications: AI will be used more and more often, for larger and more sensitive decisions. On the other hand, organizations are making better and better models, for example, by using more different inputs. With more complex AI models, it is often less clear how a decision was made. Organizations that will deploy AI must take into account users' need for explanations. Systems that use AI should be designed to provide the user with appropriate explanations. In this guide, we first explain the legal requirements for explainability of AI systems. These come from the GDPR and the AI Act. Next, we explain how AI is used in the financial sector and elaborate on one problem in detail. For this problem, we then show how the user interface can be modified to make the AI explainable. These designs serve as prototypical examples that can be adapted to new problems. This guidance is based on explainability of AI systems for the financial sector. However, the advice can also be used in other sectors.
Bedrijven, waaronder telecomproviders, vertrouwen steeds meer op complexe AI-systemen. Het gebrek aan interpreteerbaarheid dat zulke systemen vaak introduceren zorgt voor veel uitdagingen om het onderliggende besluitvormingsproces te begrijpen. Vertrouwen in AI-systemen is belangrijk omdat het bijdraagt aan acceptatie en adoptie onder gebruikers. Het vakgebied Explainable AI (XAI) speelt hierbij een cruciale rol door transparantie en uitleg aan gebruikers te bieden voor de beslissingen en werking van zulke systemen.Doel Bij AI-systemen zijn gewoonlijk verschillende stakeholders betrokken, die elk een unieke rol hebben met betrekking tot deze systemen. Als gevolg hiervan varieert de behoefte voor uitleg afhankelijk van wie het systeem gebruikt. Het primaire doel van dit onderzoek is het genereren en evalueren van op stakeholder toegesneden uitleg voor use cases in de telecomindustrie. Door best practices te identificeren, nieuwe explainability tools te ontwikkelen en deze toe te passen in verschillende use cases, is het doel om waardevolle inzichten op te doen. Resultaten Resultaten omvatten het identificeren van de huidige best practices voor het genereren van betekenisvolle uitleg en het ontwikkelen van op maat gemaakte uitleg voor belanghebbenden voor telecom use-cases. Looptijd 01 september 2023 - 30 augustus 2027 Aanpak Het onderzoek begint met een literatuurstudie, gevolgd door de identificatie van mogelijke use-cases en het in kaart brengen van de behoeften van stakeholders. Vervolgens zullen prototypes worden ontwikkeld en hun vermogen om betekenisvolle uitleg te geven, zal worden geëvalueerd.
Bedrijven, waaronder telecomproviders, vertrouwen steeds meer op complexe AI-systemen. Het gebrek aan interpreteerbaarheid dat zulke systemen vaak introduceren zorgt voor veel uitdagingen om het onderliggende besluitvormingsproces te begrijpen. Vertrouwen in AI-systemen is belangrijk omdat het bijdraagt aan acceptatie en adoptie onder gebruikers. Het vakgebied Explainable AI (XAI) speelt hierbij een cruciale rol door transparantie en uitleg aan gebruikers te bieden voor de beslissingen en werking van zulke systemen.
Zorgverleners geven in de palliatieve fase zorg aan zorgvragers en diens naasten gericht op het bestrijden van symptomen en behoud of verhogen van kwaliteit van leven (en sterven). Het niet tijdig (kunnen) herkennen en markeren van de palliatieve fase leidt tot ongewenste situaties in praktijk. Zorgvragers krijgen niet de best passende zorg afgestemd op de wensen en behoeften van zorgvragers wat kan leiden tot over-/onderbehandeling of het overlijden op een locatie die niet de voorkeur van de zorgvrager heeft. Zorgverleners in de eerstelijnszorg vinden het belangrijk om tijdig de palliatieve fase te markeren, maar dat is niet eenvoudig bij zorgvragers met een chronische aandoening als COPD of hartfalen. Bestaande instrumenten die de palliatieve fase markeren halen de praktijk niet, omdat deze niet aansluiten op bestaande werkwijze van het primaire proces. Machine learning op basis van bestaande data en vervolgens geïntegreerd in het individuele elektronisch zorgdossier lijkt een veelbelovende technologische toepassing waarmee positieve ervaring is opgedaan, maar die nog niet ingezet voor het tijdig markeren van de palliatieve fase door verpleegkundigen en verzorgenden. Deze aanvraag heeft de volgende onderzoeksvraag: Hoe kunnen zorgverleners ondersteund worden in de markering van de palliatieve fase door middel van machine learning bij zorgvragers met COPD en hartfalen aan de hand van signalen uit het elektronisch zorgdossier van ZorgAccent en ZZG zorggroep en daarmee een bijdrage leveren aan het verbeteren van de kwaliteit van de palliatieve zorg? Voor de uitwerking is gekozen voor een ontwerpgericht onderzoek. In vijf werkpakketten wordt gewerkt aan de ontwikkeling van de technologische toepassing, gebruikmakend van literatuur en kwalitatieve data van eindgebruikers als zorgverleners, zorgvragers en hun naasten. In de laatste fase wordt een haalbaarheidsstudie naar de toepassing uitgevoerd waarin nagegaan wordt of deze toepassing ondersteunend is bij het markeren van de palliatieve fase, de gebruikerservaringen en beïnvloedende factoren in de praktijk.
