Deze handreiking is ontwikkeld voor designers en ontwikkelaars van AI-systemen, met als doel om te zorgen dat deze systemen voldoende uitlegbaar zijn. Voldoende betekent hier dat het voldoet aan de wettelijke eisen vanuit AI Act en AVG en dat gebruikers het systeem goed kunnen gebruiken. In deze handreiking leggen we ten eerste uit wat de eisen zijn die er wettelijk gelden voor uitlegbaarheid van AI-systemen. Deze zijn afkomstig uit de AVG en de AI-Act. Vervolgens leggen we uit hoe AI gebruikt wordt in de financiële sector en werken één probleem in detail uit. Voor dit probleem laten we vervolgens zien hoe de user interface aangepast kan worden om de AI uitlegbaar te maken. Deze ontwerpen dienen als prototypische voorbeelden die aangepast kunnen worden op nieuwe problemen. Deze handreiking is gebaseerd op uitlegbaarheid van AI-systemen voor de financiële sector. De adviezen kunnen echter ook gebruikt worden in andere sectoren.
DOCUMENT
This guide was developed for designers and developers of AI systems, with the goal of ensuring that these systems are sufficiently explainable. Sufficient here means that it meets the legal requirements from AI Act and GDPR and that users can use the system properly. Explainability of decisions is an important requirement in many systems and even an important principle for AI systems [HLEG19]. In many AI systems, explainability is not self-evident. AI researchers expect that the challenge of making AI explainable will only increase. For one thing, this comes from the applications: AI will be used more and more often, for larger and more sensitive decisions. On the other hand, organizations are making better and better models, for example, by using more different inputs. With more complex AI models, it is often less clear how a decision was made. Organizations that will deploy AI must take into account users' need for explanations. Systems that use AI should be designed to provide the user with appropriate explanations. In this guide, we first explain the legal requirements for explainability of AI systems. These come from the GDPR and the AI Act. Next, we explain how AI is used in the financial sector and elaborate on one problem in detail. For this problem, we then show how the user interface can be modified to make the AI explainable. These designs serve as prototypical examples that can be adapted to new problems. This guidance is based on explainability of AI systems for the financial sector. However, the advice can also be used in other sectors.
DOCUMENT
Introduction: Sensor-feedback systems can be used to support people after stroke during independent practice of gait. The main aim of the study was to describe the user-centred approach to (re)design the user interface of the sensor feedback system “Stappy” for people after stroke, and share the deliverables and key observations from this process. Methods: The user-centred approach was structured around four phases (the discovery, definition, development and delivery phase) which were fundamental to the design process. Fifteen participants with cognitive and/or physical limitations participated (10 women, 2/3 older than 65). Prototypes were evaluated in multiple test rounds, consisting of 2–7 individual test sessions. Results: Seven deliverables were created: a list of design requirements, a personae, a user flow, a low-, medium- and high-fidelity prototype and the character “Stappy”. The first six deliverables were necessary tools to design the user interface, whereas the character was a solution resulting from this design process. Key observations related to “readability and contrast of visual information”, “understanding and remembering information”, “physical limitations” were confirmed by and “empathy” was additionally derived from the design process. Conclusions: The study offers a structured methodology resulting in deliverables and key observations, which can be used to (re)design meaningful user interfaces for people after stroke. Additionally, the study provides a technique that may promote “empathy” through the creation of the character Stappy. The description may provide guidance for health care professionals, researchers or designers in future user interface design projects in which existing products are redesigned for people after stroke.
DOCUMENT
Communicatieprofessionals geven aan dat organisaties geconfronteerd worden met een almaar complexere samenleving en daarmee het overzicht verloren hebben. Zo’n overzicht, een ‘360 graden blik’, is echter onontbeerlijk. Dit vooral, aldus diezelfde communicatieprofessionals, omdat dan eerder kan worden opgemerkt wanneer de legitimiteit van een organisatie ter discussie staat en zowel tijdiger als adequater gereageerd kan worden. Op dit moment is het echter nog zo dat een reactie pas op gang komt als zaken reeds in een gevorderd stadium verkeren. Onderstromen blijven onderbelicht, als ze niet al geheel onzichtbaar zijn. Een van de verklaringen hiervoor is de grote rol van sociale media in de publieke communicatie van dit moment. Die media produceren echter zoveel data dat communicatieprofessionals daartegenover machteloos staan. De enige oplossing is automatisering van de selectie en analyse van die data. Helaas is men er tot op heden nog niet in geslaagd een brug te slaan tussen het handwerk van de communicatieprofessional en de vele mogelijkheden van een datagedreven aanpak. Deze brug dan wel de vertaling van de huidige praktijk naar een hogere technisch niveau staat centraal in dit onderzoeksproject. Daarbij gaat het in het bijzonder om een vroegtijdige herkenning van potentiële issues, in het bijzonder met betrekking tot geruchtvorming en oproepen tot mobilisatie. Met discoursanalyse, AI en UX Design willen we interfaces ontwikkelen die zicht geven op die onderstromen. Daarbij worden transcripten van handmatig gecodeerde discoursanalytische datasets ingezet voor AI, in het bijzonder voor de clustering en classificatie van nieuwe data. Interactieve datavisualisaties maken die datasets vervolgens beter doorzoekbaar terwijl geautomatiseerde patroon-classificaties de communicatieprofessional in staat stellen sociale uitingen beter in te schatten. Aldus wordt richting gegeven aan handelingsperspectieven. Het onderzoek voorziet in de oplevering van een high fidelity ontwerp en een handleiding plus training waarmee analisten van newsrooms en communicatieprofessionals daadwerkelijk aan de slag kunnen gaan.
De maatschappelijke discussies over de invloed van AI op ons leven tieren welig. De terugkerende vraag is of AI-toepassingen – en dan vooral recommendersystemen – een dreiging of een redding zijn. De impact van het kiezen van een film voor vanavond, met behulp van Netflix' recommendersysteem, is nog beperkt. De impact van datingsites, navigatiesystemen en sociale media – allemaal systemen die met algoritmes informatie filteren of keuzes aanraden – is al groter. De impact van recommendersystemen in bijvoorbeeld de zorg, bij werving en selectie, fraudedetectie, en beoordelingen van hypotheekaanvragen is enorm, zowel op individueel als op maatschappelijk niveau. Het is daarom urgent dat juist recommendersystemen volgens de waarden van Responsible AI ontworpen worden: veilig, eerlijk, betrouwbaar, inclusief, transparant en controleerbaar.Om op een goede manier Responsible AI te ontwerpen moeten technische, contextuele én interactievraagstukken worden opgelost. Op het technische en maatschappelijke niveau is al veel vooruitgang geboekt, respectievelijk door onderzoek naar algoritmen die waarden als inclusiviteit in hun berekening meenemen, en door de ontwikkeling van wettelijke kaders. Over implementatie op interactieniveau bestaat daarentegen nog weinig concrete kennis. Bekend is dat gebruikers die interactiemogelijkheden hebben om een algoritme bij te sturen of aan te vullen, meer transparantie en betrouwbaarheid ervaren. Echter, slecht ontworpen interactiemogelijkheden, of een mismatch tussen interactie en context kosten juist tijd, veroorzaken mentale overbelasting, frustratie, en een gevoel van incompetentie. Ze verhullen eerder dan dat ze tot transparantie leiden.Het ontbreekt ontwerpers van interfaces (UX/UI designers) aan systematische concrete kennis over deze interactiemogelijkheden, hun toepasbaarheid, en de ethische grenzen. Dat beperkt hun mogelijkheid om op interactieniveau aan Responsible AI bij te dragen. Ze willen daarom graag een pattern library van interactiemogelijkheden, geannoteerd met onderzoek over de werking en inzetbaarheid. Dit bestaat nu niet en met dit project willen we een substantiële bijdrage leveren aan de ontwikkeling ervan.
In de automotive sector vindt veel onderzoek en ontwikkeling plaats op het gebied van autonome voertuigtechnologie. Dit resulteert in rijke open source software oplossingen voor besturing van robotvoertuigen. HAN heeft met haar Streetdrone voertuig reeds goede praktijkervaring met dergelijke software. Deze oplossingen richten zich op een Operational Design Domain dat uitgaat van de publieke verkeersinfrastructuur met daarbij de weggebruikers rondom het robotvoertuig. In de sectoren agrifood en smart industry is een groeiende behoefte aan automatisering van mobiele machinerie, versterkt door de actuele coronacrisis. Veel functionaliteit van bovengenoemde automotive software is inzetbaar voor mobiele robotica in deze sectoren. De toepassingen zijn enerzijds minder veeleisend - denk aan de meer gestructureerde omgeving, lagere snelheden en minder of geen ‘overige weggebruikers’ – en anderzijds heel specifiek als het gaat over routeplanning en (indoor) lokalisatie. Vanwege dit specifiek karakter is de bestaande software niet direct inzetbaar in deze sectoren. Het MKB in deze sectoren ervaart daarom een grote uitdaging om dergelijke complexe autonome functionaliteit beschikbaar te maken, zonder dat men kan voorbouwen een open, sectorspecifieke softwareoplossing. In Automotion willen de aangesloten partners vanuit bestaande kennis en ervaring tot een eerste integratie en demonstratie komen van een beschikbare automotive open source softwarebibliotheek, aangepast en specifiek ingezet op rijdende robots voor agrifood en smart industry, met focus ‘pickup and delivery’ scenario’s. Hierbij worden de aanpassingen - nieuwe en herschreven ‘boeken’ in de ‘bibliotheek’ - weer in open source gepubliceerd ter versterking van het MKB en het onderwijs. Parallel hieraan willen de partners ontdekken welke praktijkvragen uit dit proces voortvloeien en welke onderliggende kennislacunes in de toekomst moeten worden ingevuld. Via open workshops met uitnodigingen in diverse netwerken worden vele partijen uitgenodigd om gezamenlijk aan de hand van de opgedane ervaringen van gedachten te wisselen over actuele kennisvragen en mogelijke gezamenlijke toekomstige beantwoording daarvan.
