Naar een betekenisvolle uitleg van AI-toepassingen in de financiële dienstverlening

Artificiële intelligentie (AI) wordt steeds meer toegepast door financiële dienstverleners in Nederland. Uitlegbaarheid van de uitkomsten en werking van AI-toepassingen wordt daarbij gezien als een belangrijke voorwaarde om vertrouwen van consumenten en maatschappij in AI-toepassingen te borgen. Financiële dienstverleners zien dan ook het belang van uitlegbare AI maar geven aan te worstelen met de implementatie en met name de vraag hoe uitkomsten van complexe AI-toepassingen om te zetten naar een begrijpelijke uitleg voor medewerkers zoals klantacceptanten, schadebehandelaren en hypotheekadviseurs. Dat is van belang omdat deze medewerkers met de klant communiceren en in staat moeten zijn om die een uitleg te geven bijvoorbeeld als de schadeclaim van een klant wordt afgewezen omdat die door een AI-toepassing als frauduleus is bestempeld. Kortom, als medewerkers het niet begrijpen, begrijpt de klant het ook niet. Daarnaast speelt dat de aankomende EU AI Verordening ook eisen gaat stellen aan de uitlegbaarheid van bepaalde risicovolle AI-toepassingen. Dit project heeft tot doel handreikingen te ontwikkelen voor een betekenisvolle uitleg zodat medewerkers binnen de financiële dienstverlening de werking en uitkomsten van de AI-toepassingen die ze gebruiken beter begrijpen. De onderzoeksaanpak is gebaseerd op design science en daarbinnen een mix van methoden. Allereerst worden eisen en behoeften aan betekenisvolle uitleg in kaart gebracht op basis van use cases van financiële dienstverleners, literatuur, markt en wet- en regelgeving. Vervolgens worden voor de use cases prototypes ontwikkeld van betekenisvolle uitleg die paarsgewijs aan medewerkers van zo’n use case worden voorgelegd die daaruit een keuze moeten maken. De opgedane inzichten worden vertaald naar handreikingen in de vorm van tools en instrumenten voor het genereren, communiceren en evalueren van een betekenisvolle uitleg. Tot slot worden deze handreikingen beproefd in een regulatory sandbox voor een bepaalde use case om te toetsen of ze hulp bieden bij het voldoen aan wet- en regelgeving.  

Het project heeft zich gericht op het ontwikkelen van richtlijnen en instrumenten om betekenisvolle uitleg van AI-toepassingen binnen de financiële dienstverlening te communiceren en evalueren. De centrale onderzoeksvraag was gericht op hoe deze uitleg kan worden aangepast aan de behoeften van interne gebruikers en aan geldende wet- en regelgeving. Interne gebruikers, zoals klantacceptanten en hypotheekadviseurs, fungeren vaak als contactpunten met klanten en moeten de uitkomsten van AI-toepassingen begrijpen en verantwoorden.
In het project zijn met partners uit de financiële sector en AI-sector vier case studies opgesteld van AI-toepassingen waarbij uitleg nodig is. De eisen voor uitleg zijn in kaart gebracht, zowel op basis van wetenschappelijke literatuur en op basis van wetgeving. Hier is een eisenlijst uit voortgekomen met eisen voor mensgerichte uitleg. Voor twee van de use cases zijn vervolgens ook detailontwerpen gemaakt, waarin verschillende vormen van uitleg zijn getoond. De ontwerpen zijn digitaal beschikbaar voor andere onderzoekers en voor ontwerpers van AI-systemen.
De belangrijkste lessen uit het project zijn voor een breed publiek toegankelijk gemaakt in een whitepaper “Handreiking user interface design van uitlegbare AI”.
Er is tevens onderzocht samen met partners DNB en EZ of het nodig was om een ‘regulatory sandbox’ (een nieuw juridisch instrument uit de AI Act) op te zetten. Dit was niet nodig, de handreiking kon zonder sandbox worden geëvalueerd.