ENGINEERINGNET.BE - Zelflerende computermodellen kunnen waardevol zijn voor bijvoorbeeld spraakherkenning, fraudedetectie en het inschatten van medische risico’s. Maar daarbij is grote voorzichtigheid geboden: hoe een model tot een bepaalde conclusie komt, moet daarom volgens de wet uitlegbaar zijn.
Om data-experts daarbij te helpen, ontwikkelde promovendus Dennis Collaris van TU Eindhoven interactieve visualisatietools die inzicht bieden in de ‘gedachtegang’ van AI-modellen.
Collaris: "Er zijn toepassingen, bijvoorbeeld fraudedetectie, waarbij een voorspelling van een AI-systeem enorme gevolgen kan hebben voor mensen die bijvoorbeeld ten onrechte als fraudeur worden aangemerkt."
De Europese privacywetgeving AVG stelt daarom dat altijd uit te leggen moet zijn hoe computermodellen tot een bepaalde aanbeveling komen. Dat is bij een zelflerend AI-systeem echter erg lastig: het is de spreekwoordelijke ‘black box’ die op basis van een berg data een antwoord uitspuugt, waarvan niet zomaar te achterhalen is hoe het tot stand is gekomen.
Om uit te vinden welke strategie een computermodel heeft gevolgd, is het overzichtelijk in beeld brengen van de gebruikte data van essentieel belang. Collaris ontwikkelde daarom twee interactieve softwaretools, ExplainExplore en StrategyAtlas, die gebruikers inzicht bieden in zelflerende modellen.
StrategyAtlas helpt onder meer bij het zoeken naar patronen in de data, en laat met name zien hoe het model personen indeelt in verschillende groepen.
ExplainExplore laat zien hoe zwaar een bepaalde eigenschap voor het model meetelt bij het bepalen van een voorspelling, de zogeheten 'feature contribution’.
Collaris: “Als er uit deze analyse onverwachte feature contributions naar voren komen, kan dit een reden zijn om het model nog eens kritisch onder de loep te nemen, maar in theorie kan een onverwacht resultaat natuurlijk ook tot interessante medische inzichten leiden.”
