ENGINEERINGNET.BE - “Voor veel toepassingen is het belangrijk om te weten of het model de juiste redenering gebruikt om tot een bepaalde voorspelling te komen”, zegt Nauta.
Eerder uitlegbaar AI-onderzoek maakte veelal gebruik van post-hoc verklaarbaarheidsmethoden, waarbij het model pas na training van het model wordt geïnterpreteerd.
Een vrij nieuwe richting is ‘intrinsically interpretable machine learning'. Daarbij is de uitlegbaarheid in het model zelf is verwerkt: interpretability by design. Nauta ontwikkelde een model, kortweg genaamd ProtoTree, voor interpreteerbare beeldclassificatie.
Het model is getraind op een dataset met afbeeldingen van 200 vogelsoorten. Wanneer het model een foto te zien krijgt, zoekt het naar overeenkomende fysieke kenmerken van vogels.
ProtoTree onthulde bijvoorbeeld dat het model leerde om een type watervogel te onderscheiden van een zangvogel via de aanwezigheid van boombladeren. Door de mogelijke vooroordelen van het model te tonen, is discriminatie door machine learning-algoritmen aangepakt.
De nieuwigheid hier is dat beslispunten bestaan uit kleine afbeeldingen die in één oogopslag zijn te interpreteren en dus betekenisvol zijn voor de mens. Daarvoor zijn alleen enkele voorbeeldafbeeldingen nodig.
Ter vergelijking: bij black box machine learning is de computer een leerling die leert een taak zelf uit te voeren. Het leert dus vogels te classificeren door de naam van de vogel te 'voorspellen'. Bij intrinsically interpretable machine learning wordt de computer echter een leraar die mensen kan onderwijzen, zonder dat deze zelf enige opleiding heeft genoten.
Nauta: “De gezondheidszorg zou een interessante sector zijn om nader onderzoek te doen naar de toepasbaarheid van het ProtoTree-model, bijvoorbeeld het herkennen van breuken op röntgenfoto’s.
We werken nu toe naar samenwerking tussen de University of Twente, Ziekenhuisgroep Twente, het Institute for AI in Medicine in Essen en de Universiteit van Münster”.
