ENGINEERINGNET.BE - “Hoewel AI indrukwekkende prestaties levert, ontwikkelen de grote modellen van Silicon Valley, getraind op enorme hoeveelheden data, zich niet meer met hetzelfde tempo als voorheen,” aldus dr. Steffen Werner van Wageningen University & Research.
“Ook is het moeilijk te begrijpen hoe deze modellen functioneren en dus hoe ze verbeterd kunnen worden.”
Werner en zijn collega dr. Michael Coughlan experimenteerden daarom met de kleinst mogelijke deep learning-algoritmen. “Als natuurkundigen zijn we op zoek naar het minimale systeem; we begrijpen door vereenvoudiging,” stelt Coughlan.
Hierbij lieten de wetenschappers zich inspireren door de dierenwereld. “Dierlijke hersenen kunnen functioneren terwijl ze nog groeien, ze hebben minder uitgebreide netwerken nodig en ze kunnen meer dan één taak tegelijk leren,” zegt Werner.
“Een van de problemen waar AI mee te maken heeft, heet catastrofaal vergeten. Stel dat je een AI hebt getraind om handgeschreven nummers te herkennen, en je leert hem daarna om vormen te herkennen.
Vaak vergeet het model dan de eerste taak terwijl het de tweede leert. De meeste biologische hersens kunnen daarentegen meerdere dingen tegelijk leren, zonder ooit het risico te lopen iets te overschrijven.”
Werner en Coughlan slaagden er echter in om hun model twee dingen tegelijk te leren door tijdens de training continu af te wisselen tussen de twee taken. “Hoewel de training iets langer duurt, leerde de AI zowel handschriften als vormen herkennen met ongeveer hetzelfde slagingspercentage als gespecialiseerde tegenhangers.
"Interessant was echter dat het neurale netwerk zichzelf in ruwweg twee helften had verdeeld. Het gebruikte elke helft voor een aparte taak. Zo hadden we het netwerk niet opgebouwd, deze structuur kwam voort uit de training,” zegt Werner.
Werner en Coughlan ontdekten nog een andere verrassende eigenschap toen ze de neurogenese van dieren probeerden na te bootsen.
“Dat is het proces waarmee dierlijke hersenen groeien. Het belangrijkste voor ons was dat biologische cognitie al functioneert terwijl het nog groeit. Daarom hebben we getest of een AI kapot zou gaan als we eraan werkten terwijl het model in training was,” zegt Coughlan.
“Dat gebeurde niet. De stabiliteit van het trainingsproces nam zelfs toe.”
