ENGINEERINGNET.BE - Om de energie-efficiëntie van neuromorfische chips echt te benutten, kan de training het beste direct op de neuromorfische chips worden gedaan.
Onderzoekers van TU Eindhoven hebben onlangs aangetoond dat dit mogelijk is. Deze ontdekking kan leiden tot efficiëntere chips voor AI-toepassingen.
De grootste uitdaging voor de onderzoekers was het integreren van de belangrijkste componenten die nodig zijn voor on-chip training op een enkele neuromorfische chip.
“Een belangrijke taak was bijvoorbeeld het integreren van de elektrochemische random-access memory (EC-RAM) componenten”, zegt onderzoeker Yoeri van de Burgt.
“Dit zijn de componenten die de elektrische ladingopslag en het zenden van het signaal nabootsen, wat neuronen in de hersenen doen.”
De onderzoekers maakten een neuraal netwerk met twee lagen op basis van EC-RAM-componenten gemaakt van organische materialen. Zij testten de hardware met een evolutie van het veelgebruikte trainingsalgoritme backpropagation met gradient descent.
“Het conventionele algoritme wordt vaak gebruikt om de nauwkeurigheid van neurale netwerken te verbeteren, maar dat is niet compatibel met onze hardware. Daarom bedachten we onze eigen versie”, zegt mede-onderzoeker Tim Stevens.
Nu AI op veel gebieden en in hoog tempo beslag legt op energiebronnen, is het bovendien verleidelijk voor veel applicaties, van ChatGPT tot apps voor weersvoorspellingen, om neurale netwerken te trainen op hardwarecomponenten voor een fractie van de energiekosten.
Hoewel de onderzoekers hebben aangetoond dat de nieuwe trainingsaanpak werkt, is het de volgende logische stap om de neurale netwerken groter, gedurfder en beter te maken. “We hebben laten zien dat dit werkt voor een klein netwerk met twee lagen”, zegt Van de Burgt.
“Nu willen we de industrie en andere grote onderzoekslaboratoria erbij betrekken, zodat we veel grotere netwerken van hardware-apparaten kunnen bouwen en deze kunnen testen met levensechte dataproblemen.”
Met de volgende stap kunnen de onderzoekers aantonen dat deze systemen zeer efficiënt zijn in het trainen en uitvoeren van bruikbare neurale netwerken en AI-systemen.
“We willen deze technologie graag in verschillende praktijkgevallen toepassen”, zegt Van de Burgt. “Mijn droom is dat dergelijke technologieën in de toekomst de norm worden in AI-toepassingen.”
