ENGINEERINGNET.BE - Autonome AI-systemen kunnen goed van pas komen in gebieden met weinig bereik. Denk aan het voorkomen van bosbranden of het in de gaten houden van gewassen.
In zulke situaties is Edge AI inzetbaar: ver weg van de servers waar AI normaal gesproken gebruik van maakt. Bijvoorbeeld in een klein apparaatje of in een drone.
De huidige AI-modellen zijn echter nog heel groot, omdat ze veel berekeningen uitvoeren. Een apparaatje dat alleen maar een batterij heeft, zou zo al gauw leeg zijn. Door flink te sleutelen aan de software zouden AI-modellen ook aan de ‘edge’ hun werk moeten kunnen doen.
Universitair docent Dolly Sapra van TU Eindhoven werkt bijvoorbeeld aan een voorstel om Edge AI toe te passen in apparaten die zorgen voor de bestuiving van gewassen in de verticale landbouw.
Kleine apparaatjes moeten automatisch kunnen inschatten wanneer bestuiving nodig is, en waar precies op het gewas. Daarvoor is een klein, energie-efficiënt AI-model nodig.
Een van de manieren om zo’n model te maken is door te kijken of je delen van de software kunt weglaten, maar hoe ver ga je daarin? Sapra: ‘Als je meer weglaat, wordt je model minder accuraat. Daarin moet je een balans zien te vinden.’
Een andere manier is om te variëren in de frequentie die onderdelen van een chip gebruiken. Als er een taak moet worden uitgevoerd, dan kunnen meerdere onderdelen aan het werk worden gezet.
‘Sommige onderdelen werken op een hogere frequentie en zijn sneller klaar, maar ze verbruiken daardoor wel meer energie. Terwijl andere onderdelen langzamer werken.'
'We onderzoeken hoe we de frequentie omlaag kunnen brengen, zonder dat dit de taak in zijn geheel vertraagt. Het gaat er dus om dat je alle mogelijkheden van de software en de hardware zo optimaal mogelijk benut.’
Het is een persoonlijke missie voor Sapra om AI-modellen energie-efficiënt te maken voor toepassingen aan de edge, en voor grotere systemen die op servers in datacentra zijn aangesloten.
Een van de nieuwe onderzoekslijnen van Sapra wordt dan ook om hybride AI-modellen te maken, die de huidige, energie-intensieve technieken combineren met oudere, zuinigere technieken.
‘De modellen achter ChatGPT zijn gigantisch. Het schijnt dat één vraag aan ChatGPT 36 cent aan energie kost. De grote techbedrijven zijn momenteel alleen maar bezig met het maken van grotere modellen die nog meer mogelijkheden bieden, en ze houden zich niet met het energieverbruik bezig.'
'Maar dit kan niet eeuwig zo doorgaan. Op een gegeven moment lopen de modellen tegen de grenzen aan vanwege het energieverbruik. Het verminderen van de ecologische voetafdruk is voor mij dan ook een heel belangrijk punt.’
