• 09/11/2012

Robot Leo leert zichzelf lopen (+video)

Robots programmeren is tijdrovend en lastig. Het zou efficiënter zijn als de robots zelflerend zouden zijn.

Trefwoorden: #robot, #TU Delft, #zelflerend

Lees verder

Techniek

( Foto: TU Delft )

ENGINEERINGNET -- Erik Schuitema van de Nederlandse TU Delft onderzocht dit met robot Leo, die zichzelf kan leren lopen.

Dienstverlenende robots hebben de potentie om, op termijn, heel waardevol te zijn in huishoudens, de gezondheidszorg en in andere arbeidsintensieve omgevingen.

Zulke omgevingen zijn echter meestal uniek, niet erg gestructureerd en aan verandering onderhevig, wat het lastig en tijdrovend maakt om dienstverlenende robots robuust en veelzijdig te maken via handmatig programmeren.

Robots die (ter plekke) zelf leren om taken te vervullen door interactie met de echte wereld, kunnen daarom een aantrekkelijk alternatief zijn.

Met Reinforcement Learning (RL) kan een systeem leren om taken op te lossen op basis van terugkoppeling op zijn gedrag: goed gedrag wordt versterkt door positieve beloningen, slecht gedrag wordt bestraft door negatieve beloningen. Erik Schuitema onderzocht de kansen en mogelijkheden van een dergelijke aanpak voor echte robots.

Meestal wordt dit soort onderzoek louter gedaan via simulaties. ‘Er is nog weinig bekend over de aansluiting met echte, daadwerkelijke hardware’, zegt Schuitema. ‘Het is een sterk punt van de TU Delft dat juist die combinatie kan worden gemaakt.’

Schuitema: ‘We hebben een tweevoetige, lopende robot, genaamd Leo, speciaal ontworpen en gebouwd om onderzoek te doen naar het toepassen van Reinforcement Learning op echte robots. Robot Leo is in staat om twee motorische basistaken te leren: het plaatsen van een voet op een traptrede, en lopen.’

Voordeel is hierbij dat aan de TU Delft al heel veel ervaring is opgedaan met het ontwerpen en bouwen van lopende robots. Het onderzoek werd medegefinancieerd door technologiestichting STW.

Om te leren lopen, ontvangt Leo een positieve beloning voor het vooruit bewegen van zijn voet, en negatieve beloningen voor het gebruik van tijd en energie.

Die beloning is simpelweg een getalletje in de computer dat hoger of lager kan worden. Door uitproberen en bijsturen probeert Leo zijn beloningen te maximaliseren.

Het plaatsen van een voet op de trede, een relatief simpele taak, leerde Leo op deze manier uit zichzelf binnen vijftien minuten. Het leren lopen duurt ongeveer 5 uur in een simulatie, waarbij de robot duizenden keren valt.

Omdat de hardware niet helemaal bestand was tegen zoveel keren vallen, werd besloten om Leo in de beginfase van het leren nog een handje te helpen. Hij kon in het begin nog een beetje ‘afkijken’ van de manier waarop lopende robots nu handmatig worden geprogrammeerd.

Leo kon deze loopwijze al snel evenaren en zelfs iets verbeteren binnen een aantal uur.

Als de hardware eenmaal beter bestand wordt gemaakt tegen vallen, zal een robot als Leo inderdaad helemaal uit zichzelf kunnen leren lopen, stelt Schuitema.

Het lijkt er dus op dat de aanpak via Reinforcement Learning kansrijk kan zijn. Maar dan is er sowieso nog een lange weg te gaan.

Schuitema: ‘Het werk staat nog in de kinderschoenen. Het kan nog wel decennia duren voordat dit soort robots in de praktijk aan de slag kunnen.’


(GL)

Video 1: Leo leert stappen

Video 2 : Leo leert traplopen