Download het artikel in 
De Kinect kwam een jaar eerder op de markt als een ‘bewegingscamera’ voor de XBox-spelcomputer. Ogenblikkelijk kraakten hackers toen het toestel. Blijkbaar een ‘accident de parcours’, want ook de ontwikkelings- en engineeringwereld toont - ondermeer voor visiesystemen - interesse in de technologie.
De Kinect is gebaseerd op triangulatie. Hij heeft een infraroodbron die de omgeving bestraalt met een bekend puntenpatroon. Elke beweging die je maakt, zorgt voor een vervorming van het geprojecteerde patroon die de camera registreert. Achterliggende software doet aan patroonherkenning en triangulatie om de diepte te meten. Het begin 2009 door Microsoft overgenomen Israelische PrimeSense ontwierp de techniek en heeft het over ‘LightCoding’. Dat is dus wel iets anders dan ‘Time of Flight’ dat afstanden meet op basis van het tijdverschil tussen het uitzenden van het licht en het opvangen van zijn reflectie.
Het uiteindelijke resultaat is een dieptemap. Bij een beeldsnelheid van 60 frames per seconde zou de camera bewegingen van 1 cm registreren. De camera is ontwikkeld door PrimeSense/3DV Systems. Begin 2009 nam Microsoft 3DV Systems over en bouwde de camera in de Kinect. Verder zit er in de Kinect een RGB-camera, gezichts- en stem-herkenning en microfoon. De technologie omvat naar verluidt een 600-patenten. De consumentenmarkt is hier de technologiemotor. De massamarkt -uiteindelijk gaat het om huiskamerspelletjes die beweging herkennen- rukt de prijzen naar beneden. Microsoft wil de technologie nu opentrekken naar de Windows-pc omgeving.
Industriële belangstelling
Ondertussen vind je op het internet een aantal projecten rond meer industriële toepassingen. Dat van het Finse Fastems bijvoorbeeld, sterk in automatisering, deed met de Unit for Computer-Human Interaction aan de Universiteit van Tampere, proeven naar het inzetten van de Kinect als interface voor machineoperatoren. Het stelde een ‘proof-of-concept’ voor op de jongste EMO-beurs in Hannover. “In de plaats van knoppen in te drukken, doe je dat straks misschien met ‘gestures’ of typebewegingen”, zegt researcher Tomi Heimonen die zeven ‘moves’ isoleerde. De software in de Kinect-camera scant het ‘skelet’ van de operator, identificeert de schouders, de elleboog en de pols en typeert daarmee bepaalde bewegingen. Eenvoudige zaken als het openen of sluiten van de machinedeur, links of rechts draaien,…
Als grote voordeel ziet Heimonen het gebruiksgemak. Er komt geen specifieke hardware meer aan te pas. De camera kost twee keer niks. Alleen bij het opstarten van de toepassing moet de camera even ‘kalibreren’. De operator gaat daarvoor even op zijn plek staan met de armen open. “De uitdaging bestaat er natuurlijk in om de toepassingen te vertalen naar een heuse industriële omgeving, rekening houdend zowel met de veiligheids- en ergonomieaspecten.” In een productieomgeving kan dat wel. “Een goede belichting en de juiste hoek met de camera zijn belangrijk voor een correcte herkenning van de beweging”, zegt Heimonen. Dat valt natuurlijk op te lossen door op de grond een cirkel te trekken waarbinnen de operator zijn instructies kan doorgeven. “We moeten ook zeer voorzichtig zijn met ‘ongewilde’ bewegingen.” Niezen, bijvoorbeeld.
Het project maakt deel uit van ruimere programma’s van de Finse metaalverwerkende cluster die door de coördinerende Finse onderzoeksorganisatie Tekes gefinancierd worden. In dat kader ook het UXUS-gebeuren -User Experience & Usability in Complex Systems (UXUS)- dat bedrijven als Kone, Konecranes, Metso Paper, Rautaruukki en Fastems betrekt. Het gaat er vooralsnog om een conceptueel kader te creëren, gedreven door de praktijk van gebruikers en klanten. Dat moet zorgen voor nieuwe interactieconcepten en -gereedschappen die zowel de ervaring van de gebruiker als de productiviteit verbeteren. Het programma gaat ervan uit dat het succes en de concurrentiekracht van bedrijven in de toekomst sterk verbonden zal zijn met de manier waarop ze in staat zijn te zorgen voor mensgerichte interacties, duurzame processen, producten en diensten. Maar ook samenwerken in ‘open innovatienetwerken’ en ‘co-creatie’ ziet men als noodzakelijk om werkelijk innovatieve uitdagingen aan te gaan. Daarbij wordt het ‘transformeren’ van kennis tussen onderzoek en praktijk, tussen de academische wereld en de zakenwereld belangrijker dan ooit.
Pick & place
Het Nederlandse Vanderlande Industries experimenteert met de Kinect. “We zetten een ontwikkelingsproject op en doorlopen nu een feasibility traject met een testopstelling. Omdat andere visiesystemen niet lukten, suggereerde Vision++, waarmee we samenwerken, twee maanden geleden om het eens met de Kinect te proberen”, zegt Peter Hendriks, R&D projectleider. Testen met Time of Light-systemen kenden veel problemen. De toepassing wil immers dat er in een doos gekeken wordt. “ToF-systemen hebben daarbij last van reflecties van de randen.” De Kinect was op een 10-tal dagen ‘up & running’. “Dank zij de SDK en het opentrekken van de Kinect voor pc wisten we op heel korte tijd vele functies te integreren”, aldus Geert Caenen, project manager bij Vision++ uit Heverlee.
De meerwaarde van Vanderlande’s oplossing bestaat in het picken van verschillende producten uit zowel een chaotische als een geordende opslag en het kunnen plaatsen in een bak. De toepassing is gekoppeld aan een portaalrobot waaronder klantenorderbakken aangevoerd worden. “We gaan naar een 700 à 1.000 picks per uur”, rekent systeemarchitect Bruno Van Wijngaarden bij Vanderlande Industries. Het afleggen van de items in de order-bakken gebruikt de ruimte optimaal. Het visiesysteem analyseert dus ook eerst de inhoud van de orderbak want die kan reeds gedeeltelijk gevuld zijn.
Vision++ koos voor een robuust systeem dat zowel textuurkenmerken -de opdruk van dozen, bijvoorbeeld- als 3D-vorminformatie gebruikt om zoveel mogelijk items in de productbak te identificeren en te verifiëren. De Kinect-camera is deel van dit visiesysteem. Voor het gecontroleerd afleggen van items in de orderbak wordt een tweede systeem met Kinect-camera gebruikt. Kinects 3D-hoogtekaart van de bakinhoud wordt gebruikt om geschikte aflegposities te berekenen aan de hand van voorgedefinieerde heuristieken.
“De Kinect is niet eenvoudig te kalibreren maar het is een massaproduct”, zegt Caenen. “Zodra iemand de sensor kalibreert, is die kalibratie ook bruikbaar voor anderen. Je vindt op internet kant-en-klare kalibratiedata en tools voor de gevorderde gebruiker die zijn eigen Kinect wil kalibreren.” De Kinect beweegt mee op een as van een robot. Er is dan ook een wisselwerking tussen de snelheid van beeldverwerking en die van de robot. “Je kan het systeem niet ‘triggeren’ met een hardware signaal of puls. De camera kan in ‘continu’ mode 30 beelden per seconde verwerken, hetgeen beter is dan de meeste industriële 3D camera’s.” De Kinect is duidelijk geen industriële hardware. Dat stelt vraagtekens bij de ‘levensduur’ van het apparaat. Misschien moeten de integratoren straks de sleutelcomponenten afzonderlijk aanschaffen en in een stevige behuizing monteren.
Het is de bedoeling potentiële klanten een demonstratieomgeving te bieden. “We zoeken er straks een pilot project bij met specifieke eisen”, zegt Van Wijngaarden. De voorkeur gaat uit naar een pilot in de retail “voor het stapelen van vleesschaaltjes, bijvoorbeeld.” De integrator wil ervaring opdoen met verschillende vormen en aspecten van verpakkingen. Daarom wordt ook gekeken naar het behandelen van ‘onderdelen en componenten’. Het prototype wil Vanderlande dit jaar nog operationeel hebben om dan voor eind 2013 een gebruikersproject rond te hebben. “Of eerder.”
Dit is ook Belgisch
“Op basis van 36 punten isoleert de Kinect-software de patronen van een menselijke figuur tegen de achtergrond. Het creëert een skelet in het beeld”, legt Laurent Grumiaux uit bij het Fishing Cactus in Bergen dat officieel ‘XBox developper’ is van ‘serious gaming’. De ‘herkenningsmachine’ werkt overigens enkel bij mensen. De bewegingen van de figuur kunnen softwarematig hertaald worden naar om het even welke ‘avatar’ -of dat nu een menselijke figuur is, een paard of een doos. Ook kunnen ze een cursor aansturen. “De XBox komt met twee standaard cursors -voor twee paar handen. Wil je een cursor met de voet aansturen, dan moet je zelf gaan programmeren”, aldus Grumiaux.
“Vandaag pikt de Kinect er nog geen individuele vingers of polsrotatie uit. De feedback die je daarover krijgt, is gebaseerd op vooropgenomen animaties.” Ook de feedback over gelaatsuitdrukkingen -lachen, bijvoorbeeld- is onnauwkeurig en vergt veel expressie. “De derde as -de z-as- gebruikt ook veel CPU-rekenkracht, daar moet je dus spaarzaam mee omgaan.” Grumiaux verwacht, nu de Kinect-technologie opengesteld wordt voor de pc, dat de camera in de volgende versie van de Kinect een grotere resolutie zal hebben en dat er een ‘near mode’ komt zodat de persoon dichter bij de camera kan. De pc-gebruiker heeft op zijn machine doorgaans meer intern geheugen dan op de XBox zodat zaken complexer kunnen worden. Je kan de Kinect voortaan ook koppelen aan een joystick, microfoon of externe webcamera “die bijvoorbeeld specifieke gelaatsuitdrukkingen aftoetst.”
Cognitief gedrag testen
Fishing Cactus ontwikkelde met het Erasmus-hospitaal van de ULB een ‘proof of concept’ om het cognitief gedrag van patiënten of proefpersonen te testen. “Therapeuten observeren hiermee hoe mensen hun avatar in een virtuele omgeving aansturen met hun handen of lichaamsbeweging. De therapeuten kunnen zelf het scenario bepalen.” Fishing Cactus werkt er aan een tweede versie. Het ontwikkelde ook een prototype voor een virtuele fysiotherapie-coach die de patiënt onmiddellijk feedback geeft over zijn bewegingsoefeningen voor de Kinect.
Voor de Europese Commissie ontwikkelde het met het communicatiebureau Mostra een ‘edu game’ voor het bezoekerscentrum van de EU Commissie. “Voor de industriële wereld zijn we klaar met een heel groot trainingsproject voor een Italiaans bedrijf. We koppelden de Kinect aan een van hun apparaten.” De trainingsopstelling, die gebruik maakt van 3D, cursoren en een gepersonaliseerde avatar, geeft feedback over de kwaliteit van het gebruik van het apparaat: over de beweging, het ritme, de accuraatheid,… “De Kinect doet het heel goed bij wie moet leren omgaan met een proces of apparaat. Hiermee train je het ‘spiergeheugen’.” Fishing Cactus ontwikkelt ‘serious games’ voor autobouwers en producenten van work-out toestellen maar is ook actief in de nucleaire sector met veiligheids- en evacuatie-scenario’s. Er is steeds ‘beweging’ aan gekoppeld.
Fishing Cactus startte in 2009 met vier mensen en telt vandaag bijna 30 medewerkers. Meer dan de helft is programmeur. Er zijn vier game designers en vier 2D- en 3D-artiesten. De omzet groeide van 100.000 naar 1,2 miljoen euro eind 2011. “We bouwden een eigen 3D-engine waarmee we ‘serious games’ ontwikkelen. Daarbij integreren we de inhoud en het proces, inclusief beelden, belichting, achtergronden, artificiële intelligentie, avatars. We waken er steeds over dat de ‘fun’-toets aanwezig blijft”, stelt Grumiaux. “We spreken dan ook niet over pure simulaties. Het gaat om ‘ervaringen met inhoud’.” Een goeie game bouwt het bedrijf op een week. Een degelijke industriële toepassing vergt al gauw een paar maanden. “We leven in een wereld waar mensen willen leren zonder inspanning, op een actieve manier”, stelt Grumiaux. “De jongere generatie is groot geworden met spelletjes en kan wellicht niet meer leren zonder spel of actieve toepassing. Archaïsche dinosaurussen denken dat spelletjes alleen zijn voor kinderen. Maar de gemiddelde leeftijd van ‘gamers’ is vandaag zowat 35 jaar! Spelen zijn gewoon verweven met onze dagdagelijkse wereld. “
door Luc De Smet, Engineeringnet Magazine
