Geen verloren containers dankzij Belgische neurale netwerken

Containertrafiek vormt de ruggengraat van de wereldeconomie. Dankzij de inzet van visiesystemen met convolutional neural networks (CNN) bereikt het identificatiepercentage ongekende hoogten.

Trefwoorden: #CNN, #containers, #containertrafiek, #convolutional neural networks, #neurale netwerken

Lees verder

Magazine

Download het artikel in

ENGINEERINGNET.BE - De grote zeehavens werden de afgelopen jaren sterk geautomatiseerd, zeker in landen met een grote arbeidskost. Die automatische containerprocessen verlopen over het algemeen prima, maar als er iets gebeurt dat buiten de geprogrammeerde werking valt, is het alle hens aan dek.

Op dat moment moet menselijke intelligentie de meubelen redden, maar dat kost veel tijd en geld. Afhandelaars willen daarom ten allen prijze vermijden dat containers zoek raken en zetten in op verificatiesystemen. Die systemen moeten op strategische punten in de logistieke ketting de talrijke notaties op containers kunnen lezen, verifiëren en communiceren met het bovenliggend systeem van de afhandelaar.

Eerste laag via OCR en OFR
In de jaren 90 waren de eerste visiesystemen vooral gebaseerd op OCR software (Optical Character Recognition). De visiesystemen scannen de containers en de software vergelijkt de pixels van de beelden met de tekens in de database. In combinatie met statistische analyses leidde dat tot de eerste geautomatiseerde systemen waarmee containernummer, ISO code, capaciteit en gewicht uitgelezen worden. Toch was er nog een zwak punt in deze benadering: de letters moesten perfect leesbaar zijn.

Opbouw van de Truck Gate, met lijnscanners die de zijkanten en de bovenzijde van de container scannen en 2D areascan camera’s die de top en de achterzijde in beeld nemen. Daarnaast zijn er twee camera’s die de nummerplaat van de vrachtwagen scannen. (Foto Camco)

Elke onduidelijkheid, beschadiging of bevuiling van de container leidde tot een potentiële fout in de verwerking. In een tweede fase voegde men OFR software (Optical Feature Recognition) toe aan de scansystemen. Die software was in staat om ook vormen, texturen en kleur te detecteren. Dat opende de mogelijkheid om zaken als positionering, ladingclassificatie en verzegeling van de containerdeur te verifiëren. Deze gecombineerde OCR/OFR scanners waren opnieuw wat performanter, maar de werkwijze bleef dezelfde: de informatie uit de camera vergelijken met een database met vooraf ingevoerde vormen.

Extra laag: neurale netwerken
Vandaag komt er nog een extra laag bij in de vorm van artificiële intelligentie. Het Belgische Camco is een voorloper in deze technologie. Marketingmanager Alain Buyle legt uit: “Wij hebben intelligente technologie ontwikkeld die het slaagpercentage aanzienlijk optrekt. Ik geef het voorbeeld van nummerplaatdetectie van de vrachtwagen: Daar hadden we vier cases waar de slaagscores varieerden van 76,9 tot 93%.

Dankzij de CNN technologie (convolutional neural networks) in combinatie met OCR/OFR werd dat opgetrokken van 91,6 tot 99,8%. Dat verschil vertegenwoordigt een enorm aantal containers die niet langer menselijke verificatie vereisen.” Een CNN systeem bestaat gewoonlijk uit een inputlaag, een reeks verborgen lagen en een output- of voorspellingslaag.

Dankzij OCR/OFR is het mogelijk om onder meer containernummer, ISO code, capaciteit, gewicht, positionering van de container, ladingclassificatie en verzegeling van de containerdeur te verifiëren. CNN zal dat verificatieproces optimaliseren door het toevoegen van intelligentie op basis van algoritmes en een database. (Foto Camco)

“De verborgen convolutielagen verwerken beeldinvoer op een vergelijkbare manier als onze hersenen signalen van de oogzenuwen verwerkt. De (kunstmatige) neuronen in elke laag worden getraind om te reageren op specifieke stimuli of kenmerken in het beeld: er wordt gestart vanaf het ‘laagste’ niveau met lijnen en kleuren, en zo wordt overgegaan naar de steeds complexere kenmerken zoals silhouetten en objectonderdelen.

Al deze informatie samen wordt dan verwerkt tot een uiteindelijke voorspelling en een waarschijnlijkheidsgraad voor elk beeld. Wordt die minimumgraad niet bereikt, dan is menselijke verificatie vereist. Omdat we beschikken over een gigantische database met miljoenen foto’s die voortdurend aangevuld wordt, verbetert dit systeem continu en kunnen intelligente beslissingen genomen worden. Met LiDar of andere mappingtechnologie zou dit proces een pak moeilijker verlopen.”

Hardware op kritieke punten
Het lijkt echter sysifusarbeid om alle containers in de praktijk te controleren. Buyle: “De hardware bestaat uit performante 2D-camera’s en lijnscanners. Die plaatsen we op drie kritische transferpunten waar de containers overgedragen worden.” Een eerste punt is bij aankomst van de vrachtwagen in de haven, een tweede punt bij het Land Side Transfer Point (LSTP), waar het afladen van de container gebeurt. Het laatste punt is de plaatsing van de container op het schip. De opbouw hangt wat af van welke informatie de gebruiker wil capteren.

“Standaard werken we met een redundante opbouw, met drie lijnscanners die de zijkanten en de bovenzijde scannen en twee 2D areascan camera’s die de top en de achterzijde van de container in beeld nemen. Daarnaast zijn er twee camera’s die de nummerplaat scannen.” Het geheel wordt voorzien van een led flood light om een constante lichtinval te garanderen. De herkenningssoftware is omwille van de verwerkingssnelheid en de betrouwbaarheid in de behuizing van de camera’s geplaatst. “De beeldverwerking en analyse gebeurt dus meteen via geïntegreerde Intel i3 processoren, zonder tijdopslorpende tussenstappen.

Voor nummerplaatherkenning kunnen we nog een stap verder gaan en voorzien we een Jetson TX2 NVIDIA of Coral Accelerator Module met Google Edge TPU. Dat laat toe om complexere en betere analyses te maken aan een prima snelheid. Bij het laden van de containers op het schip voeren we de derde en laatste verificatie uit. Dat gebeurt ‘on the fly’. De camera’s zijn gemonteerd op een geleider en bewegen mee op basis van de informatie die ze krijgen van de PLC van de kraan. Zo kunnen bijvoorbeeld containernummers gecontroleerd worden, zodat men zeker is dat de juiste container op de juiste plaats in het schip komt.”

Bij het binnenkomen (Truck Gate-rechtsonder), bij het verplaatsen van de container (LSTP-Land Side Transfer Point - rechtsonder) en bij het laden wordt de gewenste informatie uitgelezen. (Foto Camco)

Werkpunten?
“Uiteraard zijn er enkele voorwaarden verbonden om de genoemde slaagpercentages te bereiken. De beeldkwaliteit is een eerste voorwaarde, want zelfs de allerkrachtigste software verliest zijn performantie met slechte beelden, vandaar het belang van de hardwarekeuze. De diversiteit in notaties op containers is een volgend probleem.

Er zijn zoveel verschillende factoren die meespelen: de grootte, de kleur, textuur, locatie van de letters en cijfers, soms ontbreken er stukken, of de container is net ingedeukt op de plaats van de letters, de lichtinval is net iets anders. Soms worden notaties op de containers geverfd, of wordt met Oosterse tekens gewerkt. Onvoorspelbaarheid is de grootste hinderpaal, daarom moet de database met samples zo groot zijn en is de kwaliteit van de ingezette algoritmes en hardware zo belangrijk.”


Door Sammy Soetaert