Klassieke microscoop gaat met verrijkte realiteit op zoek naar kanker

Google beschreef op de jaarlijkse bijeenkomst van de American Association for Cancer Research (AACR) een prototype van zijn Augmented Reality Microscope (ARM).

Trefwoorden: #artificial intelligence, #augmentes reality, #deep learning, #hybrid, #microscoop

Lees verder

Techniek

ENGINEERINGNET.BE - Het platform, een aangepaste lichtmicroscoop, analyseert in real-time wat op het glasplaatje ligt en gooit het resultaat daarvan even snel op het oculair van diezelfde microscoop.

Het ARM-platform kan bovendien als retrofit op bestaande lichtmicroscopen gebouwd worden. Deze hybride oplossing vergt weinig exotisch: de nodige componenten zijn makkelijk te vinden en goedkoop bovendien.

Klassieke lichtmicroscopen zijn nog steeds het middel bij uitstek om kanker vast te stellen. Artificiële intelligentie (AI) kan echter de diagnose niet alleen versnellen en de nauwkeurigheid ervan verscherpen maar er ook ‘cijfers’ op kleven. Maar dat vergt dan wel investeren in een digitale workflow. De paper van de Google-researchers toont aan hoe AI toch aan het werk kan op een klassieke optische microscoop.

Het lichtbeeld van de microscoop wordt naar het oog gestuurd maar wordt eerst door een sensor gecapteerd die de beelddata naar de computer zendt. Daar worden de ‘deep learning’ modellen op losgelaten. Die ‘besnuffelen’ het beeld, leerden de gezochte patronen te herkennen en sturen hun conclusies naar een digitale projector in de microscoop die het resultaat bovenop het oorspronkelijke (analoge) optische beeld legt. Zonder parallax.

Het gaat er om bepaalde belangrijke aspecten in het beeld aan te wijzen, ze te doen oplichten en/of te tellen. De ARM kan zowel tekst, pijltjes, contouren als animaties aanleveren. Wanneer kankercellen worden waargenomen kunnen die omgord worden in een bepaalde kleur zonder de rest van het beeld te storen. Wanneer de gebruiker het plaatje verschuift of de vergroting verandert, volgt ook het computerbeeld naadloos a rato van meerdere frames per seconde.

De gebruikte AI-algoritmen werden getraind op het detecteren van gemetastaseerde borstkanker in de poortwachterklier en van prostaatkanker in een prostatectomie monster.

De onderzoekers bij Google ervoeren dat, hoewel de modellen oorspronkelijk getraind waren op beelden van een zogenaamde whole slide scanner of virtuele microscoop, ze ook goed presteerden in deze hybride omgeving. Prestaties kunnen nog scherper gezet worden mét hertrainen. Ze denken dan ook dat ARM een grote impact kan hebben op de diagnose van allerlei besmettelijke ziektes in ontwikkelingslanden maar ook in ziekenhuizen die overstappen op een digitale workflow.

De mogelijkheden van ARM om te detecteren, te identificeren en te tellen, kunnen ook in andere industrieën, die vandaag eveneens gebruik maken van klassieke microscopen, nuttig zijn. Denk aan life sciences, materiaalonderzoek,…


(infographics: Google)