ENGINEERINGNET.BE - Het onderzoek wijst op een veelbelovende ontwikkeling op het gebied van brein-computerinterfaces, aldus Julia Berezutskaya, onderzoeker aan het Donders Instituut voor Brein, Cognitie en Gedrag van de Radboud Universiteit en het UMC Utrecht.
Berezutskaya en collega’s van het UMC Utrecht en de Radboud Universiteit hebben hersenimplantaten bij patiënten met epilepsie gebruikt om na te gaan wat mensen zeiden.
‘Uiteindelijk hopen we deze technologie beschikbaar te maken voor patiënten met het locked-in-syndroom, die verlamd zijn en niet kunnen communiceren’, vertelt Berezutskaya
‘Deze mensen verliezen het vermogen om hun spieren te bewegen, en dus om te spreken. Door een brein-computerinterface te ontwikkelen, kunnen we hersenactiviteit analyseren en ze weer een stem geven.’
In het nieuwe onderzoek vroegen de onderzoekers niet-verlamde mensen met tijdelijke hersenimplantaten om een aantal woorden hardop uit te spreken terwijl hun hersenactiviteit werd gemeten.
Berezutskaya: ‘We konden toen een directe vergelijking maken tussen hersenactiviteit en spraak. We hebben ook geavanceerde AI-modellen gebruikt om die hersenactiviteit rechtstreeks om te zetten in hoorbare spraak. Ook klonk de gereconstrueerde spraak als de oorspronkelijke spreker wat betreft toon en manier van spreken.’
Het lukte de onderzoekers om begrijpelijke spraak te reconstrueren met relatief kleine datasets, waaruit blijkt dat hun modellen de complexe mapping tussen hersenactiviteit en spraak kunnen onthullen met beperkte data.
Essentieel daarbij was dat ze ook luistertests uitvoerden met vrijwilligers om te evalueren hoe goed de gesynthetiseerde woorden te verstaan waren.
‘Er zijn nog wel een aantal beperkingen’, aldus Berezutskaya. ‘Bij deze experimenten vroegen we de deelnemers om twaalf woorden hardop te zeggen, en dat waren de woorden die we probeerden te detecteren. Over het algemeen is het voorspellen van individuele woorden minder ingewikkeld dan het voorspellen van hele zinnen.'
'In de toekomst kunnen grote taalmodellen die worden gebruikt bij AI-onderzoek nuttig zijn. Ons doel is om volledige zinnen en alinea’s te voorspellen van wat mensen proberen te zeggen, uitsluitend op basis van hun hersenactiviteit.
Om dat te bereiken, zijn er meer experimenten, geavanceerdere implantaten, grotere datasets en geavanceerde AI-modellen nodig. Dit zal nog wel een aantal jaar duren, maar het ziet ernaar uit dat we op de goede weg zijn.’
