Verschillende data-analyses leiden tot andere resultaten

Wat gebeurt wanneer zeventig teams van onderzoekers dezelfde gegevens analyseren? Studie toont aan dat bevindingen van hersenonderzoek variabel kunnen zijn als gevolg van verschil in keuzes.

Trefwoorden: #big data, #data-analyse, #hersenonderzoek, #sharing is caring, #UGent

Lees verder

research

( Foto: UGent )

ENGINEERINGNET.BE - Een wetenschappelijk proces omvat vele aspecten, zoals theorieën ontwikkelen, hypothesen creëren, gegevens verzamelen en gegevens analyseren. Elk van deze aspecten kan de uiteindelijke conclusies beïnvloeden, maar in welke mate?

Bijvoorbeeld, zullen verschillende onderzoekers verschillende conclusies trekken op basis van dezelfde gegevens en hypothesen? De analyse van (neurowetenschappelijke) data bestaat immers vaak uit een lange reeks van stappen. Een grote studie, waaraan zes cognitieve neurowetenschappers van de UGent meewerkten, toont aan dat dezelfde gegevens kunnen leiden tot verschillende uitkomsten.

De teams kregen maximaal drie maanden de tijd om de gegevens te analyseren, waarna ze de eindresultaten moesten rapporteren, alsook gedetailleerde informatie over de manier waarop ze de gegevens en tussentijdse statistische resultaten hadden geanalyseerd.

Het aantal teams dat statistisch significante resultaten rapporteerde, varieerde substantieel. Voor vijf van de negen hypothesen was er een substantiële onenigheid, met 20 tot 40% van de teams die een significant resultaat rapporteren. De overige vier hypothesen vertoonden meer consistentie.

Opvallend is dat de tussentijdse bekomen “ongecorrigeerde” hersenactivatiepatronen meer vergelijkbaar waren dan de uiteindelijke resultaten. Met andere woorden, zelfs zeer gelijkaardige tussentijdse resultaten leken te leiden tot verschillende uitkomsten over de verschillende teams.

Er werden enkele aspecten geïdentificeerd in de analyseprocedures die duidelijk tot systematisch meer of minder positieve resultaten leken te leiden (zoals het gebruikte softwarepakket en de manier waarop de data werden voorbereid).

De resultaten van deze studie laten voor het eerst zien dat er grote verschillen kunnen zijn wanneer dezelfde complexe neuroimaging gegevens wordt geanalyseerd met verschillende procedures. Dit is belangrijk voor de leden van de neuroimaging onderzoeksgemeenschap, evenals voor elk ander gebied met complexe analyseprocedures.

Tegelijkertijd bleken de onderliggende bekomen hersenactievatiepatronen relatief consistent tussen groepen; ook leidden meta-analyses over de datasets tot meer convergente resultaten. Deze bevindingen suggereren dus ook manieren om hedendaags hersenonderzoek verder te verbeteren.

Het onderzoek benadrukt ook het belang van transparantie en het delen van gegevens en code. Alle analyses in dit project zijn dan ook volledig reproduceerbaar, met openlijk beschikbare computercode en gegevens.

De huidige studie toonde aan dat deze complexe processen snel kunnen leiden tot een variabiliteit in uitkomsten. Het is dan ook belangrijk om deze variabiliteit beter te begrijpen om te weten hoe ze aan te pakken.