ENGINEERINGNET.BE - Moderne telescopen scannen de hemel onophoudelijk en genereren elke nacht miljoenen waarschuwingen over mogelijk interessante veranderingen.
Sommige daarvan zijn echte ontdekkingen, zoals exploderende sterren, maar de meeste zijn valse signalen, veroorzaakt door langskomende satellieten of kosmische straling.
Astronomen vertrouwen daarom op gespecialiseerde machine learning-modellen om data te filteren. Die systemen geven alleen een label ‘echt’ of ‘vals’, zonder aan te geven hoe ze aan dit resultaat komen.
Wetenschappers moeten of blindelings vertrouwen op de output, of talloze uren besteden aan het handmatig verifiëren van duizenden kandidaten. Dat laatste wordt onmogelijk bij de volgende generatie telescopen die nog meer data produceert.
Het onderzoeksteam wilde daarom weten of een AI-model zoals Gemini, ontworpen om tekst en beelden samen te begrijpen, de nauwkeurigheid van gespecialiseerde modellen kan evenaren én kan uitleggen wat het ziet.
Met slechts vijftien voorbeeldafbeeldingen en een eenvoudige reeks instructies leerde deze AI-tool van Google om veranderingen aan de nachthemel, zoals supernova's, oplichtende zwarte gaten of snel bewegende planetoïden, te onderscheiden van beeldfouten.
De voorbeelden waren afkomstig van drie observatoria: ATLAS, MeerLICHT en Pan-STARRS. Elk voorbeeld bevatte een kleine afbeelding van een melding, een referentieafbeelding van hetzelfde stukje hemel en een afbeelding waarop de verandering te zien was, samen met een korte toelichting van een expert.
Alleen op basis van deze paar voorbeelden en beknopte instructies classificeerde het model 7200 nieuwe meldingen van de observatoria. Het gaf een label, echt of vals, een prioriteitsscore en een korte, leesbare beschrijving van zijn beslissing.
Een belangrijk onderdeel van het onderzoek was het controleren van de kwaliteit en bruikbaarheid van de uitleg van het AI-model. Het team stelde een panel van twaalf astronomen samen om de beschrijvingen van de AI te beoordelen. Zij gaven aan dat de resultaten coherent en bruikbaar zijn.
Ook liet het team Gemini haar eigen antwoorden beoordelen en aan elk antwoord een coherentiescore toekennen. Ze ontdekten dat het vertrouwen van het model zelf een goede indicatie was voor de nauwkeurigheid ervan: outputs met een lage coherentiescore waren veel vaker onjuist.
Door automatisch onzekere gevallen te markeren kan het systeem de aandacht van astronomen richten op waar die het meest nodig is. Met deze zelfcorrigerende stap verbeterde de onderzoekers de prestaties van het model op één dataset van 93,4 naar 96,7%.
