ENGINEERINGNET.BE - Deep learning-netwerken liggen aan de basis van veel hedendaagse AI-toepassingen, zoals beeldherkenning. Die netwerken gaan soms flink de mist in als ze een object of een dier moeten benoemen.
Dat komt door de manier waarop deze algoritmes objecten classificeren en de hiërarchie die ze daarin aanbrengen. Die wijkt af van de manier waarop mensen dat doen.
Wij doen dat bijvoorbeeld als volgt: appelboom – fruitboom – boom – flora – levend organisme. Deep learning-netwerken hebben zichzelf op een heel andere manier aangeleerd hoe ze een appelboom moeten classificeren, en die indeling is onbekend voor mensen.
Daar komt nog eens bij dat het netwerk is opgebouwd in een abstracte wereld die computerwetenschappers een ‘latente ruimte’ noemen.
Hierin ontstaat als vanzelf een nabijheid tussen objecten die in dezelfde categorie vallen, maar er is soms ook een grote afstand tussen objecten die eigenlijk dichter bij elkaar horen, zoals een kat en een lynx. Dat komt doordat deze netwerken gerepresenteerd worden in een Euclidische ruimte.
‘De principes van de Euclidische ruimte leer je bij wiskunde op de middelbare school. Bijvoorbeeld dat het kortste pad tussen twee punten een rechte lijn is', aldus Pascal Mettes, universitair docent bij de Universiteit van Amsterdam.
'In de echte wereld gelden deze principes niet altijd. Zo is de kortste afstand van hier naar New York een gebogen lijn, want anders zou je door de aarde heen moeten.’
De hiërarchieën die deep learning gebruikt werken dus exponentieel: je begint met één hoofdcategorie en daar komen exponentieel veel subcategorieën bij.
Maar de Euclidische ruimte waarin het netwerk zich bevindt, groeit lineair. Mettes: ‘Dat schuurt. Je moet eigenlijk een ruimte hebben die exponentieel meegroeit.’
Om nauwkeurigere classificaties te maken zou een hyperbolische geometrie een uitkomst kunnen zijn. Dat betekent niet dat het gehele deep learning-netwerk op de schop zou moeten, denkt Mettes.
‘Alleen het laatste en meest fijnmazige gedeelte, waarin je bijvoorbeeld een ondersoort benoemt, zou je hyperbolisch kunnen doen.’
In een proof-of-concept hebben Mettes en collega’s al aangetoond dat netwerken op basis van een hyperbolische geometrie beter presteren in het maken van een hiërarchische classificatie dan normale netwerken.
Hij verwacht dat hyperbolische geometrie onder meer een uitkomst kan zijn in wetenschappelijk onderzoek. ‘Denk aan medicijnonderzoek of het herkennen van nieuwe moleculen in de chemie. Een algoritme zou snel kunnen achterhalen of een bepaalde combinatie van moleculen giftig is of niet.’
Niet alleen de semantiek, de benaming van een object, kan hierbij hiërarchisch zijn, maar ook het object zelf, zoals een molecuul dat uit verschillende atomen is opgebouwd.
Ook taalmodellen, zoals ChatGPT, zouden beter kunnen presteren met behulp van een hyperbolische geometrie, denkt Mettes, en zouden dan ook minder fouten maken.
Op de illustratie boven: een voorbeeld van Euclidische embeddings van hiërarchieën van verschillende dieptes. Wat opvalt is dat de groene en roze punten naar elkaar groeien met meer diepte, terwijl ze juist uit elkaar moeten groeien. Door hiërarchieën in hyperbolische ruimte te plaatsen wordt het mogelijk om ze correct te embedden.
