ENGINEERINGNET.BE - Tout le monde a entendu parler des grands modèles de langage (LLM).
Ce sont des modèles d’apprentissage profond à grande échelle entraînés sur d’immenses quantités de texte qui constituent la base des chatbots tels que ChatGPT d’OpenAI.
Les modèles multimodaux (MM) de nouvelle génération peuvent apprendre à partir d’entrées autres que du texte, y compris la vidéo, les images et le son.
La création de modèles multimodaux à plus petite échelle soulève toutefois des défis majeurs, dont celui de la fiabilité face aux informations manquantes non aléatoires.
Pour remédier à ce problème, des chercheuses et chercheurs de la Faculté informatique et communications de l’EPFL (Lausanne) ont développé et testé l’exact opposé d’un grand modèle de langage: MultiModN est en effet un modèle multimodal modulaire unique, récemment présenté lors de la conférence NeurIPS2023.
À l’instar des modèles multimodaux actuels, MultiModN peut apprendre à partir de textes, d’images, de vidéos et de sons.
Contrairement aux modèles multimodaux existants, ce dernier est composé d’un nombre de modules plus petits, autonomes et spécifiques aux entrées, qui peuvent être sélectionnés selon les informations disponibles, puis enchaînés dans une séquence de n’importe quel nombre, combinaison ou type d’entrée.
Sur cette base, il peut ensuite produire n’importe quel nombre ou combinaison de prédictions.
Le premier cas d’utilisation de MultiModN sera un système d’aide à la décision clinique destiné au personnel médical dans les environnements à faibles ressources.
Le développement et l’entraînement de MultiModN s’inscrivent dans la mission de l’EPFL visant à adapter les outils d’apprentissage machine à la réalité et pour l’intérêt général. (Auteur: Tanya Petersen - Source: EPFL)
