ENGINEERINGNET.BE - La Nederlandse Nationale Vacaturebank et l’Université Radboud l’ont testée et découvert un inconvénient surprenant : le système auto-apprenant est discriminatoire car il établit une distinction entre les hommes et les femmes et creuse l’écart salarial.
La Nederlandse Nationale Vacaturebank applique l’IA pour certains emplois afin d’obtenir une liste de postes vacants similaires souvent consultés. Automatiser la recherche de postes vacants est la prochaine étape. Le demandeur d’emploi télécharge son cv et indique ses préférences. L’IA recherche les postes vacants les plus adaptés.
Les chercheurs néerlandais ont essayé de faire correspondre 900.000 cv et 12 millions de postes vacants. L’objectif était de recommander des postes vacants de manière équitable, sans discrimination de genre, de race ou de religion. Le système auto-apprenant, développé et testé par la Nederlandse Vacaturebank, a examiné 467.000 cv d’hommes et 437.000 cv de femmes provenant de sa base de données. Les cv ont été anonymisés et ne contenaient aucune information personnelle comme le nom, l’adresse ou les données de contact.
Homme versus femme
Le système a rapidement découvert que certaines professions sont dominées par des hommes et d’autres par des femmes. Les tâches administratives et de secrétariat apparaissent sur le cv de 38% des femmes, contre 9% chez les hommes. La technologie, quant à elle, apparaît dans 22% des cv des hommes contre 2% des cv des femmes.
Un autre élément relevé par l’IA est que les hommes et les femmes utilisent un langage différent. Des termes comme ‘orienté résultats’, ‘mentalité de gagnant’ et ‘pas de mentalité 9 to 5’ reviennent plus souvent dans les cv des hommes. Les femmes utilisent plutôt des termes comme ‘joueur d’équipe’ et ‘communicative’. L’IA a réussi à deviner le sexe de la personne sur base du cv dans 86% des cv anonymes.
1.680 euros de moins par an
Résultat: le système auto-apprenant a moins fait correspondre les femmes à des postes vacants de professions essentiellement ‘masculines’ et vice-versa. En outre, le salaire moyen des postes vacants auxquels les femmes étaient affectées était inférieur à celui des hommes. En conséquence, une femme aux Pays-Bas devrait gagner 1.680 euros de moins par an qu’un homme. L’IA a renforcé l’écart salarial entre les hommes et les femmes.
Aux Pays-Bas, les femmes gagnent 13,5% de moins par heure que leurs collègues masculins. La Belgique fait mieux avec un écart salarial de 5% (Statbel, 2021). Les chercheurs ont donc adapté le système auto-apprenant de deux manières. Dans une première méthode, ils ont remplacé les mots du cv susceptibles de révéler le sexe par des termes généraux. L’IA a tout de même réussi à deviner le sexe des personnes dans 85% des cas. L’écart salarial s’est creusé jusqu’à atteindre 1.900 euros de moins par an pour les femmes.
Dans la seconde méthode, le système fournissait lui-même un feedback, rendant la détermination du sexe de la personne plus difficile. Mais l’IA est quand même parvenue à le définir dans 82% des cas. L’écart salarial a cependant été réduit à 180 euros de moins par an pour les femmes. Les chercheurs vont désormais étudier dans quelle mesure cette méthode plus ‘équitable’ influence la qualité de la combinaison.
Préjugés humains
Valeria Pulignano, Professeure de sociologie du travail et relations de travail et membre de Leuven.AI à la KU Leuven, n’est pas surprise : « Les algorithmes sont plus souvent utilisés lors du recrutement. D’autres études ont déjà montré qu’ils sont discriminatoires, non seulement entre les hommes et les femmes mais aussi entre les noirs et les blancs. » La raison n’est pas à chercher très loin. « C’est l’apprentissage automatique. L’ IA utilise des bases de données et des algorithmes introduits et programmés par l’homme.
Des préjugés humains se glissent donc dans les modèles de l’IA. Ces algorithmes reflètent notamment les caractéristiques d’une personne blanche. » Les conséquences sociales peuvent être graves. « Il y a quelques mois en Italie, un travailleur en arrêt maladie a été injustement licencié. L’arrêt maladie n’était pas programmé dans l’algorithme et d’après le système, son absence était illégale. La plateforme a été sanctionnée et refusée pour cela. »
Adapter les algorithmes
D’après Pulignano, il faut prendre conscience des implications sociales et y remédier. « L’homme crée ces algorithmes, il peut donc les adapter. Il faut développer une vision humaine de l’application de l’IA. Nous parviendrons alors à réduire, voire à éliminer certains carences et lacunes. » Faut-il attendre avant d’implémenter l’IA dans le recrutement ?
« Certainement pas car tout le monde doit pouvoir chercher un emploi avec des moyens égaux. Il est important d’appliquer l’IA de manière humaine, éthique et non discriminatoire. Il faut respecter les effets sociaux de ces technologies. Il est donc grand temps d’inclure l’implémentation de l’IA dans la concertation sociale. Les syndicats doivent être préparés à aborder ces technologies, en plus des salaires et des conditions de travail. Un nouvel état d’esprit s’impose sinon nous manquerons le coche. C’est encore difficile aujourd’hui mais nous devons évoluer dans ce sens. »
Cadre légal
Le dernier point crée un champ de tensions. « Quand nous discutons avec les ingénieurs, les entreprises veulent implémenter leurs innovations le plus rapidement possible pour travailler plus efficacement. C’est la logique du marché. Cependant, il n’y a pas de temps ni d’espace pour réfléchir d’abord aux implications sociales des innovations pour les travailleurs et la population. Il faut résoudre ces tensions. Pour ce faire, un gouvernement doit créer un cadre et réguler la manière d’ajuster les algorithmes pour éviter d’éventuelles conséquences négatives », souligne Pulignano. Via l’AI Act, l’Europe s’efforce de mettre en place ce cadre d’ici 2025.
Les Pays-Bas ont lancé il y a un an, en juillet 2022, leur Plan d’action contre la discrimination au travail. Pour la mise en œuvre de la future loi sur l’IA, il faudrait - selon la communauté AI4Belgium - une autorité nationale de contrôle dans le pays. Celle-ci devrait veiller à ce que l’IA soit utilisée dans le respect des règles juridiques. Elle reconnaît que « la partialité algorithmique constitue un véritable défi. Garantir un traitement équitable des données est crucial pour éviter toute forme de discrimination. »
