Aude Bernheim et Flora Vincent
Biologistes de formation, chercheuses à l’Institut Weizmann des sciences (Israël), Aude Bernheim et Flora Vincent ont créé l’association WAX Science pour promouvoir la mixité dans les disciplines scientifiques.
Notre sélection
« Il faut éduquer les algorithmes »
« Il faut éduquer les algorithmes »
Sexistes, les algorithmes ? La question peut paraître incongrue. Codés par des humains, les algorithmes utilisés par l'intelligence artificielle n’échappent pourtant pas aux stéréotypes. Mais s’ils peuvent induire des biais sexistes ou racistes, ils peuvent aussi servir à faire avancer la cause de l’égalité. C’est ce que montrent Aude Bernheim et Flora Vincent dans un ouvrage intitulé L’Intelligence artificielle, pas sans elles !
Propos recueillis par Agnès Bardon (UNESCO)
Comment en êtes-vous venues à vous intéresser à la question du genre dans l’intelligence artificielle ?
Aude Bernheim : À l’origine, notre réflexion portait sur les liens existant entre l’égalité femmes/hommes et les sciences. En 2013, nous avons fondé l’association WAX Science, WAX [What About Xperiencing Science] pour questionner l’influence potentielle de la non-mixité des équipes scientifiques sur les produits de la science et des technologies. Notre travail sur l’intelligence artificielle découle de cette réflexion. À vrai dire, nous n’avons pas été réellement surprises de trouver des biais de genre dans ces technologies parce qu’ils existent dans beaucoup d’autres champs. Il n’y avait pas de raison que l’intelligence artificielle (IA) y échappe. Mais les conséquences sont nombreuses et dépassent les questions habituelles d’égalité professionnelle ou de salaires. Les stéréotypes dont sont porteurs les algorithmes peuvent avoir un impact négatif sur le tri des candidatures – en écartant a priori les femmes des postes techniques –, les propositions de salaires voire les diagnostics médicaux.
Flora Vincent : Les équipes scientifiques manquent de diversité, le phénomène est connu. Ce qui l’est moins, c’est que ce n’est pas sans conséquence sur la manière dont les recherches sont développées ou sur les thématiques privilégiées. Récemment, une historienne des sciences américaine, Londa Schiebinger, a mené des travaux sur ce sujet. Elle montre que plus une équipe compte de femmes, plus la question du genre est susceptible d’être prise en compte dans l’étude elle-même. Les exemples de cette discrimination dans la recherche ne manquent pas. On peut citer le cas des médicaments qui sont davantage testés sur les rats mâles parce qu’ils ont moins d’hormones et qu’il est jugé plus facile de mesurer les effets secondaires. Autre exemple : pour les crash tests, ce sont des mannequins standard de 1,70 mètre et de 70 kilos, c’est-à-dire modelés sur la taille et la corpulence moyenne d’un homme, qui sont utilisés. Du coup, la ceinture de sécurité ne prend pas en compte certaines situations, celles des femmes enceintes par exemple.
L’informatique est-elle depuis l’origine une discipline majoritairement masculine ?
A.B. : Non, ça n’a pas toujours été le cas. Au début du XXe siècle, l’informatique était une discipline qui nécessitait beaucoup de calculs assez fastidieux. À l’époque, ils étaient souvent effectués par des femmes. Quand les premiers ordinateurs sont arrivés, elles se sont retrouvées en première position. Le travail n’était pas perçu alors comme prestigieux. En 1984 encore, 37 % des personnes employées dans le secteur de l’informatique aux États-Unis étaient des femmes. À titre de comparaison, la France ne comptait en 2018 que 10 % d’étudiantes dans les cursus en informatique et on estime qu’elles ne sont que 12 % dans le secteur de l’intelligence artificielle. En fait, un changement important s’est opéré dans les années 1980 avec l’apparition de l’ordinateur personnel (PC). À partir de ce moment, l’informatique a acquis un poids économique inédit. La dimension ludique des ordinateurs est apparue aussi dans ces années-là, développant un imaginaire culturel très masculin autour de la figure du geek. Ce double mouvement s’est accompagné d’une marginalisation des femmes. Cela montre que l’affinité des garçons pour les ordinateurs n’est pas naturelle, mais qu’elle est avant tout culturelle et construite.
On pourrait penser que les algorithmes sont neutres par nature. Dans quelle mesure contribuent-ils à reproduire les biais sexistes ?
A.B. : Assez rapidement, des lanceurs d’alerte se sont rendu compte que les algorithmes présentaient des biais. Ils se sont aperçus par exemple que les logiciels de traduction avaient tendance à donner un sexe aux professions en traduisant de l’anglais the doctor par « le docteur » (masculin), ou the nurse par « l’infirmière » (féminin). Lorsque les assistants vocaux sont apparus, qu’il s’agisse d’Alexa, de Siri ou de Cortana, ils portaient tous des noms féminins et répondaient aux injonctions d’une manière assez soumise, même lorsqu’on leur adressait des injures (voir encadré). En 2016, Joy Buolamwini, chercheuse afro-américaine au Massachusetts Institute of Technology (MIT), s’est intéressée de son côté aux algorithmes de reconnaissance faciale. Ses travaux ont montré qu’ils étaient entraînés sur des bases de données contenant majoritairement des photos d’hommes blancs. Ils étaient donc beaucoup moins performants sur des femmes noires ou des hommes asiatiques que sur des hommes blancs. On peut se dire que si elle avait fait partie de l’équipe qui a développé ces algorithmes, la situation aurait été différente.
F.V. : Coder un algorithme, c’est comme écrire un texte, il y entre une part de subjectivité qui se manifeste dans le choix des mots, les tournures de phrases, même si on a l’impression d’écrire un texte très factuel. Pour identifier les biais, notre démarche a consisté à décortiquer les différentes étapes de ce qu’on appelle la « contagion sexiste ». Car il n’existe pas une seule cause à l’origine d’un algorithme biaisé, il est au contraire le fruit d’un enchaînement de causalités qui interviennent aux différentes étapes de sa construction. En effet, si les personnes qui codent, testent, commandent et utilisent un algorithme ne sont pas conscientes de ces biais potentiels, elles les reproduisent. Car dans la grande majorité de cas, il n’y a pas de volonté de discriminer. Le plus souvent, nous ne faisons que reproduire des stéréotypes inconscients forgés au cours de notre vie et de notre éducation.
Existe-t-il aujourd’hui une prise de conscience de la partialité de certains produits de l’IA ?
A.B. : L’IA est un champ où tout évolue très vite ; la technologie elle-même mais aussi la réflexion sur son utilisation. Comparée à d’autres disciplines, la problématique de la discrimination y a émergé très tôt. À peine trois ans après le début de la fièvre algorithmique, des lanceurs d’alerte ont attiré l’attention sur le traitement différencié de certains algorithmes. C’est d’ores et déjà un sujet à part entière dans la communauté scientifique. Il alimente de nombreux débats et donne lieu à des travaux de recherche sur la détection des biais et les implications des algorithmes d’un point de vue éthique, mathématique, informatique. Cette prise de conscience se reflète aussi depuis peu dans la presse généraliste. Tous les problèmes ne sont pas réglés mais ils sont identifiés et, une fois qu’ils le sont, des solutions peuvent être mises en œuvre.
De quelle manière peut-on rendre les algorithmes plus égalitaires ?
A.B. : Pour commencer, il faut agir au niveau des bases de données afin qu’elles soient représentatives de la population dans sa diversité. Certaines entreprises s’y emploient déjà et travaillent sur des bases de données qui prennent en compte les différences de sexe, de nationalité ou de morphologie. Suite aux travaux parus sur les lacunes des logiciels de reconnaissance faciale, des entreprises ont réentraîné leurs algorithmes afin qu’ils soient plus inclusifs. On a également vu apparaître des entreprises qui se spécialisent dans le développement d’outils permettant d’évaluer les algorithmes et déterminer s’ils présentent des biais.
F.V. : Parallèlement, dans le milieu scientifique et de la recherche, une réflexion s’est engagée sur les moyens de mettre en œuvre une évaluation plus indépendante et sur la nécessité d’une transparence algorithmique. Certains, comme Joy Buolamwini, préconisent de développer et généraliser un code inclusif, au même titre qu’il existe une écriture inclusive. Parmi les initiatives existantes, on peut citer aussi le travail mené par le collectif Data for Good, qui réfléchit aux moyens de mettre l’algorithme au service de l’intérêt général. Ce collectif a rédigé une charte éthique baptisée « Le serment d’Hippocrate pour data scientist » qui établit une liste de paramètres très concrets à vérifier avant de mettre un algorithme en application pour s’assurer qu’il n’est pas discriminant. Il est important de soutenir ce type d’initiatives.
L’intelligence artificielle pourrait-elle à terme devenir un exemple de lutte contre les biais ?
A.B. : Dans un sens oui, dans la mesure où l’on a pris conscience assez vite des biais que pouvaient induire ces nouvelles technologies. L’intelligence artificielle est en train de révolutionner nos sociétés, elle peut donc aussi faire évoluer les choses d’une manière positive. L’IA permet de gérer et d’analyser de très grandes quantités de données. Cela a notamment permis à Google de créer un algorithme en 2016 pour quantifier le temps de parole des femmes dans les grosses productions cinématographiques américaines et montrer leur sous-représentation. Mais, parallèlement, il faut que les équipes qui développent des algorithmes gagnent en mixité. Or, aujourd’hui, pour une série de raisons qui tiennent notamment aux phénomènes d’autocensure des filles vis-à-vis des filières scientifiques ou au sexisme qui règne dans les entreprises de la high-tech, très peu de femmes font des études d’informatique. Il faudra du temps pour inverser cette tendance.
F.V. : Il faut certes éduquer les algorithmes, mais modifier quelques lignes de code ne suffira pas à régler les problèmes. Il faut garder présent à l’esprit qu’il n’y aura aucune volonté de coder l’égalité si les équipes impliquées ne sont pas mixtes.
En savoir plus :
Démocratiser l’IA en Afrique, Le Courrier de l’UNESCO, juillet-septembre 2018
