“Si vous avez un visage, vous avez votre place dans la conversation sur l’IA”, déclare un expert

L’informaticien Joy Buolamwini était étudiante diplômée au MIT lorsqu’elle a fait une découverte surprenante : le logiciel de reconnaissance faciale sur lequel elle travaillait ne pouvait pas détecter sa peau foncée ; il n’a enregistré sa présence que lorsqu’elle a mis un masque blanc.

C’était la première rencontre de Buolamwini avec ce qu’elle en est venue à appeler le « regard codé ».

“Vous avez probablement entendu parler du ‘regard masculin’ ou du ‘regard blanc'”, explique-t-elle. “Il s’agit en réalité d’un concept cousin, à savoir qui a le pouvoir de façonner la technologie et dont les préférences et les priorités sont ancrées – ainsi que, parfois, dont les préjugés sont ancrés.”

Buolamwini note que lors d’un test récent du système d’IA générative de synthèse texte-image de Stable Diffusion, les invitations à des emplois bien rémunérés ont donné dans une écrasante majorité des images d’hommes à la peau plus claire. Pendant ce temps, les stéréotypes criminels, tels que les trafiquants de drogue, les terroristes ou les détenus, aboutissaient généralement à des images d’hommes à la peau plus foncée.

Dans son nouveau livre, Démasquer l’IA : ma mission de protéger ce qui est humain dans un monde de machines, Buolamwini examine les implications sociales de la technologie et prévient que les préjugés dans les systèmes d’analyse faciale pourraient nuire à des millions de personnes, surtout s’ils renforcent les stéréotypes existants.

“Avec l’adoption des systèmes d’IA, au début, je pensais que nous regardions un miroir, mais maintenant je crois que nous sommes face à un kaléidoscope de distorsion”, explique Buolamwini. “Parce que les technologies qui, selon nous, nous amènent vers le futur, nous font en réalité reculer par rapport aux progrès déjà réalisés.”

Buolamwini dit qu’elle s’est lancée dans l’informatique parce qu’elle voulait « construire une technologie future cool » – et non pour être une militante. Mais à mesure que les utilisations abusives potentielles de la technologie sont devenues plus évidentes, elle a réalisé qu’elle devait s’exprimer.

“Je crois sincèrement que si vous avez un visage, vous avez votre place dans la conversation sur l’IA”, dit-elle. “Lorsque vous rencontrez des systèmes d’IA, que ce soit sur votre lieu de travail, peut-être à l’hôpital, peut-être à l’école, [ask] questions : « Pourquoi avons-nous adopté ce système ? Est-ce qu’il fait réellement ce que nous pensons qu’il va faire ? “

Faits saillants de l’entretien

Pourquoi les logiciels de reconnaissance faciale font des erreurs

Comment se fait-il qu’une personne puisse être identifiée à tort par une machine ? Nous devons donc examiner la manière dont nous apprenons aux machines à reconnaître le motif d’un visage. L’approche de ce type de reconnaissance de formes repose donc souvent sur l’apprentissage automatique. Et lorsque nous parlons d’apprentissage automatique, nous parlons de formation de systèmes d’IA qui apprennent à partir d’un ensemble de données. Vous disposez donc d’un ensemble de données qui contiendrait de nombreux exemples de visage humain et, à partir de cet ensemble de données, en utilisant diverses techniques, le modèle serait entraîné à détecter le motif d’un visage, puis vous pourrez aller plus loin et dire : “OK, allons-y”. entraînez le modèle à trouver un visage spécifique.

Ce que mes recherches ont montré et ce que d’autres ont également montré, c’est que bon nombre de ces ensembles de données n’étaient pas du tout représentatifs du monde. J’ai commencé à les appeler des ensembles de données « mâles pâles », parce que j’examinais les ensembles de données et je les parcourais et les comptais : combien de personnes à la peau claire, combien de personnes à la peau foncée ? Combien de femmes, combien d’hommes, etc. Et certains des ensembles de données vraiment importants dans notre domaine. Il pourrait s’agir d’hommes à 70 % et de plus de 80 % d’individus à la peau plus claire. Et ce type d’ensembles de données pourrait être considéré comme une référence. …

Il n’est donc pas si surprenant d’avoir des taux d’identification erronée plus élevés pour les personnes qui sont moins représentées lorsque ces types de systèmes ont été développés en premier lieu. Et donc, quand vous regardez des gens comme Porcha Woodruff, qui a été faussement arrêté en raison d’une mauvaise identification par reconnaissance faciale, quand vous regardez Robert Williams, qui a été faussement arrêté en raison d’une erreur d’identification faciale devant ses deux jeunes filles, quand vous regardez Nijeer Parks , quand vous regardez Randall Reed, Randall a été arrêté pour un crime commis dans un État dans lequel il n’avait jamais mis les pieds. Et toutes ces personnes que j’ai mentionnées – ce sont toutes des personnes à la peau foncée.

Pourquoi l’IA trompe-t-elle les visages féminins

J’ai examiné les recherches sur la classification par sexe et j’ai constaté dans certaines études antérieures qu’en fait, les femmes plus âgées avaient tendance à être plus souvent malgenrées que les femmes plus jeunes. Et j’ai également commencé à examiner la composition des différents ensembles de données de tests de classification par sexe, les critères de référence, etc. Et c’est un genre d’histoire similaire à celle de la peau foncée ici. Il ne s’agit pas seulement de la proportion de représentation, mais aussi du type de femme représenté. Ainsi, par exemple, bon nombre de ces ensembles de données sur les visages sont des ensembles de données sur les visages de célébrités. Et si vous regardez les femmes qui ont tendance à être célébrées, [they are] les femmes à la peau plus claire, mais aussi [women who] correspondent également à des normes de genre très spécifiques ou à des normes et stéréotypes de présentation du genre. Et donc, si vous avez des systèmes formés sur un certain type de forme idéale de femme qui ne correspond pas réellement à de nombreuses façons d’être une femme, cette présentation apprise du genre ne reflète pas le monde.

Sur le fait d’être une « poète du code » et sur le succès de son article « AI, Aint I a Woman ?

J’ai passé tellement de temps à vouloir que mes recherches soient prises au sérieux. … Je craignais que les gens pensent aussi que c’est un gadget. … Et ainsi, après avoir publié le Nuances de genre article et il a été très bien accueilli dans le monde universitaire et aussi dans l’industrie, d’une certaine manière, j’ai senti que cela m’a donné un petit bouclier pour expérimenter davantage le côté poétique. Et donc, peu de temps après la publication de cette recherche, j’ai écrit un poème intitulé « AI, Ain’t I a Woman ? », qui est à la fois un poème et un audit de l’IA consistant à tester différents systèmes d’IA. Les résultats de l’audit de l’IA déterminent donc les paroles des poèmes. Et pendant que je travaillais là-dessus, cela m’a permis de me connecter au travail d’une manière différente.

C’est là que l’élément humanisant entre en jeu. C’est donc une chose de dire : « OK, ce système est plus précis que ce système » ou « ce système fonctionne mieux sur une peau plus foncée ou fonctionne mieux sur une peau plus claire ». Et vous pouvez voir les chiffres. Mais je voulais passer des mesures de performance aux arts de la scène afin que vous puissiez ressentir ce que cela signifie si quelqu’un est mal classé – pas seulement lire les différentes mesures qui l’entourent.

Et c’est donc là toute l’expérimentation autour de « IA, je ne suis pas une femme ? » était. Et cette œuvre a voyagé dans des endroits auxquels je ne m’attendais pas. L’endroit le plus inattendu a probablement été celui du panel EU Global Tech. Il a été présenté aux ministres de la Défense de tous les pays de l’UE avant une conversation sur les armes autonomes mortelles afin d’humaniser les enjeux et de réfléchir à ce que nous proposons.

Sur son message urgent au président Biden sur l’IA

Nous avons l’opportunité de jouer un rôle de premier plan dans la prévention des méfaits de l’IA, et le sous-titre du livre protège Qu’est-ce qui est humain dans un monde de machines. Et quand je pense à ce qui est humain, je pense à notre droit de nous exprimer, à l’essence de qui nous sommes et à nos attentes en matière de dignité. Je mets le président Biden au défi de demander aux États-Unis de prendre l’initiative en matière de ce que j’appelle les droits biométriques. …

Je parle de notre essence, de notre ressemblance réelle. … Quelqu’un peut prendre la voix de votre proche, la cloner et l’utiliser dans un canular. Ainsi, vous pourriez entendre quelqu’un crier pour votre nom, disant que quelqu’un a pris quelque chose, et vous avez des fraudeurs qui utilisent ces clones vocaux pour extorquer des gens. La célébrité ne vous sauvera pas. Vous aviez Tom Hanks, son image était utilisée avec des médias synthétiques avec un deepfake pour promouvoir un produit dont il n’avait même jamais entendu parler.

Nous voyons donc ces algorithmes d’exploitation qui prennent notre essence même. Et puis nous constatons également que le besoin de droits civils et de droits de l’homme persiste. Il était très encourageant de voir dans le décret que les principes du projet de déclaration des droits de l’IA – tels que la protection contre la discrimination algorithmique, l’efficacité des systèmes d’IA utilisés, l’existence de solutions de repli humaines – étaient effectivement inclus, car cela sera nécessaire pour sauvegarder nos droits civils et nos droits humains.

Sur la façon dont le fait de catastrophiser l’IA qui nous tuera à l’avenir néglige le mal qu’elle peut causer aujourd’hui

Je m’inquiète de la manière dont les systèmes d’IA peuvent déjà nous tuer lentement. Je suis également préoccupé par des choses comme les armes autonomes mortelles. Donc pour moi, vous n’avez pas besoin de systèmes d’IA super intelligents ou de robotique avancée pour causer un réel préjudice. Une voiture autonome qui ne vous voit pas sur la route peut être mortelle et dangereuse. Je pense à cette notion de violence structurelle où l’on pense à la violence aiguë : il y a le pistolet, la balle, la bombe. Nous voyons ce type de violence. Mais quelle est la violence de ne pas avoir accès à des soins de santé adéquats ? Quelle est la violence de ne pas avoir de logement et un environnement exempt de pollution ?

Et donc, quand je pense à la manière dont les systèmes d’IA sont utilisés pour déterminer qui a accès aux soins de santé et à l’assurance, qui obtient un organe particulier, dans mon esprit… il existe déjà de nombreuses façons dont l’intégration des systèmes d’IA mène à des préjudices réels et immédiats. Nous n’avons pas besoin d’êtres super-intelligents pour cela.

Sam Briger et Thea Chaloner ont produit et édité cette interview pour diffusion. Bridget Bentz, Molly Seavy-Nesper et Beth Novey l’ont adapté pour le Web.