Comment une IA peut devenir raciste ou sexiste

Lorsqu’on parle d’IA raciste ou sexiste, de quoi parle-t-on exactement ? Que font ces intelligences artificielles ?

Stéphane d’Ascoli : On commence à avoir beaucoup d’exemples. Il y a eu des cas dans le recrutement, notamment une IA d’Amazon qui défavorisait les CV de femmes à compétences égales. On a aussi les outils de reconnaissance faciale type Face ID qui fonctionnent moins bien sur les personnes noires. C’est problématique et ça peut l’être encore plus si ce problème d’efficacité se retrouve sur des IA censées, par exemple, poser un diagnostic médical. La manière dont certaines IA traitent et traduisent des phrases peut aussi refléter une conception très biaisée. Par exemple, on demande le féminin de “docteur” et on obtient “infirmière”. Le fait que certaines IA discriminent certaines populations est d’autant plus problématique qu’elles influencent désormais des décisions potentiellement sensibles : obtention d’un prêt, d’un poste, décision de justice, etc.

Pourquoi une IA peut devenir raciste ou sexiste ?

SdA : On a tendance à s’imaginer que les IA sont froides, objectives et parfaitement rationnelles mais ce n’est pas le cas. Elles apprennent de nos données et nos données sont biaisées. Si, pendant dix ans, les femmes ont été défavorisées lors du processus de recrutement d’une entreprise et que celle-ci utilise ces données pour entraîner une IA, il y a des chances que l’IA déduise que les CV de femmes sont moins pertinents pour cette entreprise et qu’elle continue de les défavoriser. Les intelligences artificielles n’ont pas notre esprit critique. C’est pour cela que lorsque des internautes se sont amusés à tester les limites du robot conversationnel Tay en essayant de lui faire dire des horreurs, ils y sont rapidement parvenus. L’IA qui apprenait de ses interactions avec les autres utilisateurs de Twitter a rapidement déduit que le meilleur moyen de faire réagir la communauté c’était de toucher au point Godwin. Il faut bien garder en tête que les IA ne remettent pas en question ce qu’on leur apprend. C’est pour cela qu’elles sont très conservatrices d’ailleurs : elles reflètent le monde tel qu’il est, pas le monde tel qu’on voudrait qu’il soit. Il n’y a pas de notion de justice ou de progrès social avec elles. Un autre facteur qui peut amener une intelligence artificielle à traiter différemment les utilisateurs, c’est le manque de données. Si on entraîne une IA de reconnaissance faciale sur des bases photo où l’on trouve majoritairement des personnes blanches, elle risque de moins bien fonctionner sur des personnes noires. Et n’oublions pas enfin que les algorithmes peuvent refléter les biais de leurs concepteurs.

Comment éviter qu’une IA devienne raciste ou sexiste ?

SdA : Ce n’est pas facile. Déjà, il faut identifier le biais et le traiter. Et cela peut s’avérer très compliqué. Avant, on avait des algos parfaitement déterminés, on savait précisément ce qu’ils faisaient. Mais, de plus en plus, les IA vont sélectionner elles-même les caractéristiques importantes. C’est tout l’intérêt du deep learning mais cela les rend beaucoup plus difficiles à contrôler. Un exemple assez drôle sur le sujet, c’est celui de deux hôpitaux qui fournissaient des images de rayons X de patients. Une IA devait déterminer si l’image révélait ou non une fracture. Le problème c’est que les hôpitaux avaient des taux très différents de cas (90% de patients avaient une fracture pour l’hôpital A et 10% seulement pour l’hôpital B). On s’est aperçu que pour déterminer si l’image montrait ou non une fracture, l’IA ne l’analysait pas du tout : elle se contentait de contrôler le logo de l’hôpital. Car l’hôpital A avait effectivement beaucoup plus de cas de fractures ! Ce type de biais est difficile à repérer et il est aussi très dur à corriger : même si on enlève le logo, les images de chaque hôpital ont certainement des spécificités (résolutions différentes etc.). Donc l’intelligence artificielle pourra continuer d’identifier l’hôpital par d’autre moyens. C’est le même problème qui se pose avec les biais sexistes ou racistes : on peut se dire qu’on retire la donnée de genre ou d’ethnicité. Mais l’IA pourra souvent déduire ce paramètre d’autres données. Il faut cependant essayer au maximum d’identifier les biais discriminants et trouver un moyen de les retirer. Pour empêcher les IA de devenir racistes ou sexistes, il est également important de s’assurer que les jeux de données sur lesquels on va entraîner l’IA sont équilibrés et diversifiés. En l’occurrence, ça, c’est faisable. Et une fois que l’IA est opérationnelle, il faut impérativement la tester pour vérifier qu’elle traite de façon identique les utilisateurs.

“Comprendre la révolution de l’intelligence artificielle” de Stéphane d’Ascoli (Editions First)

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.