Une IA reconnait l’origine ethnique d’un humain sur les rayons X et on ne comprend pas comment

Si l’on a longtemps pensé que l’Intelligence Artificielle (IA) pourrait être exempte des préjugés (de couleurs, de sexes, de religion, …) qui empêchent l’humain d’être neutre, on s’est finalement rendu compte que ce n’est pas le cas.

En effet, un algorithme "peut être raciste, sexiste et nuire aux pauvres", comme l’explique Elise De Grave, professeure à l’UNamur. De plus, de nombreuses études prouvent que l’Intelligence Artificielle peut être sexiste ou raciste en fonction des programmateurs qui ont codé l’algorithme.

L’objectif de l’étude de l’équipe d’Harvard était, avant tout, de déterminer dans quelle mesure les systèmes d’IA pouvaient détecter l’origine ethnique à partir des rayons X et d’en savoir plus sur la manière dont ils sont réellement capables de le faire.

Comme l’explique Boston.com, l’équipe de recherche a formé les programmes d’IA à l’aide de rayons X et de tomodensitogrammes standard de différentes parties du corps. Chaque image (parfois très dégradée) était étiquetée avec l’origine ethnique autodéclarée par le patient mais ne contenait aucune trace de marqueurs raciaux tels que la couleur de la peau, la densité osseuse ou la texture des cheveux.

Les IA arrivent à la bonne réponse plus de 90% du temps. Une bonne nouvelle ? Peut-être mais, selon un communiqué du MIT, les scientifiques ne comprennent pas quelles caractéristiques d’une image permettent au programme de détecter la couleur de peau d’un patient…

Pour l’instant, les chercheurs pensent que l’imagerie médicale enregistre d’une manière ou d’une autre le niveau de mélanine dans la peau d’un patient mais d’une façon que les humains n’ont encore jamais détectée, explique le Boston Globe.

Second problème, l’IA utilise ensuite cette information et pas toujours de manière neutre : "Nous soulignons que la capacité de l’IA à prédire l’identité raciale n’est pas en soi important, mais plutôt que cette capacité est facilement apprise et est donc susceptible d’être présente dans de nombreux modèles d’analyse d’images médicales", explique Marzyeh Ghassemi, professeur adjoint au Massachusetts Institute of Technology et co-auteur de l’étude.

Cette étude relance le débat et le dilemme des programmateurs sur la capacité que l’humain a de créer une Intelligence Artificielle qui n’aurait pas les préjugés et les biais que l’on a… une IA neutre est-elle possible ?