L’Intelligence Artificielle Peut-Elle Être Discriminante ?

Hier, lors de la signature d’un contrat d’assurance ou pour l’obtention d’un prêt, votre interlocuteur analysait les éléments que vous lui aviez apportés, et la décision dépendait en partie de votre présentation du dossier. Mais demain, avec l’intelligence artificielle, l’algorithme donnera une réponse basée sur des milliards de données corrélées et personne ne sera en mesure d’analyser ou de contester cette décision.  

Des milliards de données mémorisées et corrélées

Si l’algorithme a mémorisé un fort taux d’impayés dans le quartier où vous habitez, s’il a déduit de vos achats que vous étiez en surpoids, ou que vous fumiez, si par votre nom ou prénom il vous a identifié comme étant d’une origine ayant un fort taux d’infractions au code de la route, alors même que vous êtes, vous, irréprochable, la réponse à votre demande de prêt ou d’assurance sera refusée, et vous n’aurez alors aucune explication.

Explicabilité de la décision de l’intelligence artificielle

L’explicabilité n’est pas prévue par ce réseau de neurones dit artificiel ou profond qu’on appelle le Deep Learning, outil fustigé jusqu’aux années 80 mais de plus en plus présent dans l’intelligence artificielle aujourd’hui. Il faut savoir que si on est capable de décoder un programme informatique standard, on est incapable de savoir ce qu’il se passe dans la « black box » du Deep Learning. On connaît ce qui y entre et on considère comme juste ce qui en sort, alors qu’on est incapable d’expliquer ce qu’il se passe dedans.

Les Américains ont pris conscience du problème, c’est pourquoi ils ont lancé un programme militaire dont la seule ambition est d’expliquer l’intelligence artificielle : https://www.darpa.mil/program/explainable-artificial-intelligence

Prolifération de biais indirects et habiles

De quels biais parle-t-on ? Du sexe, de la zone d’origine du candidat, de l’historique de sa famille, de son lieu d’habitation, de son comportement, de sa conduite, consommation et éventuellement vie privée et secrète. L’algorithme ne fera en fait que reproduire et amplifier les discriminations déjà existantes . Si aucune femme n’a occupé tel poste, ou n’a jamais réussi dans tel secteur d’activité,  il en déduira que les femmes sont moins performantes dans ce secteur , et rejettera la demande, et cela ne fera qu’amplifier les discriminations, et les certitudes mathématiques du Deep Learning.  

Autre biais, les geeks féminins étant peu présents dans l’IA dont le «Deep Learning» (moins de 15%), l’algorithme est donc le plus souvent construit par des hommes qui sont pour beaucoup passés directement des jeux en ligne aux algorithmes. On peut donc imaginer que cela amplifiera la discrimination dont les femmes sont victimes.

L’intelligence artificielle a-t-elle pris le pas sur les humains ?

Si on s’intéresse un peu aux mathématiques, l’intelligence artificielle basée sur les probabilités, mais truffées de biais, voire de doublons, ne laissera plus aucune chance à l’ascenseur social, un outil d’humains, pour ne pas dire manuel.    

Car en théorie des probabilités, l’espérance mathématique d’une variable aléatoire réelle est, intuitivement, la valeur que l’on s’attend à trouver, en moyenne, si l’on répète un grand nombre de fois la même expérience aléatoire. Pour simplifier, si vous êtes une personne originaire de telle partie du monde, si vous résidez dans un quartier dit difficile, avant l’IA, si vous répétiez inlassablement vos candidatures, vous aviez des chances de réussir, c’est ce que l’on appelle « l’espérance mathématique ». Cette espérance mathématique disparaît avec l’intelligence artificielle.

Autre exemple de la perte de contrôle de l’IA qui a incité l’université Carnegie Mellon aux USA à créer un centre de recherche sur l’éthique de l’intelligence artificielle, le K&L . L’université avait remarqué lors d’une de ses études qu’une intelligence artificielle offrait systématiquement des postes moins bien rémunérés aux femmes qu’aux hommes. Les chercheurs n’avaient alors pu identifier ni le biais ni l’origine de ce fait, d’où l’idée de création de ce centre d’études.

À quoi s’attendre alors qu’il est impossible d’auditer une décision algorithmique de « Deep Learning » ?

On lit beaucoup de textes enthousiastes sur les perspectives de développement, on lit moins de textes sur l’éthique, les biais cognitifs algorithmiques ou sur les doublons (grand sujet) lors de la construction de l’Algo.

Bien sûr, il n’est pas question que la France devienne le donneur de leçons d’éthique en intelligence artificielle alors que les Etats-Unis et la Chine, eux, font du business.

Néanmoins, la non-neutralité des machines et des calculs construits par des humains doit nous mettre en garde contre une confiance aveugle et une vision naïve des données produites par les algorithmes. On rappellera les déboires de Facebook lors des présidentielles américaines, ou encore récemment cette recherche douteuse sur la reconnaissance faciale concernant l’identification des homosexuels.

La réalité “gênante”, c’est que les algorithmes qui sont mis en service contiennent nombre de biais voire des erreurs de doublons, et que personne ne peut auditer ce qu’il se passe dans cette « black box » du « Deep Learning ». Pour faire un parallèle, la black box est un peu comme un médicament dont on ne connaît pas les actions, dont ne peut juger que les résultats et les effets secondaires.

En conclusion, les techniciens et autres super geeks devraient cesser de se considérer comme de purs scientifiques, car ils construisent les outils de notre vie de demain, mais ça, c’est une autre histoire.