Quand Les Algorithmes Renforcent Les Inégalités

Et si, les algorithmes n’étaient pas neutres mais responsables des mêmes inégalités qu’ils prétendent combattre ? Publié en 2016, l’ouvrage de Cathy O’Neil Weapons of math destruction : how big data increases inequality and threatens democracy vient d’être traduit en Français sous le titre Algorithmes : la bombe à retardement (Les Arènes, 2018). Derrière le jeu de mots du titre (math destruction pour mass destruction), la mathématicienne compte dénoncer des mécanismes mathématiques perçus comme neutres, mais qui reproduisent des inégalités et maintiennent les plus vulnérables dans la pauvreté et la délinquance.  

On les croit neutres, non biaisés. On les utilise parce qu’ils permettent de gagner du temps, mais aussi parce qu’ils seraient objectifs et plus précis que les humains. Pourtant, derrière les algorithmes, il y a toujours une intention. Une intention humaine qui reproduit les biais et les inégalités et qui, se cachant derrière l’infaillibilité des chiffres deviendrait incontestable. Avec son ouvrage au titre choc Weapons of math destruction : how big data increases inequality and threatens democracy (2016), traduit en Français sous le titre d’Algorithmes : la bombe à retardement (Les Arènes, 2018), la mathématicienne, data scientist et activiste Cathy O’Neil compte alerter les lecteurs (et les décideurs) sur un biais originel : leur confiance aveugle dans l’objectivité des mathématiques et l’utilisation qui est faite des algorithmes.

Car les algorithmes, avec l’essor de l’intelligence artificielle, sont partout. Ils promettent gain de temps et efficacité et n’ont besoin que de deux choses, selon la docteure en mathématiques : « des données et une définition de ce qu’est le succès ». Avec internet, les données sont disponibles en grand nombre et viennent alimenter des bases utiles à la création de modèles. Or, pour Cathy O’Neil, les modèles sont par nature des simplifications qui ne tiennent pas compte des angles morts. « Malgré leur réputation d’impartialité, les modèles sont le reflet d’une idéologie et d’objectifs précis », écrit la mathématicienne.

Justice prédictive

Tout au long de son ouvrage, elle met en évidence des « armes de destruction mathématique (ADM) » présents dans les secteurs clés de nos sociétés : l’éducation, la justice, le monde du travail. Si la mise en place d’algorithmes part souvent d’une bonne intention – faire baisser la criminalité, améliorer les résultats des écoles (…) – la conséquence peut être dévastatrice pour une partie de la population qui voit les discriminations se reproduire sans pouvoir les contester.

Ainsi en est-il de la justice prédictive. Par exemple dans le Comté de Harris (Houston) où il a été enregistré que les procureurs étaient trois fois plus enclins à réclamer des peines de mort pour les afro-américains et quatre fois plus pour les hispaniques par rapport aux blancs déclarés coupables des mêmes faits. Partant du constat que les noirs ne représentent que 13% de la population et pourtant 40% de la population carcérale, de nombreux états se sont dotés d’outils de modélisation de la récidive afin d’effacer les préjugés des juges. Problème, le modèle se base sur un long questionnaire – « quelle est la première fois où vous avez eu affaire à la police ? » – dont les réponses seront forcément très différentes entre un noir des quartiers pauvres et un blanc d’un milieu aisé. Dans certains états, les magistrats vont même jusqu’à utiliser ces scores pour déterminer la durée de la peine. Or, comme le rappelle Cathy O’Neil, « nous sommes jugés pour ce que nous faisons et pas pour ce que nous sommes ».

Autre exemple de justice prédictive avec la ville de Reading qui a mis en place en 2013 un logiciel de prédiction criminelle. En analysant les données historiques, PredPol est en mesure d’indiquer les lieux dans lesquels des délits sont susceptibles d’être commis. Sur le terrain, la police décide de se concentrer sur ce qu’elle nomme les « comportements anti sociaux » tels la mendicité, la vente et la consommation de drogue… Or, pour Cathy O’Neil, ces comportements étant très présents dans certains quartiers, la police va y multiplier les patrouilles et les arrestations (pour des délits mineurs) qui vont multiplier les points à la cartographie prédictive. « Le résultat est que nous criminalisons la pauvreté tout en étant convaincus que nos outils sont scientifiques et justes. »

Outre perpétuer et accentuer des inégalités, ces modèles mathématiques tendent à entraîner des injustices comme à Washington où les politiciens voulaient améliorer les résultats des écoles en renvoyant les enseignants jugés mauvais : un modèle mathématique a été instauré pour mesurer les progrès des étudiants et en calculer la part imputable aux enseignants. Or, par peur d’être virés, de nombreux enseignants avaient falsifié les tests de leurs élèves. Résultat, ce ne sont pas les enseignants les moins bons, mais les  plus honnêtes qui ont été exclu de l’éducation.

Dans son ouvrage, Cathy O’Neil montre à grand renfort d’exemples, que ces modèles sont « opaques », sauf pour les mathématiciens et les informaticiens qui les ont conçu. « Les verdicts des armes de destruction mathématique tombent comme des diktats énoncés par les démiurges algorithmes. » La mathématicienne met ainsi en lumière les risques d’un monde gouverné par le big data où les universités à but lucratif ciblent les mères célibataires et les toxicos parce que « la vulnérabilité vaut de l’or » et où un logiciel de planning, focalisé sur l’efficience, produit des travailleurs pauvres en masse.

Cathy O’Neil ne suggère pas que l’ensemble des citoyens devraient faire des maths leur carrière, mais qu’il n’y a pas « de potion magique » derrière les algorithmes, comme elle l’indiquait récemment à nos confrères de France Culture. Et incite les citoyens à faire valoir leurs droits.