Quand Les Algorithmes “Décident”, A Qui Incombe La Responsabilité ?

Nos villes sont progressivement gouvernées par des technologies de plus en plus complexes. Au quotidien, chacun a tendance à leur faire confiance… Après tout, ce sont des machines et elles sont censées être objectives. Mais dans ce cas, nous sommes tous réduits à un réseau de données. Alors, quelles peuvent être conséquences pour nous, citoyens ? Plus important encore, lorsque les algorithmes “décident”, à qui incombe la responsabilité en cas de défaillance ?

Au nom de l’optimisation des services urbains, les “solutions” Smart City se sont développées à tel point que l’on confie certaines tâches quotidiennes à des algorithmes. Au quotidien, personne ne se pose plus réellement de questions sur l’autonomisation de nos lignes de métro ou sur la synchronisation des feux tricolores qui régulent la fluidité de nos rues. En revanche, tout prochainement, nous avons de fortes probabilités, c’est déjà en partie le cas, de nous retrouver dans le scénario où vous arriverez à l’aéroport pour prendre votre vol à l’heure au moyen d’un véhicule autonome et votre accès sera conditionné et validé par l’intelligence artificielle qui aura au préalable scanné votre passeport/visage et qui décidera si oui ou non vous pouvez rejoindre votre pays de destination.

La technologie et la politique ont une relation aussi ancienne que l’existence de la société, et l’Intelligence Artificielle a, depuis la création de la science-fiction, rempli notre imaginaire et n’a pas fini de l’alimenter. Toutefois, la vérité démontre que, très progressivement, les compétences déléguées à l’I.A aboutiront au final au transfert même de l’autorité à des intelligences algorithmiques. La simplicité voudrait qu’il soit mis en place en amont des politiques de confidentialité, protection des données, de régulation des acteurs, etc. Mais dans un monde si globalisé et si agité par autant d’acteurs hétérogènes, il paraît impossible de se repérer et de bien cibler les solutions.

Les responsables de la ville : une constellation très complexe

Au fur et à mesure que les technologies se complexifient, elles deviennent plus onéreuses. Ce qui change le paradigme de création et d’acquisition d’infrastructures. C’est le cœur même de la raison d’existence des Partenariats Publics-Privés (PPPs). Progressivement, les PPPs sont devenus un terrain de jeux intéressant pour les acteurs ayant eu à répondre aux besoins urbains tout au long du XXème siècle. C’est pour ces raisons que les réseaux urbains sont devenus progressivement plus vastes et plus complexes.

Parallèlement, les récentes technologies ont facilité l’entrée de nouveaux acteurs (Uber, Google, Lime, Waze…) de différentes natures et de différentes tailles. Si l’on omet de citer l’existence des acteurs et autres institutions informelles dans la ville, l’ajout des algorithmes décisionnels complexifie d’autant ce réseau d’acteurs ; on pourrait alors observer un résultat digne d’un tableau de Jackson Pollock.

D’une part, ce boom d’acteurs a représenté et constitue une incontournable opportunité pour le citoyen de participer directement ou indirectement au fonctionnement de la Smart City grâce à l’ensemble de ces données. D’autre part, de forts enjeux apparaissent en cas de défaillance. D’où la question : “ Quid des responsabilités ” ?

Ce problème de reddition de comptes représente à plus d’un titre un véritable défi. En effet, plus souvent qu’on ne l’imagine, des acteurs de renom, véritables institutions bancaires internationales pour le développement, profitent de la complexité du réseau afin de botter en touche quant à leur responsabilités.

I.A. & Services publics : Je t’aime, moi non plus !

Les usages de l’Intelligence Artificielle dans les services urbains sont déjà très vastes. Un des exemples les plus emblématiques du vrai besoin des villes dans l’acquisition de solutions embarquant de l’Intelligence Artificielle reste le secteur énergétique. Du fait que l’énergie en échelle ne peut être stockée, il est crucial de connaître à l’avance le besoin énergétique d’une ville. En même temps, il est indispensable de pouvoir répondre en temps réel aux besoins énergétiques qui évoluent tout au long d’une journée. Pour un tel besoin de précision, le cerveau humain à lui seul n’est pas en capacité de prédire, par exemple, l’impact précis d’un match de football sur la consommation d’énergie en temps réel du simple fait que les conditions météorologiques ont, elles aussi, des implications sur le même phénomène. En revanche, une intelligence artificielle saura le faire sans problème.

Cependant, il existe d’autres cas d’usage qui représentent des importants enjeux pour la citoyenneté. Prenons comme exemple, cette fois-ci, celui du secteur de l’eau. Certaines IA peuvent détecter, voire prédire, des fuites d’eau dans un réseau. Ces technologies sont très honorables, notamment du fait de l’urgence de mieux gérer nos ressources limitées telles que l’eau potable. Dans des villes telles que Mexico, où l’on atteint un pourcentage de 40 % de pertes d’eau en fuites dans le système  (l’équivalent de trois mille litres d’eau par seconde), ce genre d’outil peut s’avérer une réponse logique.

Cette utilité toutefois n’exclut pas le fait que cette même solution pourrait représenter une importante menace pour quelques citadins, notamment ceux habitant dans des bidonvilles.

Si ces “solutions” sont aveuglément déployées dans une grande métropole qui concentre un considérable taux d’inégalités sociales ainsi que des inégalités d’accès à l’eau, ce même outil peut devenir une impitoyable machine qui se retourne contre et qui pénalise une population déjà exclue.

Quand les algorithmes et les données décident de qui est un citoyen et qui ne l’est pas.

Les informations sont les unités essentielles de la gouvernance. Le principe est simple : on ne peut gouverner ce que l’on ne connaît pas. Or, dans les grandes métropoles modernes, les différences entre un citadin connecté à la ville et un citadin totalement exclu peuvent se résumer en deux facteurs communs : le manque de données et les inégalités. Un citadin qui ne possède pas la preuve qu’il est en régularité avec la terre qu’il occupe n’a aucun droit à une adresse formelle. Et dans de nombreux cas, sans cette dernière, ce citoyen ne peut prétendre à aucun réseau d’eau, ou d’électricité, et encore moins au vote dans certains cas. Ces citadins sont donc obligés de se connecter à la ville illégalement. En effet, l’État ne possède aucune données sur ces citoyens, voire, ne veut pas en disposer : ils sont traités en citoyens de seconde classe.

Dans ce cas précis, les algorithmes et l’IA renforcent ces contrastes urbains, perpétuant cette logique de citoyens reconnus comme citoyens de seconde classe. En Inde, à Mumbai, ce sont les ingénieurs d’eau qui décident quand et quelle quantité d’eau chaque personne reçoit. Il n’est pas surprenant que les populations les plus aisées soient les plus alimentées en eau. De fait, ces dernières représentent la plus forte proportion de consommation. Dans une métropole comme Lima (qui d’ailleurs se trouve dans un désert), la consommation moyenne journalière par personne dans les quartiers le plus aisés s’élève à 400 litres, alors que le seuil préconisé par l’ONU pour répondre aux besoins basiques est de 90 litres par jour.

Si la métropole de Mumbai cherchait à optimiser son système de distribution d’eau, elle tenterait d’introduire un système propulsé par des algorithmes et l’IA. Dans ce cas, l’algorithme apprendrait des comportements passés (comportements de demande ou de distribution). Sans une implémentation réfléchie au préalable, il risquerait de répéter ces comportements de consommation ou distribution, perpétuant, et aggravant ainsi les inégalités d’accès à l’eau.

Une cible à considérer : le transfert des bonnes pratiques

D’une façon plus large, ces menaces risquent de se concrétiser à cause de la pratique du “Policy Transfer”. Cela consiste en un partage, à l’imposition ou au déploiement mimétique des “meilleures pratiques” au sein des États, collectivités territoriales, organisations internationales voire même au sein des grands groupes. Certes, elles sont considérées comme les meilleures pratiques qui soient.

Dans le cas d’un mimétisme, le territoire hôte manque souvent d’informations sur la politique elle-même ; le transfert est incomplet, d’où l’oubli d’éléments cruciaux et un transfert inapproprié où l’on fait peu de cas des éléments d’adaptation de la politique au contexte brut du territoire hôte.

Les promesses de la ville intelligente soulèvent des questions cruciales concernant la confidentialité et protection des données utilisées par les algorithmes. Il faut néanmoins réfléchir sur le fait que la plupart de grandes métropoles au monde ne se trouvent pas en Europe mais dans les pays en voie de développement dans lesquels l’état de droit est notamment plus faible, et où l’on trouve d’autres acteurs, d’autres forces, d’autres logiques et même d’autres formes de pouvoir. Si l’on rajoute à ces problématiques le fait qu’il est projeté qu’en 2050, un tiers de la population mondiale habitera dans des bidonvilles, il est nécessaire de réfléchir sans plus attendre sur la place que la Smart City d’aujourd’hui leur promet pour demain.

Article co-écrit avec Andy Bernard-Moulin, expert et conseiller Smart City au sein d’une start-up en Data Science.