Stable Diffusion a été formé à l’utilisation de matériel pédopornographique, selon une étude de Stanford

Un article de Alexandra S. Levine pour Forbes US – traduit par Lisa Deleforterie

Stable Diffusion, l’un des outils d’IA de génération d’images à partir de texte les plus populaires sur le marché, a été entraîné sur du matériel relatif aux abus sexuels sur les enfants (MRAS), selon une nouvelle étude de l’Observatoire de l’Internet de Stanford. L’outil a été créé par la start-up Stability AI, dont le chiffre d’affaires s’élève à 1 milliard de dollars (913 millions d’euros).

Le modèle a été entraîné sur des ensembles massifs de données ouvertes afin que les utilisateurs puissent générer des images réalistes à partir de questions telles que : « Montrez-moi un chien habillé en astronaute qui chante sur Times Square sous la pluie ». Plus les modèles de ce type sont alimentés en images, plus ils se renforcent, et plus les résultats se rapprochent de la perfection. Mais les chercheurs de Stanford ont découvert qu’un vaste ensemble de données publiques de milliards d’images utilisé pour former Stable Diffusion et certains de ses homologues, appelé LAION-5B, contient des centaines d’images connues d’abus sexuels sur des enfants. L’analyse de Stanford a révélé que l’ensemble de données, qui utilise de véritables images d’abus sexuels d’enfants récupérées sur le web, a également contribué à la création d’images d’abus sexuels d’enfants générées par l’IA. La technologie s’est améliorée si rapidement qu’il est souvent presque impossible de distinguer à l’œil nu les fausses images des vraies.

Plus de 3 000 éléments suspects

« Malheureusement, les répercussions du processus de formation de Stable Diffusion 1.5 se feront sentir pendant un certain temps », indique l’étude dirigée par David Thiel, technologue en chef de l’Observatoire de l’Internet de Stanford. Le rapport préconise d’abandonner tous les modèles construits sur la base de Stable Diffusion 1.5 qui ne sont pas dotés des garanties appropriées.

Les chercheurs, qui ont trouvé plus de 3 000 éléments suspects de MRAS dans les données d’entraînement publiques, précisent que le volume réel est probablement beaucoup plus élevé, étant donné que leur évaluation n’a été réalisée qu’à partir du mois de septembre et qu’elle n’a porté que sur une petite partie de l’ensemble de milliards d’images. L’étude a été réalisée à l’aide de PhotoDNA, un outil de Microsoft qui permet aux enquêteurs de faire correspondre les « empreintes » numériques des images en question à des éléments connus de MRAS dans les bases de données gérées par le National Center for Missing and Exploited Children (NCMEC) et le Centre canadien de protection de l’enfance. Ces organisations à but non lucratif sont chargées de transmettre ces informations aux services de police.

« Nous nous engageons à prévenir l’utilisation abusive de l’IA et nous interdisons l’utilisation de nos modèles d’images et de nos services pour des activités illégales, y compris les tentatives d’édition ou de création de MRAS », a déclaré Ben Brooks, responsable de la politique publique chez Stability AI, dans un courriel envoyé après la publication.

Les règles de Stability AI stipulent que ses modèles ne peuvent être utilisés pour « l’exploitation ou le préjudice des enfants, y compris la sollicitation, la création, l’acquisition ou la diffusion de contenus exploitant les enfants ». L’entreprise a également pris des mesures pour résoudre ce problème, notamment en publiant de nouvelles versions de Stable Diffusion qui filtrent les contenus explicites « dangereux » des données d’entraînement et des résultats. M. Brooks a ajouté que Stability AI avait « mis en place des filtres pour intercepter les invites ou les résultats dangereux » et « investi dans des fonctions d’étiquetage du contenu pour aider à identifier les images générées sur la plateforme ». Il est donc plus difficile pour les acteurs malveillants d’utiliser l’IA à mauvais escient.

Le travail des forces de l’ordre rendu plus difficile 

Néanmoins, l’étude de Stanford a révélé que l’outil Stable Diffusion est formé en partie sur des contenus illégaux d’enfants – y compris des MRAS extraits de sites grand public comme Reddit, X et WordPress – et que ces types d’outils d’IA peuvent également être utilisés à mauvais escient pour produire des MRAS falsifiés. Stability AI ne semble pas avoir signalé les cas présumés de MRAS à la CyberTipline gérée par le NCMEC. Cependant, Christine Barndt, porte-parole de l’organisation à but non lucratif, a déclaré que l’IA générative « rend beaucoup plus difficile pour les forces de l’ordre de faire la distinction entre les vrais enfants victimes qui doivent être trouvés et secourus, et les images et vidéos artificielles ».

Stable Diffusion 1.5 est le modèle le plus populaire construit sur LAION-5B, selon le rapport, mais il n’est pas le seul à être formé sur les ensembles de données LAION. Midjourney, le laboratoire de recherche à l’origine d’un autre générateur d’images IA de premier plan, utilise également LAION-5B. Imagen de Google a été formé sur un ensemble de données différent mais apparenté, appelé LAION-400M, mais après que les développeurs ont trouvé des images problématiques et des stéréotypes dans les données, ils les ont « jugées impropres à une utilisation publique », selon le rapport. Stanford s’est concentré sur le logiciel de Stability AI parce qu’il s’agit d’un grand modèle open source qui divulgue ses données d’apprentissage, mais affirme que d’autres ont probablement été entraînés sur le même ensemble de données LAION-5B. En raison du manque de transparence dans ce domaine, il est difficile de savoir quels acteurs clés ont formé leurs propres modèles sur les mêmes données.

Midjourney n’a pas répondu à une demande de commentaire. Hannah Wong, porte-parole d’OpenAI – le créateur de DALL-E et rival de Stable Diffusion – a déclaré qu’OpenAI ne s’entraînait sur aucun ensemble de données LAION, y compris le 5B.

« L’élimination du matériel relatif aux abus sexuels sur les enfants des modèles eux-mêmes est la tâche la plus difficile », note le rapport. Certains contenus générés par l’IA, en particulier des enfants qui n’existent pas, peuvent également tomber dans un territoire juridique obscur. Inquiets que la technologie ait dépassé les lois fédérales protégeant les enfants contre les abus sexuels et l’exploitation de leurs données, les procureurs généraux des États-Unis ont récemment appelé le Congrès à prendre des mesures pour faire face à la menace que représente le MRAS de l’IA.

Une question majeure pour des entreprises

Le Centre canadien de protection de l’enfance, qui a contribué à valider les conclusions de Stanford, s’inquiète surtout du manque général de rigueur dans la conservation de ces énormes ensembles de données, qui ne font qu’exacerber les problèmes de MRAS de longue date qui affectent toutes les grandes entreprises technologiques, y compris Apple et TikTok.

Lloyd Richardson, directeur informatique de l’organisation, a déclaré à Forbes : « L’idée de conserver un milliard d’images de manière responsable est très coûteuse, alors on prend des raccourcis en essayant d’automatiser autant que possible. Il y avait certainement dans les bases de données des contenus connus d’abus sexuels sur des enfants qui auraient pu être filtrés, mais ne l’ont pas été… Et si nous y trouvons des contenus connus d’abus sexuels sur des enfants, il y a certainement aussi des contenus inconnus ».

« Cela soulève une question majeure pour des entreprises comme Stability AI. Si le matériel utilisé pour entraîner ce modèle est illégal, le modèle lui-même est-il illégal ? Et c’est une question vraiment embarrassante pour beaucoup de ces entreprises qui, en toute franchise, ne font rien pour conserver correctement leurs ensembles de données », a-t-il ajouté.

Stability AI et Midjourney font partie de plusieurs sociétés technologiques poursuivies par un groupe d’artistes qui prétendent que les jeunes entreprises ont utilisé à tort leur travail créatif pour entraîner l’intelligence artificielle.

À lire aussi : La start-up Armada facilite l’accès à l’IA dans les endroits reculés grâce aux satellites Starlink de SpaceX