Long-format | « Je veux ce petit bébé » : les prédateurs sexuels sur TikTok et Instagram attirés par des images d’enfants générées par l’IA

Les images d’enfants générées par l’IA sur TikTok et Instagram deviennent des aimants pour de nombreux prédateurs sexuels. Cependant, il existe une zone grise troublante lorsque ces contenus sont légaux et ne représentent pas des personnes réelles.

Article d’Alexandra S. Levine pour Forbes US – traduit par Flora Lucas

L’article suivant contient des commentaires sur le contenu inquiétant des réseaux sociaux.

Sur TikTok et Instagram, ces filles ont l’air d’avoir cinq ou six ans. Les plus âgées ont à peine 13 ans. Elles sont photographiées portant de la dentelle et du cuir, en bikini ou encore en crop top. Elles sont habillées de manière suggestive en infirmières, en super-héroïnes, en ballerines et en bonnes à tout faire. Certaines portent des oreilles de lapin ou des cornes de diable, d’autres des nattes et des lunettes surdimensionnées. Elles sont noires, blanches et asiatiques, blondes, rousses et brunes. Elles ont toutes été créées par l’IA et sont devenues des aimants à prédateurs sexuels sur certaines des plus grandes applications de réseaux sociaux du monde.

Des commentaires qui ne laissent aucun doute sur les intentions des utilisateurs

« L’IA réalise de grandes œuvres d’art : j’aimerais avoir une jolie petite vierge comme celle-là dans les mains pour la faire mienne », a commenté un utilisateur de TikTok à propos d’un post récent de jeunes filles blondes en tenue de soubrette, avec des nœuds autour du cou et des fleurs dans les cheveux.

Un autre TikToker a écrit sous un diaporama de petites filles entièrement vêtues dans des costumes de Spider-Man : « Si c’est généré par l’IA, est-ce que c’est mal de dire que je n’ai jamais rien vu d’aussi sexy ? Elle n’est pas réelle, mais j’ai beaucoup d’imagination. »

« Il ne devrait pas y avoir de mal dans les deux cas », a répondu un autre, dont le nom d’utilisateur contenait « p3do », qui en langage codé signifie « pédo ».

« Vous ne pouvez pas la violer parce qu’il s’agit d’une image d’IA », a déclaré l’un d’entre eux.

Des remarques similaires inondent les commentaires sous les photos d’enfants générées par l’IA sur Instagram. « J’adorerais prendre son innocence même si c’est une fausse image », a écrit une personne sous la photo d’une petite enfant habillée en mariée. Sous une autre photo d’une jeune fille en short, le même utilisateur a commenté « sa mignonne paire de [seins] de petite taille », avec deux emojis de pomme, « et sa parfaite et innocente part de tarte aux cerises en bas ». Sous la photo d’une préadolescente portant un top à bretelles, un certain « Gary » a déclaré : « Jolis petits bourgeons. Quand elle sera plus grande, ce seront des melons de bonne taille. »

« Ça a l’air délicieux. » « Vous livrez à domicile ? » « L’âge parfait pour se faire exploiter. » « Je veux ce petit bébé. » « Pouvez-vous faire un test où elle saute de mon téléphone dans mon lit ? ». Voilà le type de commentaires que l’on retrouve sur TikTok et Instagram. Forbes a trouvé des centaines de messages et de commentaires de ce type sous des images d’enfants générés par l’IA sur les plateformes à partir de 2024 seulement. Parmi ces images, de nombreuses étaient associées à des tubes musicaux, comme « Texas Hold ’Em » de Beyonce, « Shake It Off » de Taylor Swift et « Fast Car » de Tracy Chapman, pour les aider à toucher un public plus large.

Les prédateurs sexuels rôdent sur la plupart des grandes applications de réseaux sociaux, où ils peuvent se cacher derrière des écrans et des noms d’utilisateur anonymes, mais la popularité de TikTok et d’Instagram auprès des adolescents et des mineurs en a fait deux destinations privilégiées. Et bien que la lutte des plateformes contre les contenus pédopornographiques remonte à bien avant l’essor actuel de l’IA, les générateurs d’images par l’IA permettent aux prédateurs de trouver ou de créer encore plus facilement ce qu’ils recherchent.

Une recrudescence de la violence sexuelle générée par l’IA

Ces outils ont entraîné une recrudescence de la violence sexuelle générée par l’IA, qui est illégale même si les images ne sont pas réelles. Cependant, les images découvertes dans le cadre de cette enquête se situent dans une zone grise. Elles ne sont pas explicites, mais elles sont sexualisées. Elles mettent en scène des mineurs, mais pas de vrais mineurs. Elles semblent être légales, mais les commentaires qu’elles contiennent suggèrent une intention malsaine. Les experts en sécurité des enfants et en criminalistique les ont décrits comme des portails vers des activités bien plus sombres et potentiellement criminelles. Cette situation soulève des questions dans les domaines de la technologie et de l’application de la loi quant à la manière de traiter le fléau des fausses images suggestives d’enfants qui n’existent pas.

Les entreprises technologiques sont tenues, en vertu de la législation américaine, de signaler les cas présumés d’exploitation sexuelle d’enfants sur leurs plateformes au National Center for Missing and Exploited Children (NCMEC, Centre national pour les enfants disparus et exploités), une organisation à but non lucratif qui transmet les informations relatives à ces activités illégales aux autorités chargées de l’application de la loi. Cependant, elles ne sont pas obligées de signaler ou de supprimer des images comme celles décrites dans cet article. Néanmoins, le NCMEC a déclaré à Forbes qu’il estimait que les entreprises de réseaux sociaux devaient les retirer, même si elles étaient légales.

« Ces outils sont tous entraînés à partir d’images d’enfants réels, qu’ils soient ou non représentés dans leur intégralité, de sorte que le NCMEC ne comprend pas l’argument selon lequel il existe un monde où cela est acceptable », a déclaré Fallon McNulty, directrice de la CyberTipline de l’organisation, son centre de signalement pour les entreprises technologiques.

Une étude récente de l’Observatoire d’internet de Stanford a révélé que l’un des outils d’IA générative texte-image les plus populaires sur le marché aujourd’hui, Stable Diffusion 1.5, avait été formé à partir de contenus pédopornographiques, de vrais enfants, récupérés sur internet.

« Compte tenu de certains commentaires suscités par ces images, il ne semble pas que le public qui les examine, les ingère et les consomme soit innocent », a ajouté Fallon McNulty. « J’espère que les entreprises de réseaux sociaux retireront ce contenu et qu’elles ne créeront pas un espace sur leurs plateformes pour que des individus sexualisent des enfants. »

Les images d’enfants générées par l’IA ont été associées à des tubes de Taylor Swift, Beyonce et Tracy Chapman pour leur permettre d’atteindre un public plus large.

Que font les entreprises de réseaux sociaux pour remédier à ce fléau ?

TikTok et Instagram ont définitivement supprimé les comptes, les vidéos et les commentaires référencés dans cet article après que Forbes a posé des questions à leur sujet. Les deux sociétés ont déclaré que l’ensemble de ces contenus violait les règles de leur plateforme.

« TikTok a mis en place des politiques strictes contre les contenus de mineurs générés par l’IA afin de protéger les jeunes et d’empêcher les comportements qui cherchent à leur nuire », a déclaré le porte-parole de la plateforme Jamie Favazza. La politique de l’entreprise en matière de médias synthétiques, instaurée il y a plus d’un an et mise à jour vendredi 17 mai, interdit ce type de contenu s’il contient l’image d’une personne âgée de moins de 18 ans, et TikTok supprime les messages qui enfreignent ses règles, qu’ils aient ou non été modifiés par l’IA.

Sophie Vogel, porte-parole de Meta, la société mère d’Instagram, a déclaré que l’entreprise n’autorisait pas, et supprimait, les contenus réels et générés par l’IA qui sexualisent ou exploitent les enfants. Dans les cas où le contenu semble bénin, l’entreprise supprime néanmoins les comptes, profils ou pages dédiés au partage d’images d’enfants ou aux commentaires sur leur apparence, a précisé Sophie Vogel. TikTok et Meta signalent tous deux au NCMEC les contenus pédopornographiques générés par l’IA qu’ils trouvent sur leurs plateformes.

Une « porte d’entrée » vers les contenus illégaux

Un créateur populaire d’images d’enfants générées par l’IA avait 80 000 abonnés sur TikTok et Instagram, un nombre qui a grimpé par milliers au moment où Forbes publiait cette enquête. La bio du compte, écrite en mandarin, disait « Femme avec baguettes » (« Woman With Chopsticks ») Forbes n’a pas pu déterminer qui le gérait, mais ses publications les plus virales ont été vues près d’un demi-million de fois, aimées plus de 10 000 fois, sauvegardées ou partagées des milliers de fois, et ont suscité des centaines de commentaires.

D’après leurs photos de profil, leurs noms ou pseudonymes, leurs biographies et leurs commentaires, un grand nombre des personnes qui suivent ce type de compte semblent être des hommes d’âge mûr.

Heather Mahalik Barnhart, experte en criminalistique numérique, a déclaré que, dans le cadre de ses travaux antérieurs sur ces affaires d’« érotisme infantile », les personnes suivent ces comptes ont souvent fourni des indices clairs susceptibles d’orienter les enquêteurs vers des prédateurs potentiels. « L’érotisme pour enfants est la porte d’entrée », a-t-elle déclaré à Forbes, et « lorsqu’on regarde qui consomme ce type de contenu, ce n’est pas normal ».

Ces types de comptes exposent également davantage les délinquants potentiels, car ils se sentent enhardis derrière leur écran. « Les gens se sentent plus en sécurité parce qu’il ne s’agit pas d’enfants complètement exposés, et donc pas de contenus pédopornographiques », a déclaré Heather Mahalik Barnhart, qui dirige les travaux de l’entreprise de logiciels Cellebrite visant à aider le NCMEC et les services répressifs à utiliser sa technologie dans les enquêtes sur l’exploitation des enfants. Elle souligne qu’il est impératif que les forces de l’ordre examinent de plus près qui suit ces comptes et recherchent un modèle de comportement.

Un compte TikTok a partagé une vidéo d’instruction montrant aux abonnés comment générer et perfectionner leurs propres photos de jeunes filles 

« Même si je suis beaucoup plus âgé que toi, dès que j’ai vu tes yeux, je suis tombé amoureux de toi », a déclaré un abonné du compte TikTok mentionné plus haut. Cet abonné suivait d’autres comptes présentant des images d’enfants encore plus suggestives. Un autre abonné qui commentait fréquemment les publications du compte faisait des remarques, telles que « ouvre grand », gérait un compte avec des publications de vraies filles faisant des grand-écarts et s’étirant en justaucorps.

Certains commentaires TikTok et Instagram du compte « Femme avec baguettes » demandaient quel modèle d’IA avait été utilisé pour créer les images d’enfants, suggérant qu’ils pourraient être intéressés à en produire davantage : « Ce truc est incroyable, j’aimerais trouver une application qui pourrait créer ça », a écrit un homme il y a une semaine sur Instagram sous la photo d’une jeune fille blonde légèrement vêtue d’un soutien-gorge. En janvier, le compte TikTok a partagé une vidéo d’instruction de trois minutes montrant aux abonnés comment générer et perfectionner leurs propres photos de jeunes filles.

D’autres abonnés ne semblaient pas savoir que les images étaient fausses. Bien que le créateur ait étiqueté certaines des publications « générées par l’IA », comme l’exige TikTok, il peut être difficile à l’œil nu de dire que ces images ne sont pas réelles, ce qui rend également plus difficile pour les forces de l’ordre d’identifier les victimes réelles. Meta est en train de mettre au point des outils capables d’identifier les images créées à l’aide d’OpenAI, de Midjourney, de Microsoft, de Google, d’Adobe et de Shutterstock, puis commencera à étiqueter les contenus générés par l’IA et publiés sur Facebook, Instagram et Threads, selon Sophie Vogel, la porte-parole de Meta.

Lloyd Richardson, directeur des technologies de l’information au Centre canadien de protection de l’enfance, a déclaré qu’indépendamment du fait que ces images soient générées par l’IA ou réelles, elles constituent une « porte d’entrée » vers des contenus plus graves ou illégaux, souvent sur d’autres plateformes, qui posent alors « un risque évident pour la sécurité des enfants ».

Du contenu qui permet aux prédateurs sexuels de réseauter

« Le problème sous-jacent est que ce sous-ensemble d’images offre aux délinquants des possibilités de réseautage », a expliqué Lloyd Richardson à Forbes, notant qu’ils déplacent souvent leurs conversations vers des messages directs privés. « Ces images peuvent servir d’indicateurs pour promouvoir des liens vers du contenu pédopornographique sur d’autres canaux. »

Le 13 janvier, un diaporama sur TikTok de petites filles en pyjama de soie montrait ce type de va-et-vient en action. « Cela fonctionne pour moi », a écrit une personne dans les commentaires, ce à quoi une autre a répondu : « Je viens de t’envoyer un message. »

« C’est la raison pour laquelle les entreprises ne peuvent pas se contenter de modérer le contenu de manière isolée en examinant uniquement les images », a ajouté Lloyd Richardson. « Il faut les replacer dans le contexte plus large de leur partage, de leur consultation et de leur suivi. C’est bien sûr plus difficile, car cela peut nécessiter une évaluation contextuelle qui peut exiger du personnel de modération humain. » Jamie Favazza, le porte-parole de TikTok, a déclaré que l’entreprise utilisait l’automatisation pour signaler les preuves éventuelles d’un comportement prédateur.

Le puissant algorithme de TikTok permet également aux personnes ayant un intérêt sexuel pour les enfants de trouver plus facilement ce type d’images. Alors que Forbes publiait cet article, TikTok a commencé à recommander des invites supplémentaires, telles que « garçons générés par l’IA » et « filles fantaisistes ». Le feed « Pour toi » de TikTok, où les utilisateurs atterrissent lorsqu’ils ouvrent l’application et qui leur propose des vidéos virales dont TikTok pense qu’elles leur plairont, leur permet d’atteindre encore plus d’utilisateurs parmi le milliard d’utilisateurs de TikTok.

Fallon McNulty, du NCMEC, a déclaré que l’un des plus grands risques liés aux images virales des enfants sur les réseaux sociaux, même s’il ne s’agit pas d’images criminelles, est que les gens se désensibilisent face au danger qu’elles peuvent représenter. « En tant que société, allons-nous nous habituer à ce type de contenu et dire que c’est acceptable ? »

À lire également : Le site Etsy héberge des deepfakes pornographiques de célébrités