Internet n’est pas assez développé pour former l’IA, mais une solution existe : les fausses données

Une nouvelle vague de start-up anticipe la crise existentielle à laquelle est confrontée l’industrie de l’intelligence artificielle (IA) : que se passera-t-il lorsqu’on sera à court de données ?

Article de Rashi Shrivastava pour Forbes US – traduit par Flora Lucas

En 2011, Marc Andreessen, dont la société de capital-risque Andreessen Horowitz a depuis investi dans certaines des plus grandes start-up de l’IA, a écrit que « la technologie est en train de manger le monde ». Plus d’une décennie plus tard, c’est exactement ce qui est en train de se produire.

L’IA, et plus particulièrement les grands modèles de langage qui l’alimentent, est un consommateur vorace de données. Cependant, ces données sont limitées et s’épuisent. Les entreprises ont tout exploité dans leurs efforts pour former des IA toujours plus puissantes : transcriptions et sous-titres de vidéos YouTube, messages publics sur Facebook et Instagram, livres et articles de presse protégés par le droit d’auteur (parfois sans autorisation, parfois avec des accords de licence). ChatGPT d’OpenAI, le chatbot qui a contribué à la généralisation de l’IA, a déjà été entraîné sur l’ensemble de l’Internet public, soit environ 300 milliards de mots, y compris l’intégralité de Wikipédia et de Reddit. À un moment donné, il ne restera plus rien.

C’est ce que les chercheurs appellent « heurter le mur des données ». Selon eux, cela risque de se produire dès 2026. La création de données d’entraînement pour l’IA est donc une question à plusieurs milliards de dollars, à laquelle une cohorte émergente de start-up cherche une solution.

Une possibilité : créer des données artificielles

C’est l’approche adoptée par Gretel pour résoudre le problème des données de l’IA. La start-up crée ce que l’on appelle des « données synthétiques », c’est-à-dire des données générées par l’IA qui imitent fidèlement des informations factuelles, mais qui ne sont pas réelles. Pendant des années, la start-up, aujourd’hui évaluée à 350 millions de dollars, a fourni des données synthétiques à des entreprises travaillant avec des informations personnelles identifiables qui doivent être protégées pour des raisons de confidentialité (les données des patients, par exemple). Cependant, aujourd’hui, son PDG Ali Golshan voit une opportunité de fournir aux entreprises d’IA en manque de données de fausses données fabriquées à partir de zéro, qu’elles peuvent utiliser pour entraîner leurs modèles d’IA.

« Les données synthétiques étaient tout à fait adaptées », a déclaré Ali Golshan, ancien analyste de renseignements, à propos de la question du mur de données. « Elles résolvaient les deux faces d’une même pièce. Il était possible d’obtenir des données de haute qualité et de les rendre sûres. »

Cette approche « l’IA alimente l’IA » a déjà été adoptée par Anthropic, Meta, Microsoft et Google, qui ont tous utilisé des données synthétiques d’une manière ou d’une autre pour entraîner leurs modèles. Le mois dernier, la start-up Gretel a annoncé qu’elle mettrait ses données synthétiques à la disposition des clients utilisant Databricks, une plateforme d’analyse de données, pour construire des modèles d’IA.

« Des données sûres et inutiles restent des données inutiles. »

Ali Golshan, PDG et cofondateur de Gretel

Les limites des données synthétiques

Cependant, les données synthétiques ont leurs limites. Elles peuvent exagérer les biais d’un ensemble de données original et ne pas inclure les valeurs aberrantes, de rares exceptions que l’on ne verrait qu’avec des données réelles. Cela pourrait aggraver la tendance de l’IA à halluciner. Ou encore, les modèles formés sur de fausses données pourraient tout simplement ne rien produire de nouveau. Ali Golshan appelle cela une « spirale de la mort », mais ce phénomène est plus connu sous le nom d’« effondrement du modèle ». Pour éviter cela, il demande à ses nouveaux clients de fournir à Gretel un morceau de données réelles et de haute qualité. « Des données inutiles et sûres restent des données inutiles », a déclaré Ali Golshan à Forbes.

Un autre moyen de contourner le mur des données : les personnes. Certaines start-up embauchent des armées de personnes pour nettoyer et étiqueter les données existantes afin de les rendre plus utiles pour l’IA ou de créer davantage de nouvelles données.

Le poids lourd de l’étiquetage des données est le mastodonte Scale AI, valorisé à 14 milliards de dollars, qui fournit des données annotées par des humains à des start-up d’IA de premier plan telles qu’OpenAI, Cohere et Character AI. L’entreprise a des activités gigantesques, employant quelque 200 000 travailleurs dans le monde entier par l’intermédiaire d’une filiale appelée Remotasks. Ces travailleurs réalisent plusieurs tâches, comme dessiner des boîtes autour d’objets dans une image, ou comparer différentes réponses à une question et évaluer laquelle est la plus précise.

À une échelle encore plus grande, Toloka, une société basée à Amsterdam, a rassemblé neuf millions d’étiqueteurs humains ou « tuteurs d’IA » à des fins similaires. Surnommés « Tolokers », ces travailleurs du monde entier annotent également des données, par exemple en étiquetant des informations personnellement identifiables dans un ensemble de données destiné à être utilisé dans un projet communautaire d’IA mené par Hugging Face et ServiceNow. Néanmoins, ils créent également des données à partir de zéro : ils traduisent des informations dans de nouvelles langues, les résument et les transcrivent.

« Personne n’aime s’occuper des opérations humaines. »

Olga Megorskaya, PDG de Toloka

Toloka travaille également avec des experts tels que des docteurs en physique, des scientifiques, des juristes et des ingénieurs en logiciel afin de créer des données originales spécifiques à un domaine pour les modèles qui ciblent des tâches de niche. La start-up engage par exemple des juristes germanophones pour créer du contenu pouvant être intégré dans des modèles d’IA juridiques. Cependant, c’est un travail considérable que de mobiliser des personnes dans 200 pays, de vérifier que leur travail est précis, authentique et impartial, et de traduire tout jargon académique dans un langage accessible et digeste pour les modèles d’IA.

« Personne n’aime s’occuper des opérations humaines », a déclaré Olga Megorskaya, PDG de Toloka, à Forbes. « Tout le monde aime construire des modèles d’IA et des entreprises. Mais traiter avec de vrais humains n’est pas une compétence très répandue dans l’industrie de l’IA. »

Ce type de travail pose des problèmes de main-d’œuvre à l’échelle de l’industrie. L’année dernière, les travailleurs de Scale ont fait part à Forbes de leur faible rémunération. Les travailleurs de Toloka contactés dans le cadre de cet article ont formulé des plaintes similaires. La PDG de Toloka, Olga Megorskaya, a déclaré à Forbes qu’elle estimait que la rémunération était juste, et Scale AI a déclaré de la même manière qu’elle s’engageait à payer aux travailleurs un « salaire décent ».

Utiliser moins de données

La solution la plus évidente au problème de la pénurie de données est peut-être la plus évidente : utiliser moins de données pour commencer.

Bien qu’il y ait un besoin urgent de données d’entraînement à l’IA pour alimenter des modèles massifs, certains chercheurs estiment qu’un jour, l’IA avancée pourrait ne plus avoir besoin d’autant de données. Nestor Maslej, chercheur au Human-Centered Artificial Intelligence de l’université de Stanford, pense que l’un des vrais problèmes n’est pas la quantité, mais l’efficacité.

« Il n’est pas nécessaire de prendre une fusée pour se rendre à l’épicerie. »

Alex Ratner, PDG et cofondateur de Snorkel AI

« Si l’on y réfléchit, ces grands modèles de langage, aussi impressionnants soient-ils, voient des millions de fois plus de données qu’un seul être humain n’en verrait dans toute sa vie. Pourtant, les humains peuvent faire certaines choses que ces modèles ne peuvent pas faire », a déclaré Nestor Maslej. « D’un certain point de vue, il est clair que le cerveau humain fonctionne à un niveau d’efficacité qui n’est pas nécessairement pris en compte par ces modèles. »

Cette percée technique n’a pas encore eu lieu, mais l’industrie de l’IA commence déjà à s’éloigner des modèles massifs. Plutôt que d’essayer de construire de grands modèles de langage capables de rivaliser avec OpenAI ou Anthropic, de nombreuses start-up spécialisées dans l’IA construisent des modèles plus petits et plus spécifiques qui nécessitent moins de données. Mistral AI, par exemple, a récemment lancé Mathstral, une IA conçue pour exceller dans les problèmes mathématiques. Même OpenAI se lance dans le jeu des mini-modèles avec le lancement de GPT-4o mini.

« Nous assistons à une course au volume et les grands fournisseurs de modèles généralistes s’emparent de plus en plus de données et essaient des schémas pour générer de nouvelles données », a déclaré Alex Ratner, PDG de la société d’étiquetage de données Snorkel AI. « La clé pour qu’un modèle fonctionne vraiment bien pour une tâche donnée est la qualité et la spécificité des données, et non le volume. »

Par conséquent, l’approche de Snorkel AI consiste à aider les entreprises à tirer parti des données dont elles disposent déjà et à les convertir en or pour l’entraînement à l’IA. La start-up, qui a été créée par le laboratoire d’IA de Stanford et qui est maintenant évaluée à un milliard de dollars, fournit un logiciel qui permet au personnel d’une entreprise d’étiqueter plus facilement et rapidement les données.

De cette manière, les modèles d’une entreprise sont conçus pour répondre à ses besoins réels. « Il n’est pas nécessaire de prendre une fusée pour se rendre à l’épicerie », a déclaré Alex Ratner.

À lire également : La Chine va mettre l’accent sur la sécurité liée à l’intelligence artificielle