GPT-3 et ChatGPT, sont-ils vraiment si révolutionnaires ?

Depuis quelque mois le petit monde des experts liés à l’Intelligence Artificielle s’agite autour des promesses ambitieuses que laisse espérer le programme ChatGPT, d’OpenAI, pour générer des énoncés en langage naturel dans un univers thématique très large. A ce stade, nous croyons nécessaire, par cet article, de rappeler le potentiel de Chat GPT-3 mais aussi ses limites. Les générateurs de texte (dont GPT-3) ont vu leurs capacités boostées par les progrès fulgurants des technologies liées l’Intelligence Artificielle. C’est en particulier l’invention du modèle de deep learning qui a changé la donne. Ce type de modèle donne la part belle au concept d’attention : contrairement aux modèles de génération précédente, GPT-3 et consorts exploitent les informations de manière différenciée et non pas en fonction de leur ordre séquentiel. La technique permet ainsi à l’outil d’être entraîné plus rapidement.

Développé par la start-up Open AI (détenue en partie par Elon Musk, patron de Tesla et de Space X), GPT dans sa nouvelle version permet la génération automatique de texte en étant capable de simuler des conversations, d’écrire des textes de façon instantanée et automatique. Il s’agit là d’un bouleversement majeur dans le quotidien des individus.

Le traitement automatique du langage naturel, souvent appelé aussi NLP (Natural Language Processing), n’est plus considéré comme une innovation en tant que telle. Grâce au perfectionnement croissant et permanent de la communication homme-machine, à une plus grande capacité en termes de collecte et analyse de la data (donnée), de puissance de calcul et d’amélioration des algorithmes, le traitement du langage naturel permet aux ordinateurs de comprendre, générer et manipuler le langage humain.

La plupart d’entre nous a été probablement en relation avec le NLP sans même le remarquer. Prenons un exemple : le NLP est la technologie de base des assistants virtuels, tels que Siri, Cortana, Google ou encore Alexa. Quand nous interrogeons ces assistants virtuels, le NLP leur permet non seulement de comprendre la demande que nous formulons, mais aussi de répondre en langage naturel. Le NLP s’applique à la fois au texte écrit et à la parole, quelle que soit la langue utilisée. Parmi les autres exemples d’outils utilisant le NLP, on peut citer les mots utilisés pour faire une recherche sur Internet, le filtrage des spams, la traduction automatique de textes, le résumé de documents, la vérification de la grammaire ou encore les correcteurs automatiques d’orthographe.

Par exemple, certains programmes de messagerie peuvent suggérer automatiquement une réponse appropriée à un message en fonction de son contenu. En se structurant autour de la construction « d’artéfacts » informatiques qui comprennent, génèrent ou manipulent le langage humain, les programmes utilisant le NLP permettent ainsi de lire, analyser et répondre aux messages.

Pour bien comprendre où nous en sommes aujourd’hui, il est essentiel de se rappeler que les évolutions majeures rendues possibles ces dernières années n’ont pu l’être qu’avec l’apport du machine learning. Le Machine Learning (ML), ou apprentissage automatique, est une sous-catégorie de l’Intelligence Artificielle. Elle consiste à laisser des algorithmes découvrir des « patterns », à savoir des motifs récurrents, dans les ensembles de données. Ces données peuvent être des chiffres, des mots, des images, des statistiques… Tout ce qui peut être stocké numériquement peut servir de données pour le Machine Learning. En décelant les patterns dans ces données, les algorithmes apprennent et améliorent leurs performances dans l’exécution d’une tâche spécifique. Les algorithmes de Machine Learning apprennent donc de manière autonome à effectuer une tâche ou à réaliser des prédictions à partir de données et améliorent leurs performances au fil du temps. Une fois entraîné, l’algorithme pourra retrouver les patterns dans de nouvelles données.

Le traitement du langage naturel (NLP) facilite donc la conversion des commandes humaines en langage informatique et vice versa. Cela rend l’interface utilisateur beaucoup plus facile et pratique. De plus, l’utilisateur n’a pas besoin de passer par un langage de programmation, ce qui lui fait gagner un temps précieux.

On peut citer trois axes permettant de traiter le langage humain, à savoir l’approche symbolique, l’approche statistique et l’approche connexionniste.

. L’approche symbolique : le principe de cette méthodologie repose sur les règles de langage communément adoptées dans une langue donnée, qui sont définies et enregistrées par des spécialistes du lexique afin que le système informatique puisse les suivre.

  . L’approche statistique : cette approche du NLP est basée sur des illustrations notables et récurrentes de manifestations linguistiques.

 . L’approche connexionniste : l’approche connexionniste du traitement du langage naturel est un mélange de l’approche symbolique et de l’approche statistique. Cette approche part des règles du langage communément admises et les adapte à des applications particulières à partir des données obtenues par inférence statistique.

Cela étant expliqué, et pour comprendre l’essor du traitement du langage naturel, il convient de rappeler à ce stade l’importance de l’apprentissage par transfert qui est une technique de machine learning dans laquelle un modèle est formé pour une tâche et réaffecté à une deuxième tâche liée à la tâche principale. Ainsi, au lieu de construire et d’entraîner et nécessiter d’énormes quantités de données, il suffit d’affiner un modèle pré-entraîné.

Cela signifie que les entreprises peuvent effectuer des tâches NLP plus rapidement en utilisant de plus petites quantités de données étiquetées. Cette technique d’apprentissage par transfert est maintenant utilisée dans des tâches de traitement automatique des langues comme la classification des intentions, l’analyse des sentiments ou encore la reconnaissance des entités nommées.

Se basant sur ces techniques, on peut maintenant créer des modèles de machine learning qui fabriquent des articles à partir de zéro, et le GPT-3 (Generative Pre-trained Transformer 3) d’OPEN AI en est la parfaite illustration. Le perfectionnement majeur désormais possible repose sur le fait que ces transformateurs sont capables de comprendre le contexte des mots d’une manière qui n’était pas possible auparavant.

La nouvelle version de l’algorithme de génération de texte d’Open AI présentée fin 2022 ne manque pas de susciter autant d’émerveillement face à cette évolution spectaculaire que de craintes face au potentiel énorme que pourra offrir cette nouvelle approche du langage naturel. Dans ce cas de figure, parler de révolution est un doux euphémisme, tant l’impact sur le quotidien de chacun sera très rapidement palpable. Pourtant nous sommes désormais habitués à entendre régulièrement des annonces faisant état de grands bouleversements grâce à l’intelligence artificielle avec quelques fois, il faut bien le dire, des résultats qui ne sont pas encore au niveau attendu.  En l’espèce, et en analysant en profondeur la nouvelle version GPT-3 (ainsi que sa version Chatbot), le sujet s’avère sérieux, crédible et terriblement efficace. GPT tient ses promesses.

GPT est une série de modèles d’intelligence artificielle principalement imaginés pour permettre à n’importe qui de créer des textes automatiquement à partir d’un brief. GPT-3 s’appuie sur un procédé baptisé « Transformers », permettant de faire de la traduction, de la classification ou de la génération de textes exploitables dans de nombreuses tâches de Natural Language Processing (NLP). Le mécanisme d’attention lui permet, contrairement aux réseaux de neurones récurrents utilisés auparavant, de traiter les mots indépendamment de l’ordre où ils ont été écrits, de traiter les informations de manière différente et de les adapter en fonction du contexte et ainsi d’avoir la capacité à écrire aussi bien qu’un humain. Il faut préciser que « Transformers », développé par Google a été dévoilé au grand public en 2017. Depuis, il est devenu la base d’une vaste gamme de programmes linguistiques, dont s’est inspiré Open AI en développant GPT-3. Ce dernier n’est pas innovant sur le plan technique mais révolutionnaire dans son domaine applicatif en proposant des solutions jusque-là inégalées. 

GPT-3 a été entraîné sur 570 gigaoctets de texte et compte 175 milliards de paramètres (la version précédente, GPT-2, ne comptait que 1,5 milliard de paramètres). 

Sa version de base peut effectuer une grande variété de tâches, par exemple faire de la recherche sémantique, traduire, résumer ou reformuler des textes. GPT-3 est aussi à même de générer du texte en se basant uniquement sur la saisie de quelques phrases, voire seulement d’un début de phrase.

GPT-3 : un modèle multi-tâches et complètement personnalisables

GPT peut donc générer différentes actions :

• Résumés d’articles, de textes, de posts de blogs
• Reformulation d’article, de textes, de posts
• Rédaction d’article ex-nihilo
• Rédaction d’articles, de discours.
• Production de FAQ (Foire Aux Questions)
• Rédaction de tutoriels
• Génération des contenus pour le référencement naturel (SEO) sur internet
• Génération des contenus marketing à vocation publicitaire :
• Traduction automatique des conversations
• Classification de documents dans différentes catégories en fonction de leur contenu.
• Identification si le document est un spam ou non.
• Reconnaissance d’objets dans des images avec leur dénomination (outil très utile pour le domaine médical, car il peut être utilisé pour interpréter et diagnostiquer les images)
• Transcription de vidéos ou reconnaissance vocale à partir de ces vidéos. Il s’agit d’un outil très utile pour les vidéastes, car ils peuvent obtenir des transcriptions de données qu’ils devraient autrement saisir manuellement.
• Analyse de sentiments, c’est-à-dire détection la tonalité d’un texte (positif, négatif, nuancé…)

GPT possède sa version Chatbot qui est capable de répondre à des questions et même de discuter, c’est ChatGPT.

Procéder à un entraînement spécifique est désormais possible afin de personnaliser le modèle selon les besoins de leur application grâce à GPT-3. Il s’agit là d’une avancée majeure et très utile pour une entreprise. Comment procéder ?  Tout d’abord, il est nécessaire d’exécuter une seule commande associée au fichier de données voulu. La version personnalisée souhaitée commencera alors à s’auto-entraîner et sera instantanément disponible dans l’API du moteur de langage. Ainsi, une entreprise utilisatrice peut analyser facilement les remontées d’informations émanant de ses clients. A partir de données non structurées, le système permet de produire des rapports résumant les commentaires et interactions avec les clients. 

Les modèles de type GPT-3 peuvent aussi s’avérer utiles dans le domaine de la programmation informatique. Microsoft a par exemple mis au point un outil appelé Power Apps, servant à créer des applications en mode low-code. Power Apps permet ainsi de concevoir des lignes de codes traduisant un besoin exprimé par écrit avec des mots simples. Power Apps va ainsi générer une ou plusieurs formules parmi les plus pertinentes. L’utilisateur n’aura plus qu’à sélectionner celle qui lui convient.

Quelles sont les limites actuelles de GTP3 ?

Bien sûr, on peut formuler certaines critiques quant au modèle applicatif GTP-3 qui n’est pas encore parfait. On peut entre autres citer parfois encore des faux sens dans les phrases reproduites, des fautes d’orthographes ou encore la faible qualité des textes que GPT-3 produit.

Mais les critiques les plus pertinentes qui se font jour concernent plus la version ChatGTP qui faciliterait le plagiat de travaux notamment pour les étudiants en études supérieures. ChatGTP donne la possibilité aux étudiants de rendre des devoirs rédigés par GPT (et non par eux-mêmes) et ainsi compliquer la détection par les professeurs de ce plagiat.

Pour autant (et il aisé pour nous de l’affirmer compte tenu que nous sommes aussi professeurs), il est possible d’entraîner les logiciels de détection de plagiat, avec les mêmes algorithmes de Machine Learning, pour cibler le style (vocabulaire utilisé, reprise de textes déjà utilisés, structure des phrases, articulation des idées, usage de la ponctuation) de chaque étudiant et de le comparer au nouveau texte qu’il rend afin de déterminer si ce dernier se situe dans le prolongement de ce que l’étudiant a déjà produit.

Pour autant, le véritable enjeu n’est pas le plagiat. La diffusion de GTP3 et de ses mises à jour dans les années qui viennent va indéniablement impacter la diversité et la qualité de réflexion des contenus diffusés. GPT se contente de réarticuler des concepts/idées/arguments/raisonnements développés sur internet et d’autres applications. GTP-3 répétant, sous une forme ou une autre, les mêmes choses aux mêmes questions, le risque majeur est à ce stade d’une diffusion en continue des idées déjà établies et relayées à l’infini par les utilisateurs. Les contenus ainsi dupliqués ou paraphrasés sans aucune analyse, traitement de l’original et aussi sans esprit critique, vont appauvrir la qualité de la réflexion et alimenter encore de façon plus criante les fake news.

En conclusion, la modélisation du langage permet de concevoir des systèmes de communication intelligents grâce à de grands référentiels de connaissances humaines écrites. La concurrence s’amplifie et devient rude. Les chercheurs de DeepMind ont réalisé une analyse des performances du modèle de langage basé sur Transformer à travers une large gamme d’échelles de modèle – des modèles avec des dizaines de millions de paramètres jusqu’à un modèle de 280 milliards de paramètres appelé Gopher, dépassant déjà les 175 milliards du GPT-3 d’Open AI mais bien en deçà des 530 milliards du MT-NLG de Microsoft et Nvidia. On peut donc remarquer que les géants de la tech ont investi ce créneau ce qui aura indéniablement pour effet d’entraîner dans les mois et années qui viennent un accroissement de concurrence s’appuyant notamment sur une technologie toujours plus performante.

Pour autant, il ne faut pas passer sous silence un autre enjeu de taille qui s’invite dans la réflexion : les modèles de langage naturel les plus importants sont très énergivores : ils consomment des quantités massives de calcul et génèrent des quantités croissantes de dioxyde de carbone. Par ailleurs, la reproduction de biais (sujet sensible mais bien réel) dans la création de chaînes de textes issus de modèles pose un réel problème éthique. Le sujet n’est pas clos mais, avouons-le, nous venons d’entrer dans une autre ère.

Tribune rédigée par Pascal MONTAGNON – Directeur de la Chaire de Recherche Digital, Data Science et Intelligence Artificielle – OMNES EDUCATION et Eric BRAUNE – Professeur associé – INSEEC Bachelor

<<< A lire également : ChatGPT : Comment les IA génératives vont-t-elles influencer l’avenir du travail ? >>>