Google forme sa fonctionnalité AI Overviews avec TikTOk, et le résultat est loin d’être convaincant

Google semble toujours rencontrer quelques problèmes de rodage avec sa fonctionnalité AI Overviews. En effet, au début de l’année, certains utilisateurs ont reçu des recommandations farfelues comme mettre de la colle sur une pizza ou bien manger des cailloux. Ainsi, AI Overviews utiliserait des vidéos satiriques sur les réseaux sociaux comme source.

Article d’Iain Martin pour Forbes US

Six mois après que le modèle d’IA Gemini de Google a suggéré à certains utilisateurs de mettre de la colle comme ingrédient dans leurs pizzas, la fonction a toujours du mal à séparer les faits de la fiction.

Jusqu’à il y a quelques semaines, si vous cherchiez « qui a inventé le saut périlleux arrière », Gemini vous répondait avec toute l’histoire de John Backflip, qui aurait maîtrisé ce mouvement pour la première fois dans l’Europe médiévale en 1316. Et si vous cherchiez « qui est John Backflip », l’IA de Google lui attribuait l’invention de cette gymnastique. Cependant, la source de cette information est une vidéo TikTok du gymnaste américain Ian Gunther, qui a entièrement inventé l’histoire.

« J’aime faire des vidéos satiriques sur la gymnastique pour faire rire mes abonnés », a-t-il déclaré à Forbes.

Une blague qui montre les limites des grands modèles de langage

L’IA Gemini de Google produit une « vue d’ensemble » (overview en anglais) qui figure en haut des résultats de recherche depuis six mois, et ses débuts ont été difficiles. En affirmant que manger des cailloux présentait des avantages nutritionnels et que Barack Obama était le premier président musulman des États-Unis, la fonctionnalité AI Overviews a non seulement fait de l’entreprise la cible de plaisanteries en ligne, mais est aussi devenu un mot d’ordre pour les limites des grands modèles de langage.

Ian Gunther, qui a fait partie de l’équipe des États-Unis et a remporté le championnat NCAA en 2023, a inventé l’histoire de John Backflip après une séance d’entraînement dans son gymnase de la baie de San Francisco en mai 2023. « La plupart des mouvements de gymnastique portent le nom de la première personne qui les a exécutés au niveau international », explique Ian Gunther. « Je suis rentré chez moi et j’ai inventé une histoire farfelue sur l’invention du saut périlleux arrière. »

Et au cas où certains n’auraient pas compris la blague, Ian Gunther cite également « Henry Muscle-Up », « Richard Press-Handstand » et « Alfonso El Grip » comme autres pionniers de la gymnastique. La vidéo a connu un succès modeste sur la chaîne YouTube et le compte TikTok d’Ian Gunther, où il publie des extraits de ses séances d’entraînement et de ses compétitions, mais il l’avait pratiquement oubliée jusqu’à ce qu’il reçoive un message en juillet. « C’était une capture d’écran de l’IA et je me suis dit : “Oh non, qu’est-ce que j’ai fait ? Est-ce que je diffuse des fake news ?” »

Des captures d’écran du résumé généré par l’IA concernant John Backflip ont été partagées sur Reddit et d’autres réseaux sociaux et ont même donné lieu à un tweet correctif de l’éditeur de dictionnaires Merriam-Webster.

La fonctionnalité AI Overviews de Google concernant les recherches sur l’inventeur du saut périlleux arrière indique désormais qu’il s’agit d’un mème internet, mais elle continue de répéter mot pour mot la vidéo d’Ian Gunther dans les recherches sur John Backflip. Lorsque Forbes a testé des plateformes d’IA concurrentes telles que OpenAI, Anthropic et Perplexity, elles ont également relevé la blague ou noté qu’il n’existait aucune source précise sur la première personne à avoir effectué un saut périlleux arrière.

Ian Gunther ne comprend toujours pas pourquoi Google a utilisé sa vidéo comme source. « Ils ne devraient probablement pas utiliser mes vidéos comme source », a-t-il déclaré.

Cet incident a mis en lumière les points faibles d’AI Overviews

La vidéo semble avoir exploité plusieurs points faibles dans la conception d’AI Overviews. Selon un billet de blog publié en mai par Liz Reid, vice-présidente de Google, les résultats farfelus comme celui-ci proviennent de « vides de données » où il y a peu de bon contenu sur une recherche, ou lorsque le seul contenu est satirique, a-t-elle expliqué.

« Dans un petit nombre de cas, nous avons vu AI Overviews mal interpréter le langage des pages internet et présenter des informations inexactes. Nous avons travaillé rapidement pour résoudre ces problèmes, soit en améliorant nos algorithmes, soit en mettant en place des processus pour supprimer les réponses qui ne sont pas conformes à nos politiques », a déclaré Liz Reid dans le billet de blog.

Liz Reid a indiqué que Google avait mis en place des mesures de protection concernant AI Overviews afin de repérer les requêtes absurdes et de réduire l’utilisation de contenus humoristiques et de conseils générés par les utilisateurs, en particulier dans les domaines de l’actualité et de la santé. Google a également ajouté un avertissement « L’IA générative est expérimentale » après le lancement d’AI Overviews.

Olivia O’Brien, porte-parole de Google, a déclaré à Forbes : « La grande majorité du contenu d’AI Overviews est de grande qualité, avec unn taux de précision comparable à celui d’autres fonctions de recherche telles que les Featured Snippets. »

Ian Gunther a repris la compétition lors d’une rencontre de gymnastique à Prague, en République tchèque, et a déclaré qu’il serait ravi que sa blague reste dans les annales de l’IA. « J’espère qu’un jour, dans les écoles, on racontera l’histoire de John Backflip », a déclaré Ian Gunther en plaisantant.

Une traduction de Flora Lucas

À lire également : AI Overviews : l’auto-sabotage de Google dans la course à l’intelligence artificielle