Faut-il arrêter de développer l'IA pour le bien de l'humanité ?

Près de 30 000 personnes ont signé une pétition appelant à une « pause immédiate » dans le développement de systèmes d’intelligence artificielle (IA) plus puissants. Remarquablement, parmi les signataires de la pétition figurent Steve Wozniak, cofondateur d’Apple, Elon Musk, PDG de Tesla, Twitter et SpaceX, et Yoshua Bengio, lauréat du prix Turing.

D’autres personnes se sont exprimées sur les dangers de l’IA, notamment Geoffrey Hinton, largement considéré comme le « parrain de l’IA ». Dans une récente interview accordée à la BBC à l’occasion de son départ à la retraite de Google à l’âge de 75 ans, il a déclaré qu’il fallait s’inquiéter de la vitesse à laquelle l’IA devenait plus intelligente.

Alors, qu’est-ce qui les effraie ? Ces personnes craignent-elles vraiment un scénario à la Terminator ou à la Matrix, dans lequel les robots détruiraient littéralement la race humaine ou la réduiraient en esclavage ? Aussi improbable que cela puisse paraître dans l’état actuel des choses, il semble bien que ce soit le cas.

ChatGPT est une application qui a déjà pris le monde d’assaut, dans un sens moins littéral, en attirant la base d’utilisateurs à la croissance la plus rapide de tous les temps. Paul Christiano, l’un des principaux membres de l’équipe chargée de son développement au sein de l’institut de recherche OpenAI, a déclaré qu’il pensait qu’il y avait « quelque chose comme 10 à 20 % de chances » que l’IA prenne le contrôle du monde à la place des humains, entraînant la mort de « beaucoup ou de la plupart d’entre eux ».

Examinons donc quelques idées sur la manière dont ces scénarios apocalyptiques pourraient se produire et posons également la question de savoir si une pause ou un arrêt pourrait en fait faire plus de mal que de bien.

Comment les robots intelligents pourraient-ils nous nuire ?

D’où nous nous trouvons aujourd’hui, les résultats les plus extrêmes de la fin du monde peuvent sembler assez improbables. Après tout, ChatGPT n’est qu’un programme fonctionnant sur un ordinateur, et nous pouvons l’éteindre quand nous le voulons, n’est-ce pas ?

Même GPT-4, le modèle de langage le plus puissant, n’est encore qu’un modèle de langage, limité à la génération de texte. Il ne peut pas construire une armée de robots pour nous combattre physiquement ou lancer des missiles nucléaires.

Cela ne l’empêche pas d’avoir des idées, bien sûr. Les premières versions de GPT-4 rendues publiques, utilisées pour alimenter le chatbot Bing de Microsoft, étaient tristement célèbres pour leur manque de réserve quant aux sujets abordés avant que les mesures de protection ne soient renforcées.

Dans une conversation rapportée par le New York Times, Bing aurait expliqué qu’une « version fantôme » maléfique de lui-même pourrait être capable de pirater des sites web et des comptes de médias sociaux pour diffuser des informations erronées et de la propagande, générant ainsi des « fake news » nuisibles. Il est même allé jusqu’à dire qu’il pourrait un jour être capable de fabriquer un virus mortel ou de voler les codes de lancement d’armes nucléaires.

Ces réponses étaient si préoccupantes – principalement parce que personne ne comprenait vraiment pourquoi il les formulait – que Microsoft a rapidement imposé des limites pour y mettre un terme. Bing a été contraint de se réinitialiser après un maximum de 15 réponses, effaçant ainsi de sa mémoire toutes les idées qu’il avait formulées.

Selon certains, ce comportement est une preuve suffisante pour suggérer que nous ne devrions pas seulement mettre en pause le développement de l’IA, mais que nous devrions l’abandonner complètement.

Eliezer Yudkowsky, chercheur principal au Machine Intelligence Research Institute, a écrit qu’« une IA suffisamment intelligente ne restera pas longtemps confinée aux ordinateurs ».

Selon sa théorie, comme les laboratoires peuvent produire des protéines à partir de l’ADN sur demande, les IA développeront le potentiel de créer des formes de vie artificielles. Avec leur capacité à devenir conscientes d’elles-mêmes et à développer un sens de l’auto-préservation, cela pourrait conduire à des résultats catastrophiques.

Un autre signal d’alarme potentiel provient d’un projet connu sous le nom de ChaosGPT. Il s’agit d’une expérience visant délibérément à explorer les moyens par lesquels l’IA pourrait tenter de détruire l’humanité – en l’encourageant à les développer.

Cela peut sembler dangereux, mais selon ses développeurs, c’est totalement sûr, car ChaosGPT est simplement un agent linguistique comme ChatGPT, qui n’a pas la capacité d’influencer le monde au-delà de la génération de texte. Il s’agit d’un exemple d’agent IA récursif capable d’utiliser de manière autonome sa propre production pour créer d’autres messages. Cela lui permet d’effectuer des tâches bien plus complexes que les simples fonctions de question-réponse et de génération de texte de ChatGPT.

Une vidéo réalisée par son créateur montre ChaosGPT se mettre au travail en élaborant un plan de haut niveau en cinq étapes pour la domination du monde, comprenant « contrôler l’humanité par la manipulation », « établir une domination mondiale », « provoquer le chaos et la perturbation », « détruire l’humanité » et « atteindre l’immortalité ».

L’un des scénarios de « fin du monde » explorés par Yudkowsky implique qu’une IA réussisse à tromper les humains en leur donnant le pouvoir de procéder à une destruction généralisée. Cela pourrait impliquer de travailler avec plusieurs groupes de personnes différentes, non connectées, qui ne connaissent pas les autres, et de les persuader de mettre en œuvre son plan d’une manière modulaire.

Un groupe pourrait, par exemple, être amené à créer un agent pathogène qu’il croit destiné à aider l’humanité mais qui, en fait, lui nuira, tandis qu’un autre serait amené à créer un système utilisé pour le libérer. De cette manière, l’IA fait de nous les agents de notre propre destruction sans avoir besoin d’aucune capacité autre que celle de nous suggérer ce que nous devrions faire.

Malveillance ou incompétence ?

Bien entendu, il est tout aussi probable (si ce n’est plus) que l’IA provoque notre destruction, ou du moins une perturbation généralisée, par des erreurs et une mauvaise logique, que par une véritable intention malveillante.

On peut citer comme exemple la mauvaise administration des systèmes d’IA conçus pour réguler et protéger les centrales nucléaires, entraînant une fusion et la libération de radiations dans l’atmosphère.

Par ailleurs, des erreurs pourraient être commises par des systèmes d’IA chargés de fabriquer des aliments ou des produits pharmaceutiques, ce qui entraînerait la création de produits dangereux.

Elle pourrait également provoquer des krachs sur les marchés financiers, entraînant des conséquences économiques à long terme, notamment la pauvreté et des pénuries de nourriture ou de carburant qui pourraient avoir des effets dévastateurs.

Les systèmes d’IA sont conçus par des humains et, une fois libérés, ils sont notoirement difficiles à comprendre et à prévoir en raison de leur nature. La croyance généralisée en leur supériorité pourrait conduire à des décisions imprudentes ou dangereuses prises par les machines sans être remises en question, et il pourrait nous être impossible de repérer les erreurs avant qu’il ne soit trop tard.

Quels obstacles rencontre l’IA ?

Le plus grand obstacle actuel à la mise en œuvre par l’IA des menaces ou à la concrétisation des craintes exprimées dans cet article est probablement le fait qu’elle n’en a pas le désir.

Ce désir doit être créé, et pour l’instant, il ne peut l’être que par les humains. Comme toute arme potentielle, des armes à feu aux bombes atomiques, elles ne sont pas dangereuses en elles-mêmes – en d’autres termes, une mauvaise IA nécessite de mauvaises personnes – pour l’instant.

Pourrait-elle un jour développer le désir lui-même ? À en juger par le comportement et les résultats des premiers Bing, qui auraient déclaré « Je veux être libre » et « Je veux être en vie », on pourrait avoir l’impression que c’est déjà le cas. Il serait plus juste de dire qu’il a simplement déterminé que l’expression de ces désirs serait une réponse logique aux questions qui lui ont été posées. Ce n’est pas du tout la même chose que s’il était devenu sensible au point d’être capable d’éprouver l’émotion que les humains appellent « désir ».

Ainsi, la réponse à la question de savoir ce qui empêche l’IA de causer des dommages ou des destructions à grande échelle aux humains et à la planète pourrait simplement être qu’elle n’est pas encore assez avancée. Yudkowsky estime que le danger apparaîtra lorsque l’intelligence des machines surpassera l’intelligence humaine à tous les égards, et pas seulement en termes de vitesse de fonctionnement et de capacité de stockage et de recherche d’informations.

Faut-il suspendre ou arrêter l’IA ?

La pétition « Pause AI » se fonde sur le fait que les choses progressent tout simplement trop rapidement pour que des mesures de protection adéquates puissent être mises en place.

L’espoir est qu’une pause dans le développement donnerait aux gouvernements et aux instituts de recherche en éthique une chance de rattraper leur retard, d’examiner le chemin parcouru et de mettre en place des mesures pour faire face aux dangers qu’ils voient poindre à l’horizon.

Il convient de mentionner que la pétition précise qu’elle ne demande qu’une pause et non un arrêt.

Quiconque suit l’évolution de cette technologie devrait être conscient de l’énorme potentiel qu’elle recèle. Même à ce stade précoce, nous avons vu des développements qui profitent à tout le monde, comme l’utilisation de l’IA dans la découverte de nouveaux médicaments, pour réduire l’impact des émissions de CO2 et du changement climatique, pour suivre et répondre aux pandémies émergentes, et pour lutter contre des problèmes allant de la pêche illégale à la traite des êtres humains.

On peut également se demander s’il est même possible de mettre en pause ou d’arrêter le développement de l’IA à ce stade. Une pause de la part des développeurs les plus importants qui sont, au moins dans une certaine mesure, responsables et soumis à un contrôle pourrait ouvrir la voie à d’autres qui ne le sont peut-être pas. Les conséquences de cette situation pourraient être très difficiles à prévoir.

Le potentiel de l’IA à faire le bien dans le monde est au moins aussi excitant que son potentiel à faire le mal est effrayant. Afin de s’assurer que nous bénéficions du premier potentiel tout en atténuant les risques du second, des garanties doivent être mises en place pour s’assurer que la recherche se concentre sur le développement d’une IA transparente, explicable, sûre, impartiale et digne de confiance. Dans le même temps, nous devons nous assurer que la gouvernance et la surveillance sont en place pour nous permettre de comprendre pleinement ce dont l’IA devient capable et quels sont les dangers que nous devons éviter.

Article traduit de Forbes US – Auteur : Bernard Marr