Ce Professeur De Harvard Veut Rendre L’IA Trop Intelligente Pour Être Trompée Par Des Hackers

Yaron Singer a gravi les échelons pour devenir professeur titulaire à Harvard en sept ans, grâce à ses travaux sur le machine learning adverse, un moyen de tromper les modèles d’intelligence artificielle en utilisant des données trompeuses. Aujourd’hui, la start-up de Yaron Singer, Robust Intelligence, qu’il a créée avec un ancien doctorant et deux anciens étudiants, sort de la clandestinité pour mettre ses recherches sur le marché.

Cette année, l’intelligence artificielle devrait représenter 50 milliards de dollars de dépenses pour les entreprises, bien que celles-ci soient encore en train de réfléchir à la manière d’intégrer cette technologie dans leurs processus commerciaux. Les entreprises cherchent encore à savoir comment protéger leur bonne IA contre la mauvaise IA, comme une fausse voix générée par algorithme qui peut usurper les systèmes d’authentification vocale.

« Aux débuts d’Internet, elle a été conçue comme si tout le monde était un bon acteur. Puis les gens ont commencé à construire des pare-feux parce qu’ils ont découvert que tout le monde ne l’était pas », explique Bill Coughran, ancien vice-président senior de l’ingénierie chez Google. « Nous voyons des signes que la même chose se produit avec ces systèmes de machine learning. Là où il y a de l’argent, les mauvais acteurs ont tendance à entrer ».

Entrez chez Robust Intelligence, une nouvelle start-up dirigée par le PDG Yaron Singer avec une plateforme qui, selon la société, est formée pour détecter plus de 100 types d’attaques adverses. Bien que ses fondateurs et la plupart des membres de l’équipe aient un pedigree de Cambridge, la start-up a établi son siège à San Francisco et a annoncé mercredi qu’elle avait levé 14 millions de dollars dans le cadre d’un tour de table de lancement et de série A dirigé par Sequoia. Bill Coughran, désormais partenaire de la société de capital-risque, est l’investisseur principal de cette levée de fonds, à laquelle participent également Engineering Capital et Harpoon Ventures.

Yaron Singer a suivi son doctorat en informatique de l’université de Californie à Berkeley, en rejoignant Google en tant que chercheur postdoctoral en 2011. Il a passé deux ans à travailler sur des algorithmes et des modèles de machine learning pour que les produits du géant technologique tournent plus vite, et a vu comment l’IA pouvait facilement dérailler avec de mauvaises données.

“Une fois que vous commencez à voir ces vulnérabilités, cela devient vraiment, vraiment effrayant, surtout si nous pensons à combien nous voulons utiliser l’intelligence artificielle pour automatiser nos décisions”, dit-il.

Les fraudeurs et autres mauvais acteurs peuvent exploiter la relative inflexibilité des modèles d’intelligence artificielle dans le traitement de données inconnues. Par exemple, selon Yaron Singer, un chèque de 401 dollars peut être manipulé en ajoutant quelques pixels imperceptibles à l’œil humain, mais qui font que le modèle d’intelligence artificielle lit par erreur le chèque comme s’il s’agissait de 701 dollars. « Si les fraudeurs mettent la main sur des chèques, ils peuvent pirater ces applications et commencer à faire cela à grande échelle », dit Yaron Singer. Des modifications similaires des données saisies peuvent conduire à des transactions financières frauduleuses, ainsi qu’à une usurpation de la reconnaissance vocale ou faciale.

En 2013, après avoir accepté un poste de professeur assistant à Harvard, Yaron Singer a décidé de concentrer ses recherches sur la conception de mécanismes permettant de sécuriser les modèles d’IA. Robust Intelligence est le fruit de près d’une décennie de travail en laboratoire pour Yaron Singer, au cours de laquelle il a travaillé avec trois élèves de Harvard qui allaient devenir ses cofondateurs : Eric Balkanski, un étudiant en doctorat supervisé par Yaron Singer ; Alexander Rilee, un étudiant de troisième cycle ; et Kojin Oshiba, un étudiant de premier cycle, qui a coécrit des articles académiques avec le professeur. Au travers de 25 articles, l’équipe de Yaron Singer a innové dans la conception d’algorithmes permettant de détecter les données trompeuses ou frauduleuses, et a contribué à attirer l’attention du gouvernement sur cette question, ayant même reçu une subvention Darpa pour mener ses recherches. Alexander Rilee et Kojin Oshiba restent impliqués dans les activités quotidiennes de Robust, le premier sur le gouvernement et la mise sur le marché, le second sur la sécurité, la technologie et le développement de produits.

Robust Intelligence se lance avec deux produits, un pare-feu IA et une offre “red team”, dans laquelle Robust fonctionne comme un attaquant adversaire. Le pare-feu fonctionne en enveloppant le modèle d’IA existant d’une organisation pour rechercher des données contaminées par le biais des algorithmes de Robust. L’autre produit, appelé Rime (ou “Robust Intelligence Machine Engine”), effectue un test de résistance sur le modèle d’IA d’un client en introduisant des erreurs de base et en lançant délibérément des attaques adverses sur le modèle pour voir comment il résiste.

La start-up travaille actuellement avec une dizaine de clients, explique Yaron Singer, dont une grande institution financière et un important organisme de traitement des paiements, bien que Robust ne donne aucun nom en raison de la confidentialité. En sortant de la clandestinité, Yaron Singer espère gagner plus de clients et doubler la taille de l’équipe, qui compte actuellement 15 employés. Yaron Singer, qui est en congé de Harvard, s’interroge sur son avenir dans le milieu universitaire, mais dit se concentrer sur son rôle de PDG à San Francisco pour le moment.

“Pour moi, j’ai gravi la montagne de la titularisation à Harvard, mais maintenant je pense que nous avons trouvé une montagne encore plus haute, et cette montagne sécurise l’intelligence artificielle”, dit-il.

Article traduit de Forbes US – Auteur : Kenrick Cai

<<< À lire également : Il Faut Croire En L’Avenir Des Humains Dans Ce Monde De L’Intelligence Artificielle ! >>>