Une IA a généré 40,000 armes biologiques potentielles

Ce n’est un secret pour personne : l’intelligence artificielle bouleverse déjà notre quotidien et va sans conteste continuer de le faire pendant un long moment. Mais comme souvent lorsque l’on parle d’une technologie révolutionnaire, il existe aussi de nombreux revers de cette médaille particulièrement brillante. Une équipe internationale de chercheurs vient encore d’en apporter la preuve avec une IA capable de générer des armes biologiques.

Parmi tous les domaines où l’IA et les réseaux neuronaux font des miracles, la chimie fait partie des terrains de jeu les plus prometteurs. Des systèmes basés sur d’immenses réseaux neuronaux ont déjà produit des avancées spectaculaires.

On peut par exemple citer le DeepMind qui est à l’origine de progrès récents sur la fusion nucléaire. Il y a aussi AlphaFold, qui a provoqué un véritable séisme en biologie structurelle avec sa base de données révolutionnaire sur le repli des protéines (voir notre article). Et la liste continue à perte de vue.

Et il ne s’agit que d’un début; de nombreux spécialistes estiment que l’IA jouera bientôt un rôle de premier plan en pharmacobiologie. Cette technologie pourrait effectivement révolutionner la recherche de substances chimiques; cela permettrait alors de produire de nouveaux médicaments pour des pathologies diverses et variées… mais aussi des principes actifs extrêmement dangereux.

40.000 armes biologiques potentielles en 6 heures à peine

C’est ce que viennent de montrer ces chercheurs avec une preuve de concept aussi impressionnante que préoccupante. Pour y parvenir, les chercheurs sont partis d’une plateforme IA baptisée MegaSyn. Habituellement, ce système extrêmement puissant permet d’analyser des molécules pour en déterminer la toxicité. L’objectif est d’anticiper la dangerosité de certains produits particuliers pour éviter d’y exposer des humains.

C’est donc un outil indiscutablement utile en termes de santé publique. Le problème, c’est que les systèmes de ce genre peuvent aussi être détournés, comme le montrent ces travaux. L’équipe dirigée par le chercheur en bio-informatique Fabio Urbina s’est donc posé une question lourde d’implications; et si, au lieu de chercher à éviter les molécules toxiques, ils lui demandaient de conserver seulement les résultats les plus dangereux ?

Comme en pharmacologie, en intelligence artificielle, le contexte et les modalités d’utilisation sont plus importants que l’objet en lui-même. © qimono – Pixabay

Un catalogue de poisons surpuissants

Et l’expérience a tellement bien fonctionné qu’ils se sont retrouvés avec un catalogue particulièrement terrifiant. En six heures à peine, le système a généré la bagatelle de 40.000 armes biologiques théoriques. Et nous ne parlons pas de composés légèrement toxiques, mais bien de véritables armes potentielles.

Les chercheurs affirment qu’une grande partie de ces molécules seraient encore plus toxiques que le VX. Il s’agit d’ un poison extrêmement violent qui agit sur le système nerveux; sa dangerosité exceptionnelle fait qu’il est aujourd’hui interdit dans le cadre de la Convention sur les Armes Chimiques.

“C’est surprenant, car le VX est, en substance, l’un des poisons les plus puissants que l’on connaît à ce jour”, expliquent les chercheurs dans une interview à The Verge. “Il en faut vraiment, vraiment très peu pour atteindre la dose létale.” Autant dire que ce listing, même s’il est important de rappeler qu’il relève encore de la théorie, regorge de molécules au potentiel dévastateur.

L’IA est une technologie révolutionnaire qui nous tend la main, mais qu’il convient de manier avec prudence. © Possessed Photography – Unsplash

Un carrefour éthique inconfortable mais fondamental

Avec ces travaux, les chercheurs se sont aventurés sur une pente extrêmement glissante, et ils en ont bien conscience; dans leur papier, les chercheurs s’inquiètent explicitement des retombées de ce type d’études.

“En inversant simplement l’objectif de notre modèle de machine learning, nous avons transformé un modèle génératif inoffensif et utile en médecine en générateur de molécules potentiellement mortelles“, résument les chercheurs. “Nous sommes allés aussi loin que nous l’avons osé, au point de franchir une frontière morale”, peut-on lire en toutes lettres dans le texte. Pourquoi, dans ce cas, se lancer dans des travaux de ce type ?

Le réponse est simple : d’après les chercheurs, il serait encore plus dangereux de faire l’autruche. En effet, les chercheurs ne comptent en aucun cas produire les armes biologiques en question. Leur objectif est avant tout d’illustrer un point déterminant, mais encore trop souvent ignoré dans ce champ de recherche alors qu’il fait partie des fondements de la pharmacologie.

Dans cette discipline, on sait pertinemment qu’il n’existe aucun remède universel; c’est toujours le contexte et surtout la dose qui font le poison, comme le disait si bien Paracelse. Même un remède exceptionnel devient dangereux lorsqu’il est mal utilisé; et c’est exactement la même chose en intelligence artificielle.

“Nous avons passé des décennies à utiliser l’informatique et l’IA pour améliorer la santé humaine – pas pour la dégrader”, expliquent-ils. “Mais nous avons aussi été naïfs dans notre façon d’aborder les usages détournés de notre discipline”, expliquent-ils de façon très crue.

Pour éviter de se retrouver dans un cul de sac technologique et sociétal, une seule solution : anticiper ces problématiques ensemble et éviter à tout prix la politique de l’autruche. © Cytonn Photography – Unsplash

Un coup de semonce on ne peut plus concret

Le problème, c’est que le fait de détourner ainsi un système établi ne demande souvent que très peu d’efforts. Il existe donc un vrai risque que des systèmes déjà existants puissent être réutilisés, voire même militarisés de cette façon. Et il ne s’agit pas que de pharmacobiologie; cette alerte concerne absolument tous les secteurs dans lesquels l’IA jouera un rôle à l’avenir. On parle de donc potentiellement de gestion des infrastructures, de sécurité informatique, de sécurité routière…

Les chercheurs estiment donc que la seule façon d’anticiper les retombées de ces utilisations de l’IA est de relancer dès à présent le débat sur sa dangerosité potentielle, et sans le moindre tabou. Un positionnement que partagent déjà de nombreux grands noms de la tech, à commencer par Elon Musk qui insiste régulièrement dessus depuis des années.

Ces travaux ont donc valeur de signal d’alarme. “Notre preuve de concept met en évidence le fait qu’un créateur autonome et non humain d’armes chimiques mortelles est parfaitement possible”, insistent les chercheurs. “Sans être alarmistes à outrance, ces travaux doivent absolument servir de signal à nos collègues”, concluent-ils.

Le papier de recherche est disponible ici.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.