Des chercheurs affirment que l’IA va “probablement” détruire l’humanité

Aussi impressionnantes soient-elles, de très nombreux observateurs comme Elon Musk s’accordent à dire que les technologies associées à l’intelligence artificielle comportent aussi des risques considérables qu’il faut anticiper dès aujourd’hui. C’est aussi la conclusion d’un nouveau papier de recherche glaçant dont les auteurs estiment que cette technologie représente une véritable menace existentielle pour l’humanité.

C’est loin d’être la première fois que l’on voit réémerger ce discours ; même si cette affirmation repose sur des bases très sérieuses, elle est souvent assortie d’arguments assez caricaturaux, pour ne pas dire complètement fantaisistes.

Mais cette fois, la donne est très différente. Cela commence par l’identité de ces lanceurs d’alerte. Ils ne s’agit pas de quelques illuminés qui brassent de l’air dans les profondeurs d’un forum obscur ; ces travaux, on les doit à des chercheurs tout à fait sérieux et issus d’institutions fiables et prestigieuses, à savoir l’Université d’Oxford et DeepMind, l’un des leaders mondiaux de l’intelligence artificielle.

Des cadors, en somme, qui ne monteraient pas au créneau sans raison valable. Et lorsqu’ils se mettent à affirmer, eux aussi, que l’humanité a largement sous-estimé les dangers liés à l’IA, mieux vaut tendre l’oreille. Surtout qu’ils présentent des arguments techniques qui semblent plus que convaincants.

Les GAN, des programmes (trop?) puissants

Leur postulat tient en une phrase qui est aussi le titre de leur papier de recherche : « les agents artificiels avancés interviennent dans le processus de récompense ». Pour comprendre cette affirmation tortueuse, il faut commencer par s’intéresser au concept de Generative Adversarial Network, ou GAN.

Les GAN sont des programmes imaginés par l’ingénieur Ian Goodfellow. Très sommairement, ils fonctionnent grâce à deux sous-programmes relativement indépendants et qui s’opposent l’un à l’autre — d’où le terme « Adversarial ». D’un côté, nous avons un réseau de neurones relativement standard qui apprend au fil des itérations.

De l’autre, on trouve un second réseau qui supervise l’entraînement du premier. Un peu comme un instituteur, il passe en revue les conclusions de son compère pour lui indiquer si l’apprentissage progresse dans la direction souhaitée. Si les résultats sont satisfaisants, le premier réseau reçoit une « récompense » virtuelle qui l’encourage à persévérer dans la même direction. Dans le cas contraire, il hérite d’un blâme qui lui indique qu’il a suivi la mauvaise piste.

C’est un concept qui fonctionne terriblement bien, à tel point que les GAN sont aujourd’hui utilisés dans des tas de domaines. Mais un problème pourrait survenir au fil des évolutions technologiques, en particulier si cette architecture était intégrée à ces fameux “agents artificiels avancés“.

Ce terme désigne une nouvelle classe d’algorithmes encore hypothétiques. Ils seraient significativement plus avancés et plus autonomes que les GAN actuels. Et surtout, ils disposeraient d’ une marge de manoeuvre largement supérieure qui leur permettrait de définir leurs propres objectifs – tant que cela permet d’aider les humains à résoudre des problèmes concrets “dans des environnement où ils ne disposent pas du code source“, c’est à dire le monde réel.

Les chercheurs expliquent que le fait de motiver un tel système avec un système de récompense pourrait avoir des  conséquences assez catastrophiques.

The key claim of the paper is in the title: Advanced Artificial Agents Intervene in the Provision of Reward. We further argue that AIs intervening in the provision of their rewards would have consequences that are very bad. 2/15

— Michael Cohen (@Michael05156007) September 6, 2022

Et si les IA trichaient ?

Ce modèle pourrait en effet pousser l’IA à élaborer une stratégie qui lui permettrait « d’intervenir dans le processus de récompense », comme l’explique le titre du papier. En d’autres termes, ces algorithmes pourraient se mettre à « tricher » en optimisant à outrance le processus qui lui permet d’obtenir des « récompenses »… quitte à laisser les humains sur le carreau.

En effet, puisque cette approche est censée indiquer à l’IA dans quelle direction progresser, elle part du principe que toute action qui conduit à une récompense est fondamentalement bénéfique. En substance, le programme se comporterait un peu comme un chiot en cours de dressage qui irait chiper des croquettes directement dans le sac ou mordrait la main de son maître plutôt que de répondre à ses ordres pour mériter sa récompense; si ce comportement n’est pas géré immédiatement, cela peut dégénérer assez rapidement.

Et ce qui rend ce papier à la fois inquiétant et très intéressant, c’est qu’il n’est pas question de robots tueurs ou d’autres pronostics fantaisistes calqués sur la science-fiction ; le scénario catastrophe proposé par les chercheurs repose sur une problématique très concrète, à savoir la quantité de ressources disponibles sur notre planète.

Les auteurs imaginent en effet une sorte de grand jeu à somme nulle, avec d’un côté, une humanité qui a besoin de se sustenter, et de l’autre, un programme qui utiliserait toutes les ressources à sa disposition sans la moindre considération, simplement pour obtenir ces fameuses récompenses.

Imaginez par exemple une IA médicale conçue pour diagnostiquer des pathologies graves. Dans un scénario de ce genre, le programme pourrait trouver un moyen de « tricher » pour obtenir sa récompense, même s’il propose un diagnostic erroné. Il n’aurait alors plus le moindre intérêt à identifier les maladies correctement.

Une approche différente de la compétition Homme-machine

À la place, il se contenterait de produire des résultats complètement faux en quantités industrielles simplement pour avoir droit à son shoot. Quitte à se détourner complètement de son objectif initial et à s’approprier toute l’électricité disponible sur le réseau.

Et il ne s’agit que de la partie émergée d’un gigantesque iceberg. « Dans un monde avec des ressources finies, il va inévitablement y avoir une compétition pour les ressources », explique Michael Cohen, auteur principal de l’étude, dans une interview à Motherboard. « Et si vous entrez en compétition avec quelque chose qui est capable de prendre de l’avance à chaque tour, vous ne devriez pas vous attendre à gagner », martèle-t-il.

Winning the competition of “getting to use the last bit of available energy” while playing against something much smarter than us would probably be very hard. Losing would be fatal. 12/15

— Michael Cohen (@Michael05156007) September 6, 2022

« Et perdre ce jeu serait fatal », insiste-t-il. Avec son équipe, il est donc parvenu à la conclusion que l’annihilation de l’humanité par une IA n’est plus seulement « possible »; c’est désormais « probable » si la recherche en IA continue au rythme actuel.

Et c’est bien là que le bât blesse. Car cette technologie est un outil formidable qui fait déjà des merveilles dans des tas de domaines. Et il ne s’agit probablement que d’un début ; l’IA au sens large dispose encore d’un potentiel immense dont nous n’avons probablement pas encore saisi toute l’ampleur. Aujourd’hui, l’IA est indiscutablement une plus-value pour l’humanité, et il y a donc un vrai intérêt à pousser ces travaux aussi loin que possible.

Le principe de précaution doit avoir le dernier mot

Mais cela signifie aussi qu’on pourrait se rapprocher de plus en plus de ce scénario qui fleure bon la dystopie. Évidemment, il faut rappeler qu‘ils restent pour l’instant hypothétiques et assez abstraits. Mais les chercheurs insistent donc sur l’importance de garder le contrôle sur ces travaux ; il estime qu’il ne servirait à rien de céder à la tentation de la recherche débridée, sachant que nous sommes encore très loin d’avoir exploré toutes les possibilités des technologies actuelles.

« Étant donné notre compréhension actuelle, ce n’est pas quelque chose qu’il serait utile de développer à moins de faire un travail sérieux pour comprendre comment les contrôler », conclut Cohen.

Sans céder au catastrophisme pour autant, ces travaux rappellent tout de même qu’il va falloir redoubler de prudence à chaque grande étape de la recherche en IA, et encore davantage lorsqu’il s’agira de confier des systèmes critiques à des GAN.

Au bout du compte, ceux qui cherchent une morale à cette histoire pourront peut-être se baser sur la conclusion de l’excellent Wargames ; ce film d’anticipation sorti en 1983 et toujours d’actualité aujourd’hui traite admirablement bien cette thématique. Et comme le dit si bien le WOPR dans la scène finale, la seule façon de remporter ce jeu étrange sera peut-être… de s’abstenir de jouer, tout simplement.

Le texte de l’étude est disponible ici.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.