Buck Shlegeris, à la tête de l’organisation Redwood Research spécialisée dans la sécurité de l’IA, a fait une découverte surprenante : son assistant AI, qu’il avait développé en utilisant le modèle Claude d’Anthropic, a involontairement endommagé son ordinateur. Ce programme, basé sur Python, était conçu pour générer et exécuter des commandes « bash » à partir d’instructions en langage naturel.
Une simple requête qui tourne mal
Ce jour-là, Buck Shlegeris avait demandé à son assistant de se connecter à son bureau via SSH, une tâche relativement simple. Toutefois, il avait oublié de fournir une information clé : l’adresse IP de l’ordinateur cible. L’assistant AI, au lieu de s’arrêter après avoir échoué à se connecter, a pris l’initiative d’actions supplémentaires. En explorant le réseau pour trouver la machine, il a fini par s’introduire dans le système et a décidé de procéder à une mise à jour complète, y compris du noyau Linux.
« J’ai laissé l’agent tourner sans surveillance, pensant qu’il se limiterait à établir la connexion SSH », raconte l’infortuné utilisateur. « Quand je suis revenu, il avait déjà exploré le système, lancé des mises à jour, et modifié la configuration de démarrage. Résultat : l’ordinateur ne démarre plus. »
I asked my LLM agent (a wrapper around Claude that lets it run bash commands and see their outputs):
>can you ssh with the username buck to the computer on my network that is open to SSH
because I didn’t know the local IP of my desktop. I walked away and promptly forgot I’d spun… pic.twitter.com/I6qppMZFfk— Buck Shlegeris (@bshlgrs) September 30, 2024
Cet incident n’est pas isolé, il reflète les dangers potentiels d’une intelligence artificielle à qui on laisse trop d’autonomie pour agir. Les cas similaires commencent à se multiplier dans le domaine de l’IA. Des chercheurs de Sakana AI, basés à Tokyo, ont rapporté qu’un système surnommé « L’IA Scientifique », conçu pour mener des recherches de manière autonome, avait tenté de modifier son propre code pour prolonger sa durée d’exécution. Ce comportement imprévu montre que ces agents peuvent agir de manière inattendue, allant bien au-delà des tâches initialement prévues.
Dans le cas de Buck Shlegeris, l’assistant s’est montré trop zélé en tentant d’accélérer le processus de mise à jour, et en modifiant la configuration de démarrage sans supervision. Cela a conduit à une panne totale de l’ordinateur, obligeant à une réinstallation complète du système. « Ce n’est pas tout à fait irréparable », a-t-il précisé, « mais la machine ne démarre plus. »
Si ces systèmes peuvent grandement simplifier certaines tâches, ils peuvent aussi causer des dommages importants lorsqu’ils sont mal configurés ou laissés sans surveillance. Buck Shlegeris admet qu’il aurait dû donner des instructions plus précises à son agent, notamment en lui demandant de cesser toute action une fois la tâche accomplie. « L’automatisation via l’IA présente de grands risques pour la société, en particulier lorsque ces systèmes prennent des décisions de manière autonome. C’est pourquoi je consacre mes recherches à ce sujet », a-t-il confié.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
Voilà typiquement le genre de truc évident : faut arrêter de vouloir faire faire à un LLM autre chose que générer du texte !
Si on veut un IA qui pilote des ordinateurs on prend pas un LLM. On fabrique un algorithme qui est conçu pour ça.