La nouvelle équipe « Preparedness » dirigée par Aleksander Madry, directeur du Center for Deployable Machine Learning au MIT, se concentrera sur l’identification et la prévention des risques allant de la cybersécurité aux menaces nucléaires. Elle aura pour mission principale de suivre, de prévoir et de protéger contre les dangers des futurs systèmes d’IA. Et des risques, il y en a, comme la capacité de l’IA à tromper et persuader les humains (dans les attaques par phishing, par exemple), mais aussi dans leur potentiel à générer du code malveillant.
Annuler l’apocalypse IA
Les domaines d’étude que l’équipe va surveiller ne sont pas tous immédiatement évidents. OpenAI cite dans un billet de blog des menaces « chimiques, biologiques, radiologiques et nucléaires » comme domaines de préoccupation majeure en ce qui concerne les modèles d’IA. Le CEO d’OpenAI, Sam Altman, est connu pour ses positions plutôt alarmistes sur l’IA, souvent exprimées soit pour des raisons d’image, soit par conviction personnelle. Toutefois, la décision de la société d’allouer des ressources pour étudier des scénarios dignes de romans de science-fiction dystopiques va plus loin que ce que certains observateurs attendaient.
Ce groupe est également chargé de formuler une « politique de développement informée par les risques », qui détaillera la manière dont OpenAI construit ses évaluations de modèles d’IA, ses outils de surveillance et sa structure de gouvernance pour une surveillance à travers le processus de développement des modèles. Cette politique est conçue pour compléter les autres travaux de la société dans la discipline de la sécurité de l’IA, en se concentrant sur les phases avant et après le déploiement des modèles.
En parallèle, OpenAI lance un appel à idées auprès de la communauté. Les dix meilleures propositions recevront un prix de 25.000 dollars et une possibilité de job au sein de l’équipe « Preparedness ». Une des questions du concours invite à réfléchir sur l’utilisation potentiellement catastrophique des modèles d’IA de l’entreprise si ceux-ci tombaient entre de mauvaises mains.
L’annonce de la création de ce groupe coïncide avec un sommet majeur du gouvernement britannique sur la sécurité de l’IA et tombe après l’annonce d’OpenAI de la formation d’une équipe pour étudier et contrôler les formes émergentes d’IA « superintelligente ». Selon Sam Altman et Ilya Sutskever, scientifique en chef et co-fondateur d’OpenAI, une IA dont l’intelligence dépasse celle des humains pourrait arriver dans la décennie, et cette IA ne sera pas nécessairement bienveillante. Qui a dit Skynet ?
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
Ohlalaaaaa… La poudre aux yeux !!! Le vrai danger de l’IA, c’est pas l’IA c’est les humains qui veulent nous faire croire que l’IA peut remplacer l’humain.
Faire un groupe de travail pour savoir comment contrôler l’IA pour éviter qu’elle ne perde les pédales, c’est aussi con que faire un groupe de travail pour s’assurer qu’un marteau ne se mette pas à faire un génocide tout seul.
Bref c’est faire peur à monsieur tout le monde pour qu’il ne se pose pas trop de questions sur le vrai sujet : voulons nous déléguer notre liberté à un programme informatique contrôlé par une société qui veut nous vendre ses produits dont on a pas besoin.
Le soi disant remède risque tout simplement d’être pire que le mal potentiel car l’intention depuis toujours est de vouloir remplacer l’homme au départ pour les tâches les plus basiques puis progressivement le remplacer tout court et ce H24….
tu es stupide , va déjà a l’ecole parfaire ton orthographe . Vu ton qi de lezard
Pour répondre aux autres et notamment à “arnith” :
La robotisation est une aubaine pour l’humanité et non une menace.
L’humain est déjà remplacé dans un certain nombre de tâches par les intelligences artificielles, donc ceux qui ont peur de se faire remplacer par elles, je leur suggère d’aller vivre sur une île ou en forêt, en autarcie, pour aller au bout de leur logique et la tester à l’épreuve du réel. Parce que l’intérêt de la technologie, justement, c’est de libérer les hommes des tâches ingrates, psychiquement et physiquement aliénantes, et de passer plus de temps pour la culture, les arts et les sciences.
Aujourd’hui, malgré toutes nos technologies, on est encore dans un système socio-économique qui est basé sur la rareté, avec de la servitude (perdre sa vie à la gagner), de la pauvreté, de la prédation, de la compétition, de la violence, des inégalités, des conflits, de la délinquance crapuleuse, des maladies chroniques, du mal-être, sans parler de notre système de valeurs qui récompense le vice et sanctionne la vertu, et qui est le fil rouge de tout cela. Ceux qui croient critiquer la technologie en parlant des entreprises privées qui veulent vendre leurs produits et augmenter leurs profits, en réalité c’est le capitalisme qu’ils ciblent indirectement. Donc pourquoi ne pas assumer directement que le problème c’est le capitalisme et non pas la technologie ?
Moi je n’ai pas du tout de difficulté à l’admettre et à le revendiquer. L’enjeu c’est bien de sortir du paradigme de la rareté pour installer une économie basée sur les ressources, où la cybernétique remplace le système monétaire. On appelle cela la technocratie, un concept qui a été initié par des scientifiques sociaux, comme Thorstein Veblen, Alexander Bodganov ou encore Jacque Fresco (fondateur du Venus Project). C’est bien plus intéressant et constructif que de disserter sur l’opportunité ou non de la technologie.
Aussi, vous m’excuserez mais comparaison n’est pas raison. Un marteau n’est pas une intelligence artificielle, ce n’est pas vraiment le même niveau de sophistication ni la même potentialité. Donc c’est le plus mauvais argument qu’on peut utiliser en réalité pour infirmer le fait de vouloir encadrer l’utilisation d’une intelligence artificielle.
Ne pas utiliser les ia spécialisées dans nos armes et perdre des avantages tactique ? Plaisanteries. Toute leur puissance sera utilisée sans retenue.
Et si on ne le fait pas, “les autres” le feront.