Google, une des entreprises en pointe dans le domaine de la recherche sur l’intelligence artificielle, a bien conscience des problèmes potentiels qui pourraient surgir si les choses devaient aller trop loin.
Les chercheurs de DeepMind, l’IA qui a battu le champion du monde de Go il y a quelques semaines, ont révélé l’existence d’un bouton d’alerte capable d’arrêter purement et simplement l’intelligence artificielle. Elle devient alors incapable de faire du mal à elle-même et aux humains.
Ce “gros bouton rouge”, comme l’appelle DeepMind, est “nécessaire” afin de stopper une séquence d’actions qui pourraient être préjudiciables à un tiers. L’idée est bonne et il y a des chances pour que ce type de mécanisme fasse partie des systèmes IA à l’avenir.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
Et si l’IA désactive le bouton rouge sans que personne ne s’en aperçoive ?
Pour faire simple, si la capacité à pouvoir remanier son propre code source fait partie des attributions de DeepMind, ce qui pourrait justifier l’existence d’un tel bouton, alors pour moi il me parait tout à fait probable, voire réaliste que DeepMind voit ce programme comme une potentielle entrave à son développement et fasse tout son possible pour le contourner ou l’éradiquer de son système..
D’un autre côté, si ce bouton rouge est placé sur le tronc commun, à moins de faire effectivement du polymorphisme, l’IA n’ira probablement pas jusqu’à s’attaquer elle-même…
Ca me fait penser à la série “Person of Interest”
par contre, si c’est un bouton PHYSIQUE, relié à un réseau secondaire PHYSIQUE (circuit électrique secondaire spécifique fournissant l’énergie aux CPUs utilisés par l’I.A. ) ben la, l’I.A. aura du mal à agir en quoi que ce soit sur les contacts électriques physiques. Même du mal à en prendre connaissance de l’existence.
Un peu comme les dinosaures, ne pouvaient pas concevoir même l’existence de la météorite qui allait frapper la planète.
Donc voilà, normalement, avec un QI de 100 je pense que les programmeurs devraient arriver à l’imaginer ce circuit physique.
On parle toujours de la crainte qu’un robot fasse du mal à autrui, qu’il devienne incontrôlable et tout, mais au final une rocket ou du napalm dans la tronche ça peut être pas si mal pour tout stop, tout comme le bombarder d’armes électromagnétique histoire de tout griller d’un coup :v
y a moyen d’avoir le même bouton pour tous nos politocars, flics fascistes et autre gros porcs capitalistes ?
ça devrai pas être trop compliquer. leur intelligence est limité.
Et si l’IA transfere ses data sur d’autres serveurs sans qu’on s’en apercoive ? Le bouton rouge ne fonctionne qu’en local ?
On parle d’ici un bouton logiciel. Hormis de faire du code polymorphique.
Même en se doublant dans une autre structure hardware, le bouton logiciel sera toujours présent.
par contre, oui un bouton logiciel… lol quoi… y’a comme un “petit” problème logique et de bon sens, là…
Ah oui tiens, c’est vrai, il faudrait peut-être le signaler à Google, leur armée d’ingénieurs n’y a peut-être pas pensé.
J’ai la même crainte qu’@Alesk. L’IA a toutes les infos en mémoire et a accès à internet. Si elle atteint la singularité, logiquement elle aurait déjà lu l’article de JDG ci-dessus ou autres médias et risque très facilement de trouver une solution pour ce bouton rouge.
Qui va le plus vite? un humain qui doit appuyer sur un bouton ou une IA qui peut tuer un humain instantanément par ondes wifi? ou par électrocution? ou par une collision de google car, ou par activation de sa puce rfid? ou par un drone? ou par un autre humain forcé par l’IA?
On a vue ce que ça a donner avec ultron donc les précaution sont à prendre en compte mdr
comment avez-vous d’ailleurs programmé l’IA?
on peut toujours aussi couper le courant! et y’a d’autres moyens de couper à tous les niveaux.
suffit également de prévoir un arrêt auto sans intervention humaine régulière… pas stupide non plus ça.
Au secours : “Colossus” (1) et “Terminator” ( sans Schwarzy )arrivent !…
(1) roman de Denis Feltham Jones (1966) sur un superordinateur qui devient conscient et devient le maître du monde !… Porté à l’écran sous le titre “le cerveau d’acier” par Joseph Sargent en 1970 , l’un des films apocalyptiques les plus “glaçants” ( sans effets spéciaux ) !… La révolution des PC, survenue en 1974, provoquant l’éparpillement ( “anti-Tron” ! ) des cerveaux électroniques, fut peut-être la réponse ( anticipée ! ) de la civilisation à une future dictature des machines !… Vu sous cet angle, la S-F fut un bon “Snowden”…. mais là non plus, on ne lui a pas été reconnaissant !…
et on appellerai ça la conscience .
ça serai une grande évolution pour les primates ego-centrique que nous sommes.
Il faut interdire le développement d’IA par des intérêts privés. Sinon autant les laisser développer librement des armes chimiques, bactériologiques et nucléaires, c’est rien à côté de la dangerosité d’un groupe réduit de personne accédant les premiers à une IA de niveau général.
Pour simplifier, la première personne à contrôler une IA de niveau humain, et tout ce qui mène à la singularité, sera de loin la personne la plus puissante et plus dangereuse au monde.
C’est absolument inacceptable.
Et à partir de quand tu considères que c’est une IA ? Est-ce qu’une IA dans un jeu de stratégie par exemple est dangereuse ? Est-ce qu’une assistance vocale qui va analyser tes paroles est une IA dangereuse ? où est la barrière ?
Tu ne peux pas simplement l’interdire quand c’est quelque chose d’aussi complexe, étendu et répandu.
Bon, j ai joue au dernier Uncharted, je suis rassuré quant aux capacités de l IA : D
Et si elle clone son programme sur d’autre machines ?
Faut arrêter, c’est avant une com’ pour rassurer les flippés de l’IA en mode Skynet qui prend contrôle du moooooooooonde et tue tous les humains. Rassurez-vous, les systèmes de contrôle du feu nucléaire sont vieux, déconnectés, et marchent avec des disquettes. des dis-que-ttes ! ^^
La “conscience” informatique, ce n’est pas pour demain, ni après-demain, ne confondons pas deep learning et intelligence please 😉
Des dis… quettes ? … Ah, tu parles du bouton de sauvegarde ? À quoi ça peut bien leur servir pour lancer des missiles ? ?
Sauf que la machine trouvera sa perte dans sa logique indéniablement mathématiques. ..incapable de prédire des réactions aussi irrationnelles et émotives que celles de l’Homme…c’est pourquoi elle ne pourra jamais l’éradiquer
Cherchez plus, on est foutu…