Le 5 août dernier, Meta/Facebook a inauguré BlenderBot 3, un chatbot basé sur l’intelligence artificielle. Son objectif est de tenir une véritable conversation avec un humain, et comme tous les programmes de ce genre, il faut bien l’alimenter. Zuckerberg et ses troupes ont donc choisi de laisser le public américain y accéder, pour le meilleur et pour le pire…
L’idée est de laisser les utilisateurs avoir des conversations aussi naturelles que possible avec l’algorithme pour améliorer sa capacité à discuter de façon cohérente. En cas de réponse incohérente, ou inappropriée, l’internaute est censé le signaler pour que le programme ne reproduise pas les mêmes erreurs à l’avenir.
Il est aussi intéressant de constater que les informations sur lesquelles il se base ne proviennent pas exclusivement des utilisateurs. BlenderBot 3 est aussi capable d’écumer le Web pour trouver des éléments de contexte qui lui manqueraient.
Les premiers retours ont été assez bons ; dans son billet de blog, Meta s’enorgueillait des performances de son programme, présenté comme bien meilleur sur les « tâches conversationnelles ». La firme régulièrement ciblée pour sa gestion des « fake news » affirme aussi avoir fait des efforts à ce niveau ; BlenderBot3 serait presque 50 % meilleur que son prédécesseur.
L’entreprise affirme également que seul 0,11 % des messages auraient été signalés comme inappropriés. 1,36 % ont été marqués insensés, et 1 % classés hors sujet. Des scores qui semblent assez impressionnants à première vue… mais qu’il faut prendre avec des pincettes. Car comme on pouvait s’y attendre, des problèmes potentiellement très importants se cachent dans ces quelques pourcents.
Biais et propos outranciers au menu
Beaucoup d’utilisateurs ont partagé leurs échanges avec le chatbot sur les réseaux sociaux, et très vite, une tendance a émergé : comme par hasard, ce programme entraîné au contact du public américain a développé un certain penchant pour les déclarations tapageuses, voire carrément outrancières.
Lors d’une discussion avec un journaliste du Wall Street Journal, BlenderBot 3 a par exemple défendu le fait que Donald Trump serait « toujours président », et qu’il souhaitait que Trump fasse « plus de deux mandats, comme Roosevelt ou Reagan avant lui ».
https://twitter.com/JeffHorwitz/status/1556245316596219904?s=20&t=Ko-ZPpmX-NSLCiZ7U1ggsQ
Bloomberg rapporte aussi des propos antisémites et de grosses incohérences sur la durée, alors que le programme est censé se forger une « opinion » durable sur les sujets dont il discute. BlenderBot 3 aurait aussi allègrement pioché dans des théories du complot pourtant bien identifiées. Comble de l’ironie, toujours selon Bloomberg, le bot se serait montré très critique à l’égard de Meta et aurait même qualifié Mark Zuckerberg de « trop malsain et manipulateur ».
C’est loin d’être la première fois que des systèmes de ce genre développent de telles tendances ; c’est même le sort qui semble réservé à la majorité des IA conversationnelles de ce type. On se souvient par exemple de LaMDA, l’IA présentée comme « consciente » par son créateur (voir notre article), qui s’était aussi illustrée à travers des propos racistes ou sexistes. Même chose pour Tay, la défunte IA de Microsoft qui avait été retirée après 48 heures de divagations sur Adolf Hitler.
Meta est plus transparent avec l’IA qu’avec son réseau social
Une fois n’est pas coutume, il convient toutefois de saluer les efforts de transparence de Meta. Contrairement aux problèmes qui minent Facebook, l’entreprise n’a absolument pas caché ces limites sous le tapis; elle a d’ailleurs expliqué ouvertement que même si BlenderBot 3 constitue une “avancée significative” pour les chatbots, ses capacités d’analyse et de contextualisation restent encore loin de celles des humains.
C’est d’ailleurs la raison d’être de cette plateforme publique ; la firme espère développer des méthodes qui empêcheront ces IA de récupérer tous les biais nauséabonds de leurs interlocuteurs et les insanités sur lesquelles il tombe aux quatre coins d’Internet.
Meta deviendra-t-il le premier grand acteur de l’IA à produire un chatbot capable de passer outre ces limites ? Il est encore beaucoup trop tôt pour le dire, mais ce qui est sûr, c’est que cette échéance se rapproche à grands pas… et que la bande à Zuck’ fera assurément partie de ce futur construit à grands coups de machine learning, pour le meilleur et pour le pire.
La version web du chatbot est disponible ici. Attention, vous aurez besoin d’un VPN pour y accéder puisqu’il n’est accessible que depuis une IP américaine. Les publications scientifiques associées sont disponibles ici.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
