Récemment, Google a annoncé que son IA conversationnelle Bard devrait débarquer dans son moteur de recherche d’ici « quelques semaines ». La firme a cependant été devancée par Microsoft. Quelques bêta-testeurs ont déjà pu se frotter à une nouvelle version du moteur de recherche Bing qui utilise ChatGPT, l’IA conversationnelle d’OpenAI. Et leurs expériences montrent qu’il y a de nombreuses raisons légitimes de s’inquiéter de cette tendance avant la sortie officielle prévue en mars prochain.
Cela a commencé dès la présentation du programme par Microsoft. Comme le programme de Google l’a fait récemment (voir notre article), la nouvelle mouture de Bing a commis des erreurs flagrantes. Dmitri Brereton, un chercheur en IA indépendant cité par The Verge, a remarqué que la version IA du moteur avait du mal à faire la part des choses au moment d’exploiter des informations en apparence contradictoires.
Lorsque Bing AI a été interrogé sur les avantages et les inconvénients d’un petit aspirateur, il a répondu que le modèle en question était filaire. Une réponse inexacte; une simple recherche manuelle sur la version standard de Bing a montré qu’il existe également des variantes sans fil de l’appareil. Alors que cette information figurait explicitement dans les pages citées en source par Bing AI.
Des réponses sans queue ni tête
Et petit à petit, des tas d’autres exemples ont émergé des expériences des bêta-testeurs. On peut citer un exemple très parlant proposé par le redditer Curious_Evolver. En titillant le programme sur la date de sortie du dernier film Avatar, il s’est rendu compte que le chatbot était absolument convaincu d’être encore en 2022. Le programme a même suggéré que c’est l’utilisateur qui était “confus” avant de lui demander… d’arrêter d’argumenter, de vérifier son smartphone et de lui faire confiance ! Pardon !?
On peut aussi citer le cas d’un utilisateur Reddit repéré par The Verge. Bing AI a par exemple affirmé que la Croatie avait quitté l’Union Européenne en 2022, ce qui est entièrement faux. Et la source sur laquelle l’algorithme s’était basé pour proférer une telle ânerie n’était autre que… Bing lui-même.
À première vue, ces histoires pourraient sembler anecdotiques — mais les implications sont en fait assez profondes.
Interdiction de faire confiance à ces algorithmes
L’exemple de la date montre que ces chatbots sont très sensibles à la formulation des questions qu’on leur pose. Une simple nuance sémantique peut pousser le chatbot à lancer des affirmations complètement fantaisistes avec un aplomb stupéfiant.
Le problème de l’aspirateur est encore plus préoccupant. Il montre que l’algorithme avait identifié une information cruciale pour l’utilisateur, mais qu’il n’a pas jugé pertinent de l’intégrer à sa réponse. En d’autres termes, le système peut ignorer des éléments de réponse indispensables pour répondre correctement à la question de l’utilisateur, même lorsque l’information en question est à portée de main.
L’exemple de la Croatie, de son côté, montre que le problème ne concerne pas seulement l’interprétation des résultats. On peut aussi douter de la capacité du bot à sélectionner des sources valables.
Le plus inquiétant, c’est que Bing AI pourrait aussi commettre des bourdes de ce genre sur des sujets nettement plus importants. Et cela pourrait avoir des conséquences très concrètes. Imaginons un exemple le cas d’un utilisateur un peu fainéant qui voudrait s’informer sur le programme ou le parcours d’un candidat à la présidentielle. Dans ce contexte, ces lacunes pourraient inciter l’électeur à modifier son vote sur la base d’informations incomplètes, voire carrément erronées.
Et on ne parle même pas des questions éthiques où la nuance est très importante. Ou pire, des sujets médicaux et scientifiques qui demandent un certain niveau de rigueur. Imaginez seulement ce qui pourrait arriver si l’algorithme oubliait une contre-indication très importante à la prise d’un médicament. Si l’utilisateur choisissait de faire confiance au programme plutôt qu’à un vrai professionnel de santé, il pourrait même s’agir d’une question de vie ou de mort.
Soyons prudents
Pour l’instant, cette version dopée à l’IA est encore réservée à quelques bêta-testeurs, avec une liste d’attente relativement longue. Et c’est tant mieux. Car si cette version était relâchée dans la nature dans son état actuel, les conséquences pourraient être désastreuses.
Et cela ne concerne pas que cette nouvelle version de Bing. Cette dernière est simplement plus exposée à l’heure actuelle, puisqu’un certain nombre d’utilisateurs a déjà pu s’amuser avec. Mais ce raisonnement est valable pour tous les moteurs de recherche dopés à l’IA qui ont été annoncés récemment.
Évidemment, ces outils basés sur le machine learning vont encore progresser. On devrait donc rencontrer de moins en moins d’erreurs flagrantes de ce genre. Malgré ces bourdes, il est indéniable qu’ils affichent effectivement un gros potentiel dans le cadre de la recherche Internet. Mais ils sont encore très, très loin d’être au point.
Et même lorsqu’ils seront présentés comme matures par leurs concepteurs, il conviendra de rester prudent. Même si les moteurs de recherche traditionnels sont loin d’être irréprochables, il faudra y réfléchir à deux fois avant d’y intégrer des outils qui pourraient encore rajouter une couche de confusion supplémentaire.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
C’est vrai que les terriens ne font jamais d’erreurs.