Les capacités de l’intelligence artificielle ne cessent de croître, au fur et à mesure que les chercheurs élaborent des stratégies de plus en plus fines pour les améliorer. Mais elles sont encore loin d’être parfaites. L’exemple le plus flagrant concerne tous les champs où intervient une forme de ce que l’on appelle toujours l’intuition humaine – en tout cas, jusqu’à ce qu’on trouve une solution algorithmique pour l’émuler. Par exemple, nous vous avions récemment présenté un ensemble d’images naturelles, pas spécialement conçues pour être ambiguës, mais que les algorithmes de reconnaissance d’image avaient toutes les peines du monde à identifier correctement.
En plus des images, il existe un autre champ d’application où les ordinateurs se révèlent encore largement perfectibles : la compréhension et la pratique du langage. Tous ceux qui utilisent un assistant comme Siri, Alexa ou le Google Assistant le savent : dès que la question devient trop alambiquée, le programme part en courant ou sert une réponse complètement fantaisiste à l’utilisateur. L’IA n’apprécie ni les nuances, ni les figures de style, et encore moins les sarcasmes.Pour avancer sur ce sujet, il faut entraîner ces IAs avec des questions qui leur posent problème, sous le contrôle d’un humain capable d’identifier les ambiguïtés. Mais pour ce faire, encore faut-il avoir accès une grande quantité de telles questions.
Du matériel d’entraînement spécialement conçu pour les IA parlantes
C’est pour cette raison de chercheurs de l’université du Maryland ont développé un système basé sur une coopération humain-machine, capable de produire des questions triviales pour l’Homme mais quasi-insolubles pour la machine. Ils ont ainsi produit un ensemble de 1200 questions, d’une simplicité enfantine pour n’importe quel humain mais qui laissent les meilleurs programmes de réponse perplexes. Le système informatique qui parviendra à répondre correctement à ces questions fera un pas en avant considérable dans la compréhension du langage.
Pour cette étude, l’équipe de recherche a développé une interface qui décrit ce que “pense” l’ordinateur lorsqu’un humain tape une question. L’auteur peut ensuite éditer sa question pour tirer parti des faiblesses de la machine, et créer la question la plus difficile possible pour elle.
Par exemple, si l’auteur écrit “Quelle variation d’un thème de Haydn fût inspirée par Karl Ferdinand Pohl ?” et que l’ordinateur répond Brahms (la bonne réponse), l’interface va surligner “Karl Ferdinand Pohl” car il s’agit de l’indice qui lui a permis de trouver la réponse. A partir de cette information, l’auteur a pu complexifier la question jusqu’à ce qu’elle parvienne à piéger l’ordinateur.
Ces questions vont servir de base à des chercheurs pour entraîner leurs propres IA, mais surtout à étudier où la compréhension par des machines coince. Pour l’instant, l’équipe de recherche a identifié plusieurs éléments de langage qui mettent les IA à rude épreuve : les paraphrases, les contextes inattendus, les indices qui nécessitent de la logique et du calcul, ou qui nécessitent des raisonnements à plusieurs étapes. D’après Jordan Boyd-Graber, l’un des auteurs de l’étude, c’est lié à la capacité des humains à “voir la forêt là où la machine voit un ensemble d’arbres”.
Il précise toutefois qu’il reste un long chemin à parcourir pour en arriver à des IA capables de fournir des réponses précises et exactes à des questions ambiguës et dépendantes d’un contexte. Il conclut en expliquant que l’avantage réside dans le fait que leurs recherche tracent une feuille de route claire pour les prochaines années. Reste donc à patienter quelques années, et peut-être pourrons-nous alors tenir une discussion sérieuse et nuancée avec une IA, qui sait !
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
ce projet est très intéressant pour augmenter la performance des IA mais la problématique de la compréhension des intention est certainement plus complexe que cela !