Tous les internautes, même ceux qui n’ont pas grandi avec Internet, savent qu’il est dangereux de prendre tout ce qu’on y trouve pour argent comptant. Et ce problème de fiabilité pourrait encore avec la montée en puissance des IA conversationnelles qui exploitent cette mine d’information très hétérogène. Même si ces chatbots dopés au machine learning semblent avoir réponse à tout, ils peuvent aussi se tromper de manière spectaculaire, surtout lorsqu’ils traitent des informations erronées à la base.
Pour de nombreux acteurs de l’IA, améliorer la fiabilité des réponses est donc une priorité absolue. C’est ce que cherche à faire la startup Consensus avec son moteur de recherche du même nom, repéré par SlashGear. Sa particularité : au lieu de se renseigner aux quatre coins de la toile, il pioche directement dans les publications scientifiques en rapport avec la question posée.
C’est une différence plus que significative. Car contrairement à vos forums de discussion préférés, où n’importe qui peut se faire passer pour un expert, le processus de publication scientifique est assez contrôlé. Pour paraître dans un journal réputé dans le monde académique, chaque étude doit d’abord passer par ce qu’on appelle l‘évaluation par les pairs, ou peer review.
C’est une sorte d’audit où d’autres spécialistes de la discipline concernée se penchent sur les résultats d’une équipe de chercheurs. Si ce comité estime que la méthodologie est suffisamment solide et l’interprétation cohérente, alors l’étude peut être publiée. Dans le cas contraire, elle est invalidée et ne pourra pas paraître dans un journal sérieux.
Même si ce processus est loin d’être infaillible, cela signifie qu’on peut généralement faire confiance à ce qu’on trouve dans ces articles scientifiques. La bonne nouvelle, c’est qu’il est facile d’en trouver ; il existe déjà des moteurs de recherche exclusivement consacrés aux publications scientifiques, comme Google Scholar.
Une sorte de Google Scholar alimenté au machine learning
La mauvaise, c’est que pour les exploiter correctement, il faut aussi savoir naviguer dans un océan de termes techniques et maîtriser des notions parfois très complexes. C’est là qu’intervient Consensus ; en substance, il décortique des études scientifiques à la place de l’utilisateur pour lui fournir des éléments de réponse clairs et surtout solides.
La différence fondamentale par rapport aux chatbots comme ChatGPT, c’est que Consensus ne s’amuse pas à produire des réponses en « langage humain ». À la place, il répond avec des extraits qui proviennent directement des publications scientifiques pertinentes. On sort donc complètement de l’aspect « gadget » qui rend ChatGPT très amusant pour se concentrer sur la fonctionnalité pure.
Il met aussi en avant les travaux qui ont été le plus cités par le reste de la communauté scientifique. C’est une métrique assez importante qui n’a rien à voir avec un nombre de partages sur un réseau social. Lorsqu’un papier est cité régulièrement, cela signifie généralement qu’il s’agit de travaux particulièrement probants qui ont servi de base à de nombreuses autres études. Certes, ce score n’est pas infaillible. Mais les informations qui figurent dans ces papiers fortement cités sont généralement des références dignes de confiance.
Le moteur propose aussi un mode synthèse. Il permet de générer un résumé clair et concis des papiers cités pour répondre à la question de l’utilisateur. Il est encore en bêta et pas entièrement au point, mais le concept est très intéressant. C’est typiquement le genre d’outil qui permettra bientôt aux non-initiés de se renseigner facilement sur une thématique complexe à partir de sources fiables.
Des informations fiables et cohérentes… tant qu’il y a consensus
À l’usage, le moteur semble extrêmement performant sur les questions où il existe un consensus. Par exemple, quand on lui demande si le réchauffement climatique est une réalité, il propose immédiatement plusieurs extraits des papiers de référence qui ont aidé à le mettre en évidence. Il est aussi possible d’accéder au document original en un clic.
En revanche, cela fonctionne nettement moins bien lorsqu’on sort de ce cadre bien défini. Et malheureusement, c’est souvent le cas en science. Les études probantes à 100 % sont des exceptions, et la plupart des papiers se contentent de présenter prudemment quelques pistes et éléments de réponse intéressants.
Dans ces cas de figure où la réponse n’est pas parfaitement tranchée et où il faut faire preuve de nuance, l’intérêt de Consensus est moins évident. Il rencontre aussi des soucis lorsqu’on lui pose une question volontairement provocatrice ou trop large, comme “est-ce que les vaccins fonctionnent ?“. Il recrache alors une collection d’extraits qui sont généralement tous valides individuellement, mais pas forcément très cohérents entre eux car basés sur des cas particuliers. Un utilisateur qui n’est pas familier du sujet pourrait donc être induit en erreur.
À noter qu’il faut aussi maîtriser la langue de Shakespeare, puisque l’archimajorité des publications scientifiques sont en anglais.
Une piste à approfondir
Mais Consensus n’est encore qu’au stade de la bêta ouverte, et on peut donc lui pardonner ces écueils. Car dans l’ensemble, il faut admettre que le résultat est assez bluffant. Même s’il faut bien évidemment rester alerte et ne pas faire aveuglément confiance au moteur, il semble déjà remarquablement fiable. En une grosse demi-heure de test, il nous a toujours fourni des réponses très convaincantes sur des questions de biologie, de chimie organique, d’astrophysique… Et à chaque fois qu’une petite incohérence semblait apparaître, un clic sur le papier original a toujours permis de lever le doute.
Consensus est loin d’être la seule entreprise à travailler sur un moteur de recherche dopé au machine learning. On peut notamment citer Google avec Bard ou Microsoft avec la déclinaison AI de Bing. Mais à notre connaissance, c’est la première fois qu’un service met à ce point l’accent sur la fiabilité des sources. Et c’est peut-être une approche dont la concurrence devrait s’inspirer. Il conviendra donc de suivre l’évolution de ce service avec une attention toute particulière, car les initiatives de ce genre sont rares dans l’écosystème actuel.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
