IA : OpenAI créé une échelle pour classer les modèles en fonction de leurs performances

Selon Bloomberg, OpenAI a créé une échelle qui va dorénavant être utilisée pour évaluer les progrès des modèles IA jusqu’à ce qu’ils soient capables de surpasser les capacités cognitives des humains.

Cette classification comporte cinq niveaux distincts, et rappelle vaguement celle qui est utilisée dans l’industrie automobile pour décrire le niveau d’autonomie des systèmes de pilotage automatique comme le FSD de Tesla. Dans le cas d’OpenAI, les différents paliers vont des agents conversationnels capables de discuter de façon convaincante (niveau 1) aux plateformes d’intelligence artificielle très avancées qui pourront contribuer à la société au même niveau qu’une grande organisation composée de nombreux spécialistes humains (niveau 5).

Les responsables de l’entreprise considèrent que GPT, le grand modèle de langage sur lequel s’appuie ChatGPT, est actuellement au premier niveau, sobrement appelé « Chatbots ». Mais selon les sources de Bloomberg, ils sont convaincus d’être à deux doigts d’atteindre le deuxième niveau, appelé « Reasoners ». Cela correspond à un système capable de « résoudre des problèmes relativement basiques au même niveau qu’un PhD [l’équivalent américain d’un doctorat, ndlr] qui n’aurait accès à aucun outil ».

Les LLM sont-ils vraiment capables de raisonner ?

Cette revendication risque fort de laisser certains observateurs perplexes. Pour rappel, les grands modèles de langage (LLM) comme GPT sont avant tout des systèmes prédictifs qui assemblent des séquences de mots cohérentes en s’inspirant de la structure des textes qui ont servi à l’entraîner. Or, plusieurs spécialistes du machine learning ont déjà exprimé leur scepticisme par rapport à cette approche. Selon ces détracteurs, les systèmes prédictifs de ce genre sont très doués pour imiter un raisonnement construit, mais cela ne signifie pas forcément qu’ils comprennent réellement la logique sous-jacente et les implications dans le monde réel.

Et la situation ne s’arrange pas lorsqu’on avance sur cette échelle. Par exemple, le niveau 4 correspond à des systèmes « capables de participer au processus d’invention ». Or, on peut légitimement douter du fait qu’un système qui est par définition conçu pour synthétiser et reformuler du contenu existant pourrait produire des idées originales et novatrices. Certes, même l’imagination humaine a ses limites, et en un sens, toutes les innovations de notre espèce ne sont que des dérivations de concepts déjà existants. Mais la différence, c’est que les humains disposent d’une expérience concrète du monde réel, contrairement aux modèles IA pour qui il ne s’agit que d’une conception abstraite. Et pour l’instant, il n’y a aucun exemple qui montre qu’un LLM sera un jour capable de produire des idées fraîches et pertinentes sans ces précieux éléments de contexte.

OpenAI ne partage évidemment pas ce point de vue. Elle reste convaincue que ce sont bien ces LLM qui lui permettront un jour d’atteindre le stade de l’intelligence artificielle générale, ou AGI — le but revendiqué de l’entreprise depuis ses débuts. Et apparemment, des progrès récents confortent cette interprétation. Toujours selon les sources de Bloomberg, l’écurie de Sam Altman a récemment présenté un projet de recherche interne où GPT-4 a montré de « nouvelles compétences » qui témoignent de « facultés de raisonnement comparables à celles des humains », sans préciser de quoi il s’agit.

Une terminologie floue aux implications profondes

Il sera intéressant donc de voir si GPT-5, le prochain LLM d’OpenAI, atteindra ce fameux deuxième niveau… et comment l’entreprise fera pour le déterminer. Car en l’état, cette échelle reste extrêmement vague — et ce n’est probablement pas un hasard.

Pour rappel, à ses débuts, OpenAI était une entreprise à but non lucratif quasiment philanthropique ; elle s’est lancée à la poursuite de l’IA générale dans le but d’en faire bénéficier toute l’humanité. Depuis, la situation a bien évolué avec l’apparition d’une nouvelle entité à but lucratif qui a conclu de nombreux partenariats avec des géants de l’industrie comme Microsoft. Techniquement, le versant à but non lucratif est censé gouverner la partie commerciale. Mais plus nous nous approchons d’une véritable AGI, plus les missions de ces deux entités risquent de devenir incompatibles.

En effet, The Verge rappelle que la charte du versant à but non lucratif comporte un engagement aux conséquences potentiellement énormes : si une autre entreprise réussit à développer une AGI « sûre et alignée avec les valeurs humaines » avant OpenAI, l’entreprise de Sam Altman s’engage à ne pas marcher sur ses platebandes et à faire tout ce qui est en son pouvoir pour l’aider dans sa mission. Sur le papier, l’initiative est louable — mais elle pourrait se heurter à la réalité impitoyable d’un marché dans lequel l’entreprise a déjà plongé tête la première, notamment en signant un contrat à plus de dix milliards de dollars avec Microsoft.

Et c’est là que ces formulations floues pourraient devenir importantes : elles pourraient servir de siège éjectable. En substance, OpenAI se réserve le droit de renoncer à cet engagement sur la base de critères arbitraires et ouverts à l’interprétation. Les plus cyniques pourraient même y voir un levier que Microsoft pourrait utiliser pour faire pression sur son poulain, afin de l’empêcher de servir les intérêts d’un concurrent. Le cas échéant, cela donnerait raison aux détracteurs de l’entreprise comme Elon Musk, qui n’a jamais caché son amertume vis-à-vis du changement de trajectoire de l’entreprise.

Il conviendra donc de suivre attentivement l’évolution de ces rapports de force qui auront sans doute un impact plus que significatif sur la grande quête de l’intelligence artificielle générale.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.