L’un des principaux enjeux des LLM (Large Language Models) comme GPT-4, c’est leur entraînement. Pour que ces algorithmes basés sur le machine learning puissent converser avec des humains, il faut commencer par leur faire ingurgiter une véritable montagne de données. C’est un processus chronophage, et surtout extrêmement coûteux puisque cela implique de faire tourner des ordinateurs surpuissants à plein régime pendant des durées prolongées.
Des chercheurs du Center for Research on Foundation Models (CRFM), à Stanford veulent désormais inverser cette tendance. Ils ont présenté Alpaca, un nouveau modèle assez proche de l’incontournable ChatGPT.
La différence, c’est que l’entraînement ne leur a coûté que 600 $ ! C’est un chiffre extrêmement impressionnant dans ce contexte. À titre de comparaison, OpenAI a consacré des millions de dollars à l’entraînement de son chatbot.
Un modèle pour les imiter tous
Pour y parvenir, les chercheurs se sont appuyés sur LLaMA 7 B. C’est un modèle de langage beaucoup plus petit que ses homologues basés sur GPT, c’est-à-dire qu’il propose nettement moins de paramètres.
Ce terme désigne des variables internes, pas explicitement définies par les développeurs, dont l’algorithme doit estimer la valeur à partir des données qui lui ont été servies lors de l’entraînement. En d’autres termes, c’est une métrique assez importante pour estimer la « puissance » d’un modèle IA.
Techniquement, Alpaca devrait donc être beaucoup moins performant que ChatGPT. Mais les chercheurs ont trouvé un tour de passe-passe pour réduire considérablement cet écart sans rentrer dans la course au nombre de paramètres. En substance, ils ont entraîné ce modèle plutôt modeste à imiter la référence de la discipline.
Pour y parvenir, ils ont commencé par écrire un ensemble de 175 requêtes textuelles (ou prompts) qu’ils ont proposé au chatbot d’OpenAI. À noter qu’il s’agissait encore de GPT-3.5. La version 4, nettement plus puissante grâce à l’intégration de la multimodalité, n’étant pas encore disponible quand ces travaux ont été menés.
Ils ont ensuite compilé les réponses à chacune de ces requêtes. Ils ont ainsi obtenu 175 couples requête/réponse qui ont servi de modèles pour la suite des événements. L’équipe a ensuite nourri l’algorithme une nouvelle fois avec ces paires, cette fois en lui demandant d’en générer des variantes dans le même format.
Cet ensemble de données a ensuite été utilisé pour réaliser un entraînement complémentaire de LLaMA, le petit modèle de Meta. Pour réaliser cette étape, les chercheurs ont simplement loué un serveur de traitement cloud. Grâce à une machine équipée de 8 cartes Nvidia A-100, ils ont pu réaliser ce post-entraînement en trois petites heures.
Une approche performante et économique
Cette approche peut sembler sinueuse et contre-intuitive. Mais elle a permis aux auteurs de l’étude d’obtenir un peu plus de 50 000 échantillons de conversations très rapidement. Et surtout, ils ont pu le faire pour un prix ultra-compétitif. La génération des données initiales à l’aide de GPT leur a coûté environ 500 $, axquels il faut encore rajouter 100 $ de frais de traitement cloud.
Il fallait encore tester le résultat. Ils ont donc comparé les performances de leur Alpaca à GPT lui-même. Les deux modèles ont été mis en concurrence sur un ensemble de 179 problèmes divers et variés. Le menu comportait des tâches comme l’écriture de mails ou de posts à destination des réseaux sociaux. Et contre toute attente, Alpaca s’est imposé d’une courte tête, avec 90 victoires contre 89 pour GPT.
« Nous sommes assez surpris du résultat connaissant la petite taille de notre modèle et la quantité d’instructions modeste », expliquent les chercheurs dans leur publication. « Nous avons aussi pu tester Alpaca de façon interactive, et nous avons découvert qu’il se comportait de façon similaire à GPT-3.5 sur un ensemble de requêtes diverses. »
N’importe qui peut désormais entraîner son modèle de langage
Certes, ce score n’est pas entièrement représentatif des performances globales des deux algorithmes. Dans l’absolu, GPT reste bien plus performant. Mais le fait qu’un modèle assez rudimentaire puisse tenir la dragée haute à un modèle exponentiellement plus puissant et cher à entraîner n’a rien d’anodin.
De plus, ce n’était qu’un coup d’essai très exploratoire. Les auteurs sont convaincus qu’ils auraient encore pu réduire massivement le coût, le temps et la puissance nécessaires à l’entraînement avec quelques efforts d’optimisation. Et certains de leurs collègues leur ont déjà donné raison.
En effet, l’équipe de Stanford a partagé ses 52 000 questions et le code associé sur la plateforme collaborative GitHub. Cela a permis aux autres spécialistes de la discipline d’expérimenter avec. Et une autre équipe repérée par NewAtlas a rapidement atteint un résultat comparable avec des moyens encore moins importants. Les auteurs ont réussi à compléter l’entraînement de leur propre version d’Alpaca en à peine cinq heures. Et ils y sont parvenus en utilisant seulement … un Raspberry Pi et une carte graphique RTX 4090 d’Nvidia.
I don't know what to make about this development. Alpaca is surprisingly very good. The claim here is the training can be done in 5 hours on a single RTX 4090. Have GPT-like models been democratized overnight?! https://t.co/ysfn5u6xwI
— Carlos E. Perez (@IntuitMachine) March 16, 2023
À première vue, on pourrait croire qu’il s’agit de travaux de niche. Mais les implications de cette approche basée sur l’imitation sont en fait très profondes. En substance, cela signifie que n’importe quelle personne qui dispose des compétences techniques peut désormais entraîner son propre modèle de langage personnalisé. Plus besoin d’avoir un budget conséquent, beaucoup de temps et du matériel de pointe. Les seuls vrais obstacles, désormais, ce sont les conditions d’utilisations définies par les développeurs des modèles originaux.
Un potentiel immense
C’est une perspective à la fois enthousiasmante et assez terrifiante. D’un côté, cela pourrait permettre à des tas de petits génies de développer des outils révolutionnaires sans dépendre d’une grosse multinationale.
Mais de l’autre, nous pourrions aussi voir apparaître une foule de programmes aux objectifs, disons… discutables. Par exemple, on imagine aisément qu’un pirate spécialisé dans le phishing pourrait augmenter considérablement sa force de frappe avec un générateur de texte taillé sur mesure. Et il ne s’agit que de la partie émergée d’un vaste iceberg.
Au-delà de l’aspect éthique, il n’est pas impossible que ces travaux conduisent à une transformation significative dans le monde de l’IA. Si cette technique se démocratise, peut-être qu’un jour, les Large Language Models comme GPT ne seront plus que des socles, des bases de travail à partir desquelles chacun pourra entraîner ses propres IA sur mesure. Il sera donc fascinant de suivre l’évolution de cette approche; elle pourrait se développer de plus en plus rapidement maintenant que GPT-4 est disponible.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
Pourquoi pas démocratiser l’apprentissage mais la base initiale des échantillons fournit à Alpaca provient de…. ? D’une autre IA entraîné à coup de millions de dollars.
Sans entraînement qui coûte des millions en apprentissage, et en se basant sur des couples réponses pré-mâchés par une autre IA, c’est sûr que cela coûte 15 000 fois moins chère. Pas sûr qu’Open AI accepte de fournir à l’avenir des échantillons à des tierces parties si c’est pour voir un autre concurrent lui voler la vedette.
A mon avis on ne tardera pas à voir les éditeurs de ChatGPT ou OpenAI modifier leurs conditions d’utilisation ou alors faire payé très chère leurs échantillons si la finalité avéré est l’entraînement d’une autre IA.
Tout l’intérêt du système est que l’on peux, à partir d’un modèle de language qui ne tournera pas sur un périphérique modeste, en synthétiser un beaucoup plus petit, qui lui, le pourra…
Un bel avenir pour les NPU/TPU !