Machine learning : pourquoi l’IA doit absolument apprendre à oublier

Depuis que les outils basés sur le machine learning ont commencé à se démocratiser, de nombreux chercheurs, professionnels et internautes lambda bénéficient d’un accès inédit à une nouvelle gamme de technologies. Elles sont typiquement basées sur des réseaux de neurones artificiels qui tentent d’imiter la façon dont le cerveau humain interprète des informations pour réaliser des tâches diverses et variées, comme la vision par ordinateur ou la génération de contenu multimédia.

Mais les humains ont vite réalisé que ces outils sont souvent aussi fascinants qu’effrayants. Ce drôle de rapport à ce que l’on appelle couramment « l’intelligence artificielle » résulte en partie du mode de fonctionnement de ces systèmes.

L’auteur sait combien de nœuds (les « neurones ») comporte son système, il peut jouer sur l’importance des connexions qui les relient (les poids), ou introduire un certain nombre de biais pour influencer le résultat final qui est produit à partir d’une entrée spécifique. En revanche, tout ce qui se passe entre les deux est souvent beaucoup trop abstrait pour être compréhensible.

Les modèles IA, des labyrinthes conceptuels

En d’autres termes, on sait ce qu’on donne à manger à l’algorithme et on peut observer ce qu’il apprend ; mais lorsqu’il s’agit de savoir exactement comment ils arrivent à ces résultats, les humains sont généralement démunis. « Les réseaux de neurones sont des structures extrêmement complexes qui peuvent comprendre des milliards et des milliards de paramètres », explique Peter Triantafillou, chercheur à l’université de Warwick. « Souvent, nous n’avons pas de compréhension précise de la façon dont ils parviennent à leurs fins. »

C’est un problème pour plusieurs raisons, mais il y en a une en particulier qui devient de plus en plus importante à chaque jour qui passe : puisque nous ne sommes pas capables de naviguer à vue dans ce dédale algorithmique, il est excessivement difficile de corriger le tir une fois qu’un modèle IA a été entraîné pour lui faire oublier les éléments indésirables. Cette thématique, baptisée « machine unlearning », est en train de devenir un champ de recherche massif, car les enjeux sont considérables.

Pour des produits commerciaux distribués à grande échelle, comme l’Autopilot de Tesla ou ChatGPT, c’est un problème majeur. L’entraînement de ces modèles demande une quantité de calcul gigantesque, et par extension, beaucoup de temps, d’énergie et d’argent. Ils ne peuvent donc pas se permettre de repartir de zéro à chaque pépin.

L’avènement du machine unlearning

Pour les développeurs, l’idéal serait donc de supprimer sélectivement les données à l’origine de ces problèmes, à la fois pour des raisons éthiques et commerciales. Par exemple, ces dernières années, nous avons vu émerger des tas d’exemples montrant que des modèles de langage (LLM) comme ChatGPT peuvent souffrir d’importants biais de raisonnement dont OpenAI a beaucoup de mal à se débarrasser. À l’heure actuelle, il est extrêmement difficile de cibler spécifiquement ces éléments.

Mais il s’agit d’un exemple finalement assez superficiel ; le vrai problème est beaucoup plus profond. Pour l’illustrer, on peut notamment citer l’exemple du droit d’auteur dans le contexte de l’IA générative. Il existe aujourd’hui de nombreux systèmes capables de créer des images élaborées ou des pavés de textes entiers à partir d’une simple requête textuelle.

Tous ces systèmes ont forcément été entraînés à partir des productions d’humains en chair et en os. Si un artiste ou un auteur souhaite empêcher l’algorithme de s’inspirer de son travail, il se retrouve souvent démuni. Une fois ingurgité par le modèle, il est difficile de l’en extraire sans réentraîner entièrement le modèle. Or, les entreprises ne vont certainement pas prendre la peine de le faire pour contenter un utilisateur isolé, pour les raisons citées plus haut.

Un autre bon exemple est celui des données personnelles des utilisateurs. Nous commençons à voir émerger de plus en plus de systèmes IA qui traitent ce genre d’informations. Même si l’on part du principe que ce dernier a donné son consentement éclairé, en Europe, le GDPR impose ce qu’on appelle un droit à l’oubli. Lorsqu’un internaute fait valoir ce droit, l’entreprise est censée supprimer scrupuleusement toutes les données qui lui sont associées. Mais c’est très difficile d’y parvenir avec un gros modèle IA, où ces données sont souvent coincées dans un immense sac de nœuds algorithmique que l’on a toutes les peines du monde à démêler.

Des solutions encore limitées

Vous l’aurez compris : il devient urgent de trouver des stratégies pour permettre à un modèle IA de désapprendre certaines données, sans devoir le réentraîner à partir de zéro. Et pour l’instant, il n’existe pas encore de solution universelle à ce problème de plus en plus pesant. Mais on commence tout de même à voir émerger quelques initiatives intéressantes.

Par exemple, l’équipe de Peter Triantafillou a récemment publié un papier de recherche prometteur dans ce contexte. Les auteurs ont créé un nouvel algorithme baptisé SCRUB qui s’est montré capable de faire oublier certaines données bien spécifiques à un modèle IA.

D’après les évaluations des chercheurs, ce SCRUB représente une avancée considérable dans le domaine du « machine unlearning ». Il a réussi à faire oublier des données précises avec une efficacité bien plus importante que tous les autres systèmes analogues, sans pour autant affecter les performances des modèles ciblés.

Mais les chercheurs admettent en conclusion qu’il est encore loin d’être parfait. La principale limite, c’est qu’il n’est pas évident de proposer une définition formelle de ce « désaprentissage ». Cela implique qu’il est difficile de définir des critères précis qui permettent de tester le succès de ces opérations.

Les auteurs ont donc testé leur algorithme de façon surtout empirique, et ils ont ainsi pu passer à côté de certains éléments importants. Il faut donc espérer que ce champ de recherche continuera de progresser, et que ces innovations permettront bientôt de régler ce problème de fond de l’écosystème IA actuel.

« Avec la maturation du machine unlearning, nous espérons que ces critères seront bientôt formalisés et standardisés. Nous espérons aussi que des travaux futurs vont continuer de repousser les limites de cette méthode pour faire oublier des données à des modèles de plus en plus grands, avec des architectures et des objectifs différents », concluent les auteurs.

Le texte de l’étude est disponible ici.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.