Les chercheurs de l’université de Carnegie Mellon aux États-Unis présentent régulièrement des projets fascinants, à l’intersection de sujets à la fois très sérieux et plutôt insolites. Ils l’ont prouvé une nouvelle fois avec FRIDA (un hommage à Frida Kahlo), un robot-peintre dopé à l’IA conçu pour collaborer avec un artiste humain.
Comme DALL-E et consorts, il peut exploiter une indication textuelle (un prompt) grâce un réseau de neurones artificiels. Cela lui permet de produire une image correspondant aux indications, avec des tas de possibilités. Selon ses concepteurs, on peut par exemple lui demander d’imiter le style d’un artiste précis.
Le premier point intéressant, c’est que le programme n’a pas nécessairement besoin d’un prompt textuel. Les développeurs expliquent qu’il peut aussi travailler à partir d’inputs divers et variés. Par exemple, il est possible de lui fournir des prompts visuels, c’est-à-dire une ou plusieurs images que FRIDA va réinterpréter à sa manière pour en extraire des éléments de style. Et cela fonctionne même avec des prompts audio. On peut par exemple lui indiquer de peindre son interprétation d’une chanson, ou d’utiliser une combinaison de ces différents éléments. Très impressionnant en termes techniques, mais pas franchement révolutionnaire pour autant.
La vraie différence avec les IA génératives traditionnelles, c’est que le programme sous-jacent ne se contente pas de recracher un ensemble de pixels. À la place, une deuxième partie du versant logiciel se charge de convertir le résultat en une série d’instructions qui sont transmises au bras robotique. Il peut ainsi peindre l’image demandée sur un canevas physique.
L’imperfection au service de la création
Cette particularité pourrait sembler anecdotique, mais il n’en est rien. Car en pratique, cela implique d’utiliser une approche radicalement différente par rapport aux IA génératives traditionnelles. Et c’est là que ces travaux deviennent fascinants.
Chez DALL-E et ses équivalents, l’algorithme peut simplement assigner des valeurs numériques à chaque pixel pour en définir la couleur. Le résultat visuel est donc parfaitement cohérent avec les données produites par l’algorithme. Mais le fait d’y intégrer un robot physique change la donne, car les mécanismes physiques de ce genre souffrent par définition d’un certain degré d’imprécision. Dans le cas de FRIDA, il existera donc toujours un écart entre les prédictions du programme et l’image produite.
C’est une limite que les ingénieurs essaient généralement de contourner pour des raisons évidentes. Ce manque de précision pourrait avoir des conséquences désastreuses dans le cas d’un robot industriel ou chirurgical, par exemple. Mais puisqu’il s’agit ici d’une démarche artistique, les chercheurs ont pu se permettre de prendre le problème par l’autre bout.
Au lieu d’essayer de rendre le robot aussi précis que possible, ils ont misé sur une approche itérative qui traite ces imprécisions comme des ressources, et non pas comme des obstacles.
En effet, FRIDA ne planifie pas tout le processus dès le départ pour suivre sa propre recette à la lettre. À la place, l’algorithme ré-évalue son œuvre au fil de l’eau.
« FRIDA commence par mettre quelques coups de pinceau, puis elle utilise une caméra pour observer le canevas et ré-évalue tous ces éléments sémantiques à partir de l’état actuel de l’œuvre » explique Jean Oh, chercheuse à la School of Computer Science de Carnegie Mellon. Même s’il s’agit d’un abus de langage, on peut donc considérer que le robot “improvise” au fil de ses erreurs plutôt que de suivre à la lettre une recette préétablie.
« Ce qu’il y a de vraiment cool avec FRIDA, c’est que son imprécision contribue directement à ses œuvres », estime Peter Shaldenbrand, doctorant à l’institut. « Si le robot fait de grosses erreurs dès le début, il peut dévier, travailler avec ses échecs, modifier ses attentes… et en un sens, c’est un peu comme ça que les humains peignent », résume-t-il.
Un partenariat entre la machine et l’humain
Cette façon de travailler est donc beaucoup plus proche de celle des artistes humains que des IA génératives standard. « Les humains ont une certaine idée de ce qu’ils veulent produire ou exprimer, mais très peu d’artistes ont une idée très concrète du résultat final », renchérit Jean Oh. « À la place, ils commencent plutôt avec des éléments sémantiques ».
Et à ce titre, FRIDA « fait quelque chose que la plupart des robots ne savent pas faire », renchérit son collègue Jim McCann. « Elle utilise le genre de modèle IA qui est utilisé dans les IA génératives d’aujourd’hui, mais elle propose des prédictions dans l’espace sémantique, c’est-à-dire en termes de sens, plutôt que de raisonner seulement en termes d’output pur. En d’autres termes, elle essaie plutôt de se rapprocher du sens que l’artiste veut donner à son oeuvre. »
Les chercheurs rappellent cependant que FRIDA n’est pas une artiste à proprement parler. « On comprend comment elle fonctionne ; c’est une jungle de tables, de nombres, eux-mêmes dérivés d’autres jeux de données — il n’y a pas de place pour la vraie expression artistique là-dedans », insiste McCann.
Mais on peut aussi exploiter son mode de fonctionnement très particulier. Tout l’enjeu, c’est de la mettre au service d’une véritable démarche artistique humaine. « D’un autre côté, un artiste distille certains éléments de son environnement, de ce que les gens disent et font, et transforme ça en une forme d’expression. Et ça, c’est précisément ce que fait FRIDA », sourit-il. Et c’est là qu’on voir émerger la véritable essence de ces travaux.
Vers une toute nouvelle conception de la créativité
Lorsque les outils de génération d’image sont arrivés, de nombreux observateurs estimaient qu’ils pourraient être mis au service de la créativité humaine. Mais pour l’instant, aussi impressionnants soient-ils, les algorithmes comme Midjourney se contentent encore de recracher froidement une réponse à un prompt bien précis.
Avec FRIDA, en revanche, on assiste à la naissance d’une autre conception du partenariat entre l’humain et la machine dans le cadre de l’art. « Le but, c’est vraiment de faire en sorte que la personne qui a piloté le système puisse ressentir une forme de paternité créative », explique Peter Shaldenbrand.
Et ce qui est véritablement fascinant, c’est qu’il ne s’agit que d’un début. En mêlant ainsi un système physique imparfait, un algorithme très élaboré et la sensibilité humaine, on commence à défricher une toute nouvelle démarche créative dont l’impact va largement dépasser le cadre de la peinture.
Dans un futur proche, les troupes de Carnegie Mellon veulent transposer leur concept à la sculpture. Il s’agira d’un intermédiaire parfait pour ouvrir la voie à des tas d’applications très concrètes dans le monde du design, de la fabrication industrielle, de l’ingénierie… et ainsi de suite. Au même titre que Loab, le “fantôme qui hante l’IA” (voir ci-dessous), FRIDA est une manifestation concrète d’un futur où le machine learning pourra véritablement aider l’humanité à se réinventer — et il nous tarde déjà de voir ce que l’avenir nous réserve à ce niveau !
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
