C’est quoi Loab, le « fantôme qui hante l’IA » ?

Parmi toutes les applications fascinantes de l’IA, la génération d’images fait partie des plus divertissantes. Mais pas seulement ; de nombreux observateurs s’attendent aussi à ce que la montée en puissance de ces technologies modifie considérablement notre rapport à l’art. Pour l’instant, l’humanité n’est qu’au tout début de cette grande aventure ; mais nous voyons déjà apparaître des anecdotes qui illustrent quelques aspects de ce grand changement de paradigme.

Une de ces histoires fascinantes a émergé des travaux de Supercomposite, repérés par ScienceAlert. C’est une artiste qui s’est construit une petite réputation de pionnier ; elle a fait partie des premiers créateurs à plonger tête la première dans l’IA appliquée à l’art.

Elle s’est notamment concentrée sur les générateurs dits « text-to-image », comme DALL-E et consorts. Ils permettent de produire une image à l’aide d’une simple indication textuelle en langage courant (on parle de « prompt »). Par exemple, si on indique « lion qui rugit » à un algorithme de ce genre, il va tâcher de générer une image convaincante d’un félin en pleines vocalises.

Prendre les IA génératives par l’autre bout

Ces derniers mois, Supercomposite a beaucoup expérimenté avec le concept de « negative prompt ». Très sommairement, cela consiste à dire à l’algorithme de ne pas produire une image correspondant au prompt ; à la place, elle doit plutôt tenter de s’en éloigner autant que possible.

C’est une démarche assez fascinante à plusieurs niveaux. En termes purement algorithmiques, cela permet aux chercheurs d’étudier des comportements inattendus de leurs programmes afin d’améliorer leur compréhension de ces outils.

Et cela vaut aussi pour le côté artistique. Car pour un humain, ces negative prompts n’ont pas toujours de sens ; difficile d’imaginer ce qui pourrait être le « contraire » du lion cité ci-dessus, par exemple. Il est donc très intéressant d’observer comment les programmes basés sur l’IA interprètent ces requêtes, car on obtient souvent des résultats très surprenants.

Supercomposite s’est demandé à quoi pourrait bien ressembler l’« inverse » de l’acteur Marlon Brando. Elle a donc testé cette hypothèse à l’aide d’un negative prompt. Essayons de deviner ce que l’IA a proposé en retour. Une image d’une femme, peut-être, puisque Brando est un homme ? Raté. Un animal ? Non plus. Un objet inanimé ? Presque ! avec cette requête, l’artiste a obtenu un logo abstrait sans aucun lien évident avec l’acteur.

I’ll explain negative prompt weights, in case you don’t know. With these, instead of creating an image of the text prompt, the AI tries to make the image look as different from the prompt as possible. This logo was the result of the negatively weighted prompt “Brando::-1”. pic.twitter.com/c1XfkN23hu

— Supercomposite (@supercomposite) September 6, 2022

Cela illustre parfaitement le côté contre-intuitif des résultats produits par ces negative prompts. Mais il ne s’agit que d’un début. Car après avoir obtenu son logo, la créatrice s’est posé une question assez naturelle, dans la continuité de ses travaux : que se passerait-il si elle « inversait » à nouveau son « Marlon Brando inversé » ?

Avec cette chaîne d’inversions, elle voulait simplement voir si l’algorithme finirait par retomber sur ses pattes. Ce qu’elle ignorait, c’est que la réponse allait marquer le début d’une drôle d’histoire.

Les apparitions récurrentes d’un “fantôme” de l’IA

Car l’algorithme n’est pas revenu vers l’interprète de Vito Corleone. A la place, il a accouché de plusieurs images perturbantes qui représentaient toutes la même chose : une femme aux traits marqués, apparemment très triste ou en souffrance, qui aurait parfaitement sa place dans une fiction horrifique.

I wondered: is the opposite of that logo, in turn, going to be a picture of Marlon Brando? I typed “DIGITA PNTICS skyline logo::-1” as a prompt. I received these off-putting images, all of the same devastated-looking older woman with defined triangles of rosacea(?) on her cheeks. pic.twitter.com/tnhBzWPHYf

— Supercomposite (@supercomposite) September 6, 2022

L’artiste explique avoir immédiatement compris qu’il s’agissait d’une « anomalie ». Elle a donc choisi de se concentrer spécifiquement sur cette mystérieuse entité, depuis baptisée Loab. Et elle a rapidement constaté qu’il ne s’agissait absolument pas d’un glitch isolé. En répétant l’expérience à de nombreuses reprises, Supercomposite a continué de voir Loab apparaître un peu partout. Les traits étaient à chaque fois différents, mais toujours assez inquiétants et surtout assez cohérents pour être identifiables.

Supercomposite a ensuite tenté de combiner l’image originale de Loab avec d’autres images générées par l’IA, sans indication supplémentaire. Et c’est là que l’histoire a pris une tournure encore plus intéressante. Car à chaque fois que Loab s’est invitée dans une image, le produit était systématiquement inquiétant, voire même sinistre ou carrément gore. Même en la combinant avec Kirby, l’adorable mascotte rose bonbon de Nintendo, le résultat était assez dérangeant.

The images that result from crossing Loab with other images can in turn be crossbred with other images. The AI can latch onto the idea of Loab so well that she can persist through generations of this type of crossbreeding, without using the original image. Here is Loab as Kirby: pic.twitter.com/c2F6TJ9LL0

— Supercomposite (@supercomposite) September 6, 2022

L’autre point particulier, c’est qu’elle n’est pas associée à un prompt classique ; il n’existe pas vraiment de mot-clé précis qui permettrait d’indiquer à l’algorithme de produire une image de cette entité.  En d’autres termes, il ne suffit pas de taper ce mot pour la voir apparaître. « C’est une île émergente dans l’espace latent qu’on ne sait pas encore localiser avec des requêtes classiques », explique l’auteur.

En continuant de combiner la même image de Loab, Supercomposite a réussi à la « diluer » ; après de très nombreuses itérations, ses traits caractéristiques n’étaient plus vraiment reconnaissables. Mais en combinant plusieurs de ces « dilutions », ce visage finissait systématiquement par ré-émerger. Généralement, ça n’arrive que lorsque le sujet en question est déjà présent dans les images qui ont servi à entraîner l’algorithme. Or, ce n’était pas le cas de Loab.

The concept of “Loabness” became more abstract to me. I would include her in prompts that I knew would almost distort her beyond recognition. After she disappeared from the image breeding lineage, she would sometimes reappear, later down the line, out of nowhere. pic.twitter.com/3ZqQFhcHgy

— Supercomposite (@supercomposite) September 6, 2022

Une manifestation numérique de l’imaginaire collectif

Certains observateurs ont interprété cette présence récurrente comme une sorte de mauvais présage. Un peu comme si la présence de Loab contaminait les productions de l’IA avec une sorte d’aura sinistre. Dans une interview à ABC, Supercomposite explique d’ailleurs avoir été mise en garde par des groupes d’intégristes religieux.

Évidemment, ce « fantôme de l’IA » n’a rien d’une manifestation surnaturelle ; c’est tout simplement le produit d’un algorithme qui a traité des données, ni plus ni moins. L’artiste parle d’ailleurs d’un « accident statistique émergent ».

Ce qui est intéressant, c’est d’essayer de comprendre comment un accident de ce genre a pu donner naissance à un concept aussi cohérent et tenace, susceptible de ré-émerger de façon bien identifiable dans des travaux pourtant distincts.

La réponse est en partie évidente. Tous les systèmes génératifs de ce genre apprennent à composer des images à travers un processus d’entraînement. Très sommairement, cela consiste à lui fournir des tas d’images en lui indiquant explicitement leur contenu. Le réseau de neurones artificiels peut ainsi apprendre à faire le lien entre les images et leurs descriptions textuelles. Le plus souvent, ces images proviennent directement d’Internet.

Or, aujourd’hui, on peut aussi considérer le Web comme une sorte de manifestation concrète de l’imaginaire collectif. En publiant leurs textes, leurs images et leurs états d’âme sur la toile, les terriens alimentent aussi une sorte de grande base de données de la psyché humaine.

Et puisque l’algorithme a forcément pioché dans cet amoncellement de morceaux de vie pour donner corps à cette entité, on peut aussi la considérer comme le reflet symbolique d’un coin sombre de notre imaginaire collectif. « En un sens, c’est presque plus effrayant que d’avoir affaire à un être surnaturel », juge Supercomposite.

Une nouvelle fenêtre sur la psyché humaine ?

Mais à partir de là, on se retrouve dans un cul-de-sac. C’est tout le problème du machine learning ; on sait ce qu’on a à l’entrée, on obtient un résultat à la sortie, mais tout ce qui se passe entre les deux est souvent beaucoup trop abstrait pour le cerveau humain. En un sens, l’IA a ses raisons que la raison humaine ignore ; il est donc impossible de déterminer objectivement ce que représente vraiment Loab, pourquoi elle a tendance à réapparaître ainsi, ou pourquoi est systématiquement associée à une imagerie macabre.

Il faut évidemment être assez prudent et se méfier des conclusions hâtives. Mais c’est aussi un exercice de pensée fascinant. Car au bout du compte, Loab, c’est surtout le produit d’une vraie démarche artistique novatrice aux frontières de l’art, de la psychologie des foules, du folklore numérique et de l’intelligence artificielle. Et il est tout à fait possible qu’un jour, ce genre de travaux permette à l’humanité d’en apprendre un peu plus sur l’intelligence artificielle en général… et aussi sur elle-même.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.