Cette version de GTA V est produite uniquement par une IA

NVIDIA et l’IA, c’est une longue histoire d’amour. La firme produit régulièrement de nouveaux systèmes, souvent basés sur des réseaux adverses génératifs (ou GAN), et souvent assez impressionnants. Récemment, elle nous a par exemple donné des nouvelles de Canvas, son système de “peinture de paysage”’.

Mais avec GameGAN, l’écurie verte place la barre encore plus haut : ce système complètement fou a pour objectif d’imiter visuellement un jeu en enregistrant seulement l’image et les contrôles. Rien d’autre. Aucune règle, aucun objectif, rien ! A première vue, ce système ne paye pas de mine.. sauf qu’il est capable de reproduire des jeux comme Doom, ou encore PacMan, avec une fidélité bluffante. Jugez-en par vous-même : à gauche, l’original, et à droite, la version générée par l’IA.

Le résultat est quasiment identique, et pas seulement visuellement : la version GAN se joue de façon parfaitement identique.  extrêmement convaincant, et forcément, certains se sont vite demandés jusqu’où le concept pouvait être poussé.  Vous connaissiez Grand Theft Auto, voici désormais… GAN Theft Auto. Vous l’aurez compris ; un apprenti sorcier de l’IA (le YouTubeur sentdex) a décidé de griller toutes les étapes pour passer de Pac-Man à GTA V. Après ce qu’on imagine être de très longues heures d’entraînement sur une machine spécialisée (un PC avec 4 GPUS NVIDIA A100 et un processeur AMD Epyc à 64 coeurs), il est parvenu à un résultat à couper le souffle.

“Watch and learn“

Ceux qui ont déjà joué au titre mythique de Rockstar reconnaîtront immédiatement le jeu, malgré les artefacts encore très nombreux. Ce que vous avez sous les yeux n’est pas un exécutable recompilé par une IA. Il s’ agit bien l’output direct du GAN : sentdex joue entièrement dans une représentation visuelle du réseau neuronal. D’habitude, on met en place une IA dans un environnement; ici, c’est l’IA qui EST l’environnement !

Cela peut sembler anecdotique, mais c’est bien l’aspect le plus incroyable de GameGAN. Avec ce système, il n’y a pas de moteur de jeu, pas de code pré-écrit par un humain qui gère la physique ou les interactions. Il n’y a que des images, et les commandes du joueur. Cela signifie que dans l’example de GTA, GameGAN a extrapolé tout ce que vous voyez a l’écran. Le système a “réinventé” les effets de lumière, les ombres, la physique du véhicule. Il est même capable de différencier les éléments statiques du décor et les objets dynamiques. Et l’idée ne s’arrête pas là. Si vous fournissez assez de séquences de gameplay à l’IA, elle serait capable de reconstruire l’intégralité de ce jeu pourtant complexe.

Cela implique les armes, le trafic, les civils… Mais aussi des concepts plus abstraits comme les courses poursuites avec la police. Au cours de sa démonstration, sentdex a par exemple montré que son système a appris à gérer les collisions de sa voiture. Certes, nous sommes encore loin du vrai jeu; mais en définitive, ce n’est qu’une question de temps d’entrainement de l’IA, et pas de limite conceptuelle. Absolument dément puisque, on le rappelle, le GAN a créé tout ça rien qu’à partir des images, sans aucun moteur physique.

C’est quoi, un GAN ?

Pour accomplir cet exploit qui, à une autre époque, aurait fini en procès en sorcellerie, un GAN se base sur deux composantes. La première est un générateur, que l’on va entrainer avec le gameplay original. Son rôle va être de produire les images que vous voyez. Il va ensuite soumettre sa proposition à une seconde partie, le discriminateur. Son rôle, c’est d’essayer de discerner le vrai du faux; il va donc comparer la proposition du générateur à la vraie séquence de gameplay. Si le discriminateur juge le résultat crédible (“vrai”), il considère qu’il est cohérent et valide cette étape du rendu. Ou, comme NVIDIA le résume, “le générateur essaye de tromper le discriminateur, qui essaye de ne pas tomber dans le panneau”.

L’IA appliquée au jeu vidéo est définitivement un champ en pleine effervescence. Il ne fait nulle doute que ce système est encore amené à progresser; et quand on constate que GameGAN est passé de Pac-Man à GTA V en à peine un an, les fantasmes les plus fous sont autorisés pour les années à venir. À quand le premier titre AAA généré entièrement par une IA ?

Et tout devient encore plus incroyable quand on imagine appliquer un tel système à la vie réelle. Par exemple, ce système pourrait-il révolutionner les techniques de simulation ? Serait-il même possible de modéliser des phénomènes du monde réel grâce à ce système ? L’avenir nous le dira. Mais si cela arrive un jour, un seul article ne suffira pas à en discuter !

Pour ceux qui souhaiteraient se frotter à GAN Theft Auto et qui disposent des compétences techniques, le matériel nécessaire est disponible sur GitHub.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.