Passer au contenu

Cette IA transforme des photos floues en impressionnants portraits HD

Une équipe de chercheurs de l’université de Duke relayée par TNW a mis au point un système basé sur l’IA permettant de reconstituer des portraits réalistes en très haute définition à partir d’images en basse définition. Impressionnant, mais les applications potentielles demeurent encore… floues.

© Menon et al., Duke University

Réaliser un cliché flou, cela arrive à tout le monde. Le meilleur appareil photo avec l’autofocus le plus performant n’y changera rien et parfois, il faut tout simplement recommencer sa photo. Du moins pour l’instant, parce qu’à en juger par les résultats produits par l’IA d’une équipe de chercheurs de l’université de Duke, cela pourrait changer ! L’équipe de Sachit Melon a en effet mis au point une intelligence artificielle capable de générer un portrait en haute résolution à partir d’une image extrêmement pixelisée ! Cette technologie baptisée PULSE (Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models) a été développée comme un outil de retouche. Elle semble bien fonctionner puisque d’après les auteurs de l’étude, elle permet de “générer des images réalistes de haute résolution, à une résolution encore jamais vue” à partir d’une vulgaire soupe de pixels. Les chiffres annoncés sont en tout cas impressionnants : leur système pourrait multiplier la résolution d’une image par 64 !

L’outil, disponible sur une page dédiée du site de l’université de Duke, permet en théorie de faire le test soi-même : il vous suffit de vous rendre sur le Google Colab de l’équipe. Sur certains navigateurs, le champ permettant de mettre sa photo en ligne n’apparaît pas par défaut, et il vous faudra d’abord lancer le programme une première fois dans le vide pour le faire apparaître. Malheureusement, l’hébergement d’images fonctionne grâce à Google Drive qui présente une limite de trafic quotidienne. Celle-ci ayant déjà été atteinte aujourd’hui, nous n’avons donc pas pu tester nous-mêmes pour l’instant. Mais les résultats sont impressionnants, à en juger par les résultats publiés par l’université.

Les auteurs Sachit Menon, Alex Damian, McCourt Hu, Nikhil Ravi et Cynthia Rudin se sont prêtés au jeu. En haut, la photo originale. Au milieu, une version pixelisée. En bas, la version reconstruite à partir de la version pixelisée. © Menon et al., Duke University

Certes, les photos produites ne ressemblent pas parfaitement aux originales : aucun programme ne pourra jamais reconstruire une image intégralement et parfaitement à partir de données incomplètes, et ces images s’apparentent donc à des devinettes. La texture des cheveux ou la forme du nez sont par exemple assez variables. Mais les visages produits sont en tout cas impressionnant de réalisme et de cohérence !

Pour réaliser ce tour de force, l’équipe s’est basée sur  un système déjà bien connu, les Generative Adversarial Networks (ou GANs). Schématiquement, il s’agit d’un couple de deux intelligences artificielles déjà entraînées au préalable : un générateur, et un adversaire. La première va, comme son nom l’indique, générer un grand nombre de portraits. La seconde, elle, va servir de sparring partner en essayant de deviner si le portrait produit est une vraie photo ou non. À chaque échec, le générateur va tenter de faire mieux jusqu’à ce qu’il puisse tromper son adversaire. Une fois que cela arrive, nous obtenons un portrait candidat. Cette même technologie a déjà été utilisée dans de nombreuses études ayant trait à l’intelligence artificielle et à l’art. On peut citer GauGAN, dont nous vous parlions l’an dernier, ce projet du MIT nettement moins convaincant, ou même GameGAN, l’IA génératrice de jeux vidéo estampillée NVIDIA.

Un intérêt seulement artistique pour l’instant

À l’heure actuelle, les applications d’un tel système restent cantonnées à l’artistique. On peut aisément imaginer qu’à terme, un système de ce type se retrouve dans certains logiciels de travail de l’image comme Lightroom ou Photoshop. Combinée avec des masques, cette technologie permettrait d’effectuer des retouches importantes en deux temps, trois mouvements. Avec une limite importante cependant : la reconstruction de l’image sera tributaire de la banque de données présente chez l’adversaire. Plus ce dernier aura d’images en stock, plus il sera capable de produire des portraits variés et “organiques”. À l’inverse, avec trop peu d’images, le résultat pourrait systématiquement avoir un air de déjà-vu. Cela a quelques implications : par exemple, un photographe qui souhaiterait retoucher la photo d’un client devrait certainement fournir à l’IA de nombreuses autres photos de ce même client s’il souhaite obtenir les résultats escomptés.

Mais en théorie, les applications ne seraient pas limitées aux portraits. Le système du GAN est plus ou moins universel, tant que l’on dispose d’assez d’images et de temps pour l’entraîner convenablement. On peut donc parfaitement imaginer l’employer dans certains cas où la résolution est un gros, gros facteur limitant. C’est notamment le cas pour des objets de très petite taille ou à très grande distance. Par exemple, en astronomie, il n’est pas rare d’obtenir pour seule image d’un corps céleste un simple amas d’une vingtaine de pixels à peine discernables ! Le même phénomène existe dans le sens inverse, par exemple lorsque l’on cherche à observer l’infiniment petit.

Ultima Thule, un petit objet de 30km situé à 1,9 millions de km… Pas évident à prendre en photo. © Johns Hopkins University Applied Physics Laboratory

Sur le papier, ces techniques d’upsampling pourraient donc être utiles dans de nombreux champs de recherche. Mais il vaut mieux modérer ses attentes, à cause des limitations inhérentes à la nature des GANs. En effet, cette technique est difficilement applicable aux disciplines exploratoires, comme l’astronomie par exemple, car cela implique d’avoir déjà des images d’un objet très semblables, et d’autres très différentes pour que l’adversaire puisse faire son travail de comparaison. En définitive, l’intérêt de telles méthodes telles qu’elles existent aujourd’hui reste limité en sciences car il ne s’agit que d’extrapolations. En somme, il n’est pas possible de créer des données précises à partir de rien et ces GANs jouent donc aux devinettes. Même s’ils y jouent largement mieux que n’importe quel humain, c’est bien souvent trop peu pour servir de preuve rigoureuse. Reste à voir sous quelle forme ces technologies pourraient être utilisées dans le quotidien du grand public et des scientifiques.

[amazon box=”B00EV554V0″]

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.

23 commentaires
  1. Et…. encore une fois le terme IA a perdu toute valeur en l’attribuant à un vulgaire logiciel de retouche d’image comme il en existe tellement depuis si longtemps…. Double IA ? ouahhhhh encore un 3e IA et on est dans minority report ! … ou pas. Ou est passé le temps béni où le terme IA désignait un graal tellement inatteignable, que spielberg en a imaginé un film portant ce nom pour savoir ce que ca ferait si on arrivait a atteindre le but ultime…. et on a réussi apparemment, sauf que c’était pas un enfant robot mais une vulgaire appli en ligne classique.

  2. mmmm tous les sujet sont assez jeunes. je ne suis pas sur que l’algorithme aie assez d’info pour déterminer l’age

  3. Totalement d’accord, d’ailleurs on appelle désormais “IA forte” cette singulatrité inatteignable pour la différencier des simples algos de machine learning… Jusqu’à ce que le marketing reprenne ce terme il nous faudra alors bientôt l’appeler “IA capable d’éprouver des sentiments et d’enrichir par elle-même ces connaissances” pour que le commun des mortels arrête de tout confondre…

  4. C’est fou de voir qu’ils se plantent dans tous les articles alors qu’ils se disent un site “geek” axé nouvelles technologies

  5. en partie d’accord mais… il faut arrêter de faire comme si le terme d’ IA désignait encore ce qu’il désignait dans la SF d’il y a 30 ans… c’est sûr que c’est un raccourci grand public discutable mais de là à jouer les vierges effarouchées dès que le mot IA apparait quelques part, bon… votre histoire de “temps béni avec le graal inatteignable” c’est vraiment préhistorique comme conception de l’IA… l’intelligence artificielle m’assiste dans mon travail tous les jours… peut-être que ça mériterait un article une fois pour bien expliquer la différence entre la “vraie IA” et cette ia forte mais l’amalgame me choque pas dans ce genre de cas, le “commun des mortrels” comme vous dite es pas ****** et commence à comprendre a quoi ça fait référence quand on parl d’ai comme ça…

  6. La méthode utilisée dans ce cas est un réseau de neurones artificiels. Les réseaux de neurones sont bien une catégorie de l’IA.

  7. Vous en connaissez beaucoup des “vulgaires logiciels de retouche ” (c’est pas du tout un logiciel cela dit en passant vous qui semblez pointilleux ) qui peuvent multiplier la résolution par 64? J’ai du en rater des choses alors !

  8. Alors pour information ce que vous avez ratez: c’est absolument et intégralement un logiciel, simplement il intègre un algo de machine learning basé sur un réseau de neuronnes. Et après des milliers voirs millions de cycles d’entrainement à l’aide de données existante il sera capable de traiter de nouvelles données. Donc effectivement rien avoir avec une Intelligence Artificielle (au sens propre du terme), en se sens il se rapproche beaucoup plus du “vulgaire” logiciel de retouche que d’une intelligence réel – même si ce n’est pas simple dans sa conception –

  9. Oui mais au sens propre du terme (et comme il a été décrit au début) une IA est une intelligence artificielle forte, capable d’apprendre et d’éprouver des émotions (même plus que cela).

    Ce que @NinjaP.B. soulève c’est le fait que le mot “IA” est galevaudé. Ce n’est donc pas le bon débat déso

  10. Bah pour moi le problème est là: le “commun des mortrels” ne comprend pas la différence justement.

    Si c’était effectivement le cas je suis tout à fait d’accord que l’emploi de ce terme ne poserait pas de problème, ce n’est malheureusement pas encore le cas.

  11. Enfin une appli qui fait comme dans les films d’espionnage, quand ils zooment à donf sur une photo floue !

  12. Bon, remettons les choses à leurs places : Cette application NE PEUT PAS retrouver les images originelles. Aucune IA, aucune application et aucun dispositif ne pourra jamais réellement upscaler des photos fortement pixelisées. C’est physiquement impossible. Tout ce qu’elle fait c’est essayer d’IMAGINER une version cohérente à partir d’une base de plus ou moins bonne qualité Plus la base sera de bonne qualité, et plus l’imagine “imaginée” se rapprochera de l’originale, normal, mais ça restera une image crée de toute pièce à partir d’une banque de données et PAS DU TOUT UNE RECONSTITUTION de l’image d’origine.

  13. pardon mais j’ai failli recracher mon mon café… vous auriez une source pour votre sens propre du terme ou c’est juste une définition qui vous semble convenir ? Une IA nest pas ” une intelligence artificielle forte, capable d’apprendre et d’éprouver des émotions et même plus”, c’est.. , **juste** une intelligence artificielle, comme son nom l’indique. Capable d’apprendre je veux bien mais ce que vous avez rajouté après ces deux termes, c’est le **fantasme** de la sci-fi du siècle dernier, avec une personalité simulée attendrissante qui gère un vaisseau spatial ou une base, comme un Siri surpuissant… alors oui, on peut entrainer une IA pour ça j’imagine, mais c’est une fonctionalité comme une autre. alors quand vous parlez de galvaudé vous ne croyez pas si bien dire, c’est carrément romancé ! l’IA, c’est faire faire à des machines des tâches qui, **normalement** (selon une vieille définition de l’algorithmique), aurait nécessité de l’intelligence humaine, certainement pas recopier le mental humain sur un pcb, rien a voir… il existe une définition technique de l’IA, complètement a part de cette IA qui parle et ressent des choses comme a hollywood !!

  14. ha, ca c’est bien. pour qui a du tenter d’identifier des voleurs sur une video surveillance de pauvre résolution, ca servira bien.. mais, attention, peut on considerer ca comme une preuve formelle.??
    l’ia applique un parametrage qui lui est propre, ca peut aider, mais ne pas faire confiance à 100%

  15. Je ne parierais pas trop sur ce que tu dis , ils ont déjà des trucs impressionnant mais comme je n’arrive plus à trouver l’article … ( qui datait de plus d’un an ) .

    Certains auront des surprises avec les nouvelles techno qui sont mises au point .
    Un exemple :
    Il y a moins de 5 ans naissait la technologie de la vision nocturne en couleur , le premier objectif capte la luminosité ambiante quand le second capture les séquences colorées. Les deux enregistrements sont ensuite regroupés et l’algorithme intégré permet d’obtenir un seul contenu en couleurs.
    Cette techno a déjà servi avant pour les militaires ( monoculaires ) .
    Maintenant on la trouve au prix abordable de moins de 200 € sur les caméra de surveillance de la marque EZVIZ modèle c3x.

    Sans compter les photos des satellites espions , la technologie de l’article est utilisée pour espionner les pays et elles sont très très précise .Bien plus que ce qui est dit officiellement .

  16. Faux, tous est possible avec le projet “Itarius”, même de voir l’impossible. Aller les geeks je vous laisse chercher le Graal mtn que je vous ai donné son nom 🙂

  17. le pourquoi faire???? il vont faire fortune, tu vas sur meetic ou tout autre site floué, t’as la photo en hd de celle / ceux qu’on visité ta page voir flashé…. bref, le top pour le celibataire en chasse

  18. Alors voici entre autres: https://iatranshumanisme.com/organisms-transhumanist/la-singularite/la-singularite-technologique-a-venir/

    Pour information, ce n’est pas parce que des filme de SF en ont parlé que ça n’arrivera jamais, bien au contraire on remarque que bien souvent la réalité dépasse la fiction.

    Je vous conseille d’aller lire les autres commentaires sur ce sujet, nous parlons exactement de personnes dans votre cas qui ne font pas la différence. Aller voir du côté de “OpenAI”, il y a beaucoup de chose intéressante qui se passe et oui: La singularité technologique est un but et non ce n’est pas que du cinéma.

    et du coup: “il existe une définition technique de l’IA, complètement a part de cette IA qui parle et ressent des choses comme a hollywood !!” -> Il s’agit de ce que l’on parle, de l’IA dite “Forte”

  19. Vu que ma réponse à l’air d’avoir disparue(probablement à cause du lien posté), je vous conseille d’aller lire un peu sur le sujet et principalement concernant la “singularité technologique”.

    Je ne suis absolument pas contre un débat mais venir me dire que j’ai tord sans aucun arguments à juste l’air d’être de la grosse ignorance, aller jeter un oeil du côté de OpenAI par example.

    N’oubliez pas que ce n’est pas parce que vous n’êtes pas capable d’imaginer ceci que ce n’est pas possible et que personne n’y travail. De même que ce n’est pas car une technologie apparaît dans un film de SF qu’elle est une utopie inateignable. LA réalité dépasse bien souvent la fiction.

    Et pour terminer: “l’IA, c’est faire faire à des machines des tâches qui, **normalement** (selon une vieille définition de l’algorithmique), aurait nécessité de l’intelligence humaine” -> NON, ça c’est la définition d’un algorithme, on retranscrit une partie de notre savoir dans un algo qui va le répéter de manière rapide et sans erreures, rien à voir avec une intelligence artificielle.

  20. Des arguments il y en avait quelques uns de valables passer sur ce fil, et open ai que vous citez est précisément un argument en faveur du message au dessus du votre 🙂

    part contre je n’ai lu personne dans les commentaires qui disait que personne n’y travaille ou que ce n’était pas atteignable, si j’ai bien compris le post au dessus il dit simplement que l’idee comme quoi une ia est forcément une personalité humaine recopiée informatiquement est héritée du cinoche 🙂

    juste quelque chose qui m’échappe, soit vous faites un sacré méli mélo soit j’ai mal compris votre propos et le terme “savoir” n’était là que par manque du terme précis, auquel cas je m’en excuse; soit sinon : un algo c’est uniquemt une série d’instructions sans lien avec du “savoir”, dire qu’un algo n’a rien à voir avec une ia alors qu’elles sont littéralement construites sur la base d’algos il faut tout de même osé ! 🙂 (cf trente secondes sur google si jamais)

  21. Effectivement tu as mal compris le message… Relis moi et tu comprendras que ce que tu redis la même chose…

    Exemple: dire qu’un algo n’a rien à voir avec une ia alors qu’elles sont littéralement construites sur la base d’algos il faut tout de même osé -> c’est pareil que de dire qu’un pneu est une voiture, oui bien sûr que l’algo est la base d’une IA(la base de tous logiciel informatique). Donc pour toi un pneu est une voiture? Ou alors une voiture est construite en partie avec un pneu mais en tout cas pas uniquement avec un pneu?

    Et vous avez faux pour OpenAI (cf trente secondes sur DuckDuckgo si jamais)

  22. La n’est pas le sujet. Comme a dit feqpasser, le sujet c’est la définition technique de l’acronyme français IA. C’est une définition, il y a pas a discuter la dessus. La technologie utilisé est un réseau de neurone, qui est un algorithme appartenant a la catégorie des algo d’apprentissage automatique, qui lui même est une catégorie des IA.
    L’article ne fait donc pas une mauvaise utilisation de ce terme.

    Ensuite la “singularité technologique” concerne le jour ou une IA sera capable de crée un algo plus puissant elle même et ainsi de suite. Ce qui sera surement l’une des grosse révolution numérique de notre espèce.
    Le fait qu’une IA est un comportement proche de l’humain, c’est le test de Turing qui est mis en oeuvre.

Les commentaires sont fermés.

Mode