La technologie développée par Nvidia pour Neuralangelo fonctionne en sélectionnant plusieurs images montrant le sujet sous différents angles dans une vidéo 2D, afin d’obtenir une image claire de sa profondeur, de sa taille et de sa forme. Il crée ensuite une représentation 3D approximative de l’objet avant de l’optimiser pour imiter les détails de son modèle, tout comme un sculpteur taille méticuleusement la pierre pour imiter la texture du tissu ou d’une figure humaine.
L’intelligence artificielle travaille comme un sculpteur
Nvidia précise que ce nouveau modèle a adopté la technologie de son prédécesseur, Instant NeRF, pour capturer avec précision les détails les plus fins de ce que l’utilisateur souhaite recréer en 3D. Il s’agit notamment de sa texture, de ses motifs et de ses variations de couleur. L’entreprise affirme que la capacité de Neuralangelo à capturer des textures complexes, comme la rugosité des tuiles de toiture et la douceur du marbre, « surpasse significativement les méthodes précédentes ». Le modèle IA serait même suffisamment performant pour créer des objets virtuels utilisables à partir de vidéos prises par des smartphones. Cela pourrait donner aux créateurs un moyen facile de générer des reconstitutions 3D pour leurs projets.
Ming-Yu Liu, co-directeur de la recherche sur Neuralangelo, a précise que l’outil permettra « d’importer des objets détaillés, qu’il s’agisse de petites statues ou de bâtiments massifs, dans des environnements virtuels pour des jeux vidéo ou des “jumeaux numériques” de zones industrielles ». Neuralangelo peut créer de vastes paysages à partir de vidéos de drones, facilitant ainsi la recréation de lieux réels dans les jeux vidéo, par exemple. Cela ouvre un large éventail d’applications potentielles, notamment dans la robotique, les expériences de réalité virtuelle, l’architecture et, bien sûr, l’art.
Lors d’une démonstration, les chercheurs de Nvidia ont montré comment le modèle pouvait recréer des objets aussi emblématiques que le David de Michel-Ange et aussi courants qu’un camion. L’intelligence artificielle peut également reconstruire les intérieurs et les extérieurs des bâtiments.
Neuralangelo sera un des 30 projets 3D qui seront présentés plus en détails lors de la Conference on Computer Vision and Pattern Recognition (CVPR) qui se tiendra à Vancouver mi-juin. L’entreprise dévoilera également DiffCollage, une méthode de diffusion qui créé du contenu grand format au format paysage ou des panoramas sur 360 degrés, à la manière d’un puzzle : le modèle prend des petites images qui sont assemblées pour former un visuel plus grand.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
