Grâce à l’IA, la vision nocturne en couleur devient (presque) une réalité

Parmi toutes les technologies militaires qui ont été largement utilisées dans la fiction, on se doit forcément de citer la vision nocturne. Cet incontournable du kit de l’espion parfait s’est retrouvé dans des œuvres diverses et variées. Mais comme les inconditionnels de Splinter Cell ne le savent que trop bien, celles-ci ont longtemps souffert d’un gros défaut : l’utilisateur doit se contenter d’une image monochrome, traditionnellement verte.

Mais cette limite est en train de sauter grâce au deep learning, une sous-catégorie de l’intelligence artificielle. Dans un papier de recherche repéré par Interesting Engineering, des chercheurs de l’Université de California-Irvine ont présenté un algorithme capable de reconstruire une image tout en couleur d’une scène nocturne sur la base du rayonnement infrarouge.

Même si l’on a tendance à l’oublier puisqu’on les utilise en permanence, nos yeux sont de véritables merveilles technologiques. À toutes les échelles, c’est l’une des structures les plus complexes de notre corps; elle est composée de nombreuses sous-structures qui jouent toutes un rôle très précis dans la capture des informations visuelles.

Une histoire de spectre

Chaque onde lumineuse est définie par une longueur d’onde, qui détermine directement la couleur captée par notre œil. Au bout de son trajet dans l’œil, la lumière frappe une couche de cellules très particulières qui tapisse le fond de la cavité : la rétine. C’est là qu’a lieu un phénomène très important, la phototransduction.

Très sommairement, c’est cette phototransduction qui permet de convertir la longueur d’onde en signal électrique. Ce signal peut alors sortir par le nerf optique puis voyager jusqu’au cerveau; il est alors traduit une nouvelle fois pour déterminer la couleur de la lumière qui a frappé la rétine.

Le problème, c’est que notre œil a beau être extrêmement sophistiqué, il n’est pas infaillible pour autant. Il ne peut capter qu’une certaine gamme de longueurs d’onde, qui correspond donc au spectre de la lumière dite “visible”. Physiquement, cela concerne tous les rayonnements électromagnétiques dont la longueur d’onde est comprise entre 400 nanomètres (violet) et environ 700 nanomètres (rouge).

Colorier l’invisible

Dès qu’on s’aventure en dehors de ce domaine, ces rayonnements (on parle alors d’infrarouge et d’ultraviolet) deviennent invisibles pour l’œil humain. Mais cela ne signifie pas pour autant qu’ils disparaissent ! De nombreux instruments scientifiques et même les yeux de certains animaux, notamment du côté des insectes, sont même spécialisés dans la capture de ces rayonnements.

Tout l’enjeu est donc de convertir ces rayons invisibles en images visibles et compréhensibles par un humain. C’est quelque chose que les ingénieurs savent déjà très bien faire. Par exemple, c’est ce concept qui permet aux caméras thermiques de fonctionner. On commence par mesurer l’intensité du rayonnement infrarouge, intimement lié à la température. On attribue ensuite arbitrairement une fausse couleur à chaque valeur, traditionnellement le rouge pour les surfaces chaudes et le bleu pour les plus froides.

Cette approche est aussi applicable à la vision nocturne. Techniquement, on dispose donc déjà d’appareils de vision nocturne en couleur. Mais puisqu’il s’agit de fausses couleurs qui ne correspondent pas à la réalité, il peut être difficile de les interpréter en temps réel.

Un algorithme en guise de traducteur visuel

L’approche des chercheurs américains est différente. Ici, leur objectif était bel et bien de parvenir à une “vraie” vision nocturne en couleurs réelles. Ils sont partis des mêmes mesures de rayonnement infrarouge; mais au lieu de les traiter avec un algorithme de coloriage rudimentaire, ils les ont données à manger à un système basé sur le deep learning, une sous-catégorie de l’intelligence artificielle.

En compilant l’imagerie visible et infrarouge, ils sont parvenus à produire un algorithme capable de construire une image en couleurs réelles à partir d’un simple rayonnement IR. Et le résultat est assez bluffant, comme on le constate sur les images ci-dessus.

Le système est encore loin d’être parfait. À l’heure actuelle, la résolution demeure très limitée et la colorimétrie laisse encore à désirer. Mais c’est en tout cas une preuve de concept très impressionnante qui pourrait avoir des applications concrètes assez rapidement.

Les premières d’entre elles apparaîtront certainement dans le domaine militaire; on peut donc s’attendre à ce que ces systèmes ne soient pas accessibles au grand public avant plusieurs années au bas mot. Mais à terme, c’est typiquement le genre de technologie qui pourra un jour équiper le smartphone de l’utilisateur lambda.

Le texte de l’étude est disponible ici.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.