La photographie boostée à l’IA – souvent appelée computational photography chez nos amis anglo-saxons – n’est pas vraiment nouvelle. Depuis des années maintenant, les constructeurs de smartphones parviennent à tirer profit de la puissance des SoC mobiles afin de venir drastiquement améliorer le rendu des clichés capturés à l’aide de minuscules capteurs. Cependant, les capteurs doivent pour cela fonctionner de concert avec une puce mobile, et parfois disposer d’un accès au cloud afin d’y puiser certaines données, et ne s’avèrent en aucun cas autonomes dans leur traitement de l’image. Sony compte bien bousculer cette règle, et présente pour cela les tous premiers capteurs au monde dotés d’intelligence !
Avec les IMX500 et IMX501, Sony pourrait bien changer les règles de la photographie. Ne vous fiez pas à leurs noms « IMX », communs chez le constructeur, ni même au nombre de mégapixels qu’affichent ces capteurs, s’élevant à 12,3 mégapixels. La véritable nouveauté des IMX500 et IMX501, c’est bien la présence, au sein même du capteur, d’une puce capable d’analyser l’image en temps réel. Dans les faits, ces capteurs pourraient ainsi effectuer eux-mêmes les calculs divers visant à améliorer la qualité d’un cliché, sans besoin de recourir à une puce externe. « Cette intégration directement dans le capteur d’images permet non seulement l’accélération du processus d’IA en périphérie du réseau et l’extraction sélective des seules données nécessaires, mais aussi, lors de l’utilisation de services Cloud, la réduction de la latence des transmissions des données, le respect de la vie privée et une diminution de la consommation d’énergie et des coûts de communication » précise Sony dans son communiqué.
Les avantages à traiter les images en interne plutôt qu’en externe sont nombreux. Les signaux acquis par la puce de pixels sont d’abord traités par cet ISP (processeur de signal d’image) boosté à l’IA directement sur la puce logique. Les informations de l’image sont par la suite extraites sous forme de métadonnées bien plus légères qu’à l’accoutumée, permettant ainsi de recourir à moins de puissance, et donc, à économiser de l’énergie. Dans les faits, un smartphone – ou tout autre appareil connecté – équipé de l’un de ces capteurs pourrait utiliser un SoC très modeste, et parvenir à comprendre aussi bien son environnement qu’un appareil équipé de la dernière puce haut de gamme de Qualcomm. Aussi, puisque l’analyse de l’image ne requiert pas accès au cloud, la confidentialité s’avèrerait, en théorie, bien meilleure.
Toutefois, ces capteurs ne sont pas, pour l’instant, destinés au monde du smartphone, mais plutôt aux industriels et à la grande distribution. Utilisé dans ce contexte, cette puce pourrait comprendre d’elle même les éléments à l’image, et ainsi interpréter un code barre, comprendre qu’il s’agit d’un visage, ou encore détecter sur la personne porte un masque, par exemple. « Un magasin pourrait, en effet, n’utiliser qu’un seul type de caméra pour gérer différents lieux, circonstances, événements ou problématiques. À l’entrée de l’établissement, elle pourrait compter le nombre de visiteurs entrant dans l’établissement ; installée sur l’étagère d’un magasin, elle détecterait les ruptures de stock. Montée au plafond, elle réaliserait la cartographie thermique du magasin en détectant les zones d’affluence, et ainsi de suite » explique Sony.
[amazon box=”B00Q2KEUFI”]
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
