Cette caméra voit les vibrations et enregistre les instruments séparément, mais ces techniques ne sont pas adaptées à tous les cas de figure. Prenez l’exemple d’un enregistrement d’un groupe de musiciens ; même avec tous les outils logiciels les plus avancés au monde, il est encore impossible d’isoler la production de chaque membre sans perdre significativement en qualité ; pour pouvoir les mixer correctement, il est nécessaire de capturer plusieurs pistes distinctes.
Malheureusement, il s’agit d’une limite fondamentale puisqu’elle provient directement du mode de fonctionnement des microphones ; ces appareils peuvent capter chaque son avec une grande précision, mais sont bien incapables de déterminer l’origine de l’onde qui a fait vibrer leur membrane.
Pour y remédier, des chercheurs de la célèbre Université de Carnegie Mellon (CMU) ont changé d’approche : si les microphones ne marchent pas dans ce cas de figure, il suffit de ne pas utiliser de microphone du tout !
Un microphone optique d’un nouveau genre
À la place, ils se sont tournés vers un concept très intéressant : le micro optique. En substance, cela consiste à faire exactement la même chose que le micro, à savoir enregistrer des vibrations, mais avec une caméra.
L’idée n’est pas nouvelle et remonte à plusieurs décennies déjà. Mais en l’état, cette technique n’est pas des plus abordables. L’oreille humaine peut percevoir des sons jusqu’à environ 20 000 Hz, ou oscillations par seconde.
Autant dire que le bloc photo votre smartphone est bien loin d’avoir la vitesse et la définition nécessaire pour compter autant de mouvements. Pour cette raison, jusqu’à aujourd’hui, les scientifiques ont souvent choisi la « force brute » en utilisant des caméras haute vitesse extrêmement chères, mais capable de capter chaque vibration individuellement.
Selon le modèle, ces engins peuvent aller de quelques milliers d’euros et d’images par seconde à plus de 150 000 € pour 1 000 000 IPS pour la Phantom v2512. En revanche, les chercheurs de CMU y sont parvenus avec une caméra capable de délivrer… 63 images par seconde.
Une histoire de shutter
À première vue, cela ressemble à une faute de frappe ; il semble physiquement impossible de pouvoir enregistrer autant de vibrations dans ces conditions. Mais les spécialistes ont réussi à contourner cette limite avec un tour de passe-passe aussi ingénieux qu’élégant basé sur deux caméras distinctes. Et pour le comprendre, il faut s’intéresser à leur mode de fonctionnement.
Dans un appareil photo ou une caméra, la surface qui permet de capter la lumière (capteur ou pellicule) ne doit être exposée qu’au moment stratégique de la prise de l’image. Le reste du temps, elle est masquée par un obturateur, ou shutter en anglais.
La façon dont fonctionne cet obturateur dépend du type d’appareil. Certains sont équipés d’un shutter dit global, où tous les pixels sont exposés simultanément. En revanche, pour l’autre catégorie, la première rangée de pixels est exposée d’abord, puis la deuxième, et ainsi de suite jusqu’en bas de l’image ; on parle alors de rolling shutter.
Lorsqu’on photographie des objets en mouvement avec une caméra à rolling shutter, cela peut donner des résultats très étonnants, comme l’illustre très bien cette courte vidéo.
Mais si l’humain ne voit que des artefacts visuels dans ces images déformées, ce n’est pas le cas des ordinateurs. Les chercheurs ont donc eu l’idée d’associer deux capteurs distincts, un avec chaque type de shutter. Ils ont ensuite créé un algorithme capable de comparer les deux flux vidéo pour reconstituer les mouvements de la surface à partir des différences observées sur l’extrait en rolling shutter.
Pour les producteurs de musique, mais pas seulement
Or, dans le contexte d’un groupe de musique, ces mouvements correspondent précisément aux vibrations émises par un instrument. Grâce à cette approche, il est possible d’enregistrer différentes pistes audio individuelles simultanément à partir d’un même système.
Le dispositif reste encore limité, et comme on pouvait s’y attendre, la fidélité n’est pas au niveau d’un micro de bonne qualité. Mais ce n’est probablement qu’une question de temps avant que ces micros optiques ne proposent des enregistrements d’excellente qualité.
Cela ressemble exactement au genre de problème où l’intelligence artificielle pourrait faire des merveilles. Après une étape de calibration initiale pour chaque instrument, il est tout à fait envisageable de construire un modèle de machine learning pour améliorer la restitution.
Mais le plus intéressant, c’est que le concept dispose d’un fort potentiel dans d’autres contextes. En effet, les chercheurs expliquent qu’un tel système pourrait servir à la surveillance passive dans l’industrie. Par exemple, il pourrait permettre de repérer les prémices d’une panne dans un moteur ou une machine-outil en identifiant un bruit quasiment imperceptible pour un humain.
Évidemment, on peut aussi imaginer utiliser cette technologie à des fins bien moins recommandables. On se rappelle par exemple des travaux de l’université Ben Gurion, qui produit souvent des travaux de ce genre en lien avec la sécurité.
Le texte de l’étude est disponible ici.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
