L’intelligence artificielle était partout lors de la Google I/O 2023. La firme de Mountain View a effectué plusieurs démonstrations intéressantes, mais l’une des plus impressionnantes est le Project Gameface. Ce projet vise à transformer votre visage en souris pour gamer, afin de contrôler le curseur via des mouvements de la tête et des expressions faciales.
Les joueurs sur console ne nous en voudront pas, mais le combo clavier/souris reste incontournable sur PC. Les périphériques sont nombreux et il y en a aujourd’hui pour tous les goûts, mais tous les gamers ne sont pas en mesure d’utiliser un clavier ou une souris. Depuis quelques années, l’univers du jeu vidéo multiplie les efforts pour devenir plus inclusif. Les exemples sont nombreux et Google participe à ce mouvement avec son projet.
Quand un haussement de sourcil fait office de clic droit
La souris fonctionne sans les mains et utilise les solutions open source Google MediaPipe. Google explique que les mouvements de la tête et les expressions faciales sont capturés à l’aide d’une simple webcam. Il n’est pas nécessaire d’utiliser une solution de reconnaissance faciale.
L’outil du géant américain peut détecter 468 points sur le visage de l’utilisateur. Il est en mesure de distinguer les expressions faciales ordinaires des mouvements requis pour bouger le curseur. Par exemple, on peut attribuer le clic droit à un haussement du sourcil droit et un clic gauche à un sourire.
Ces mouvements sont alors reconnus par des modèles d’apprentissage automatique, permettant le déplacement du curseur à l’écran. L’utilisateur peut alors naviguer sur un PC, sans avoir besoin d’une souris classique. Pour mieux s’adapter aux différences, Google permet d’ajuster la sensibilité des gestes avant de déclencher les actions de la souris.
La firme explique que son projet a été inspiré par l’histoire de Lance Carr, un streamer de jeux vidéo tétraplégique, atteint de dystrophie musculaire. Cette maladie provoque une dégénérescence progressive de l’ensemble des muscles de l’organisme. Malgré son handicap, Lance n’a pas abandonné sa passion et a utilisé une souris capable de suivre les mouvements de sa tête. Malheureusement, sa maison a pris feu en 2021 alors qu’il jouait en direct sur Twitch devant des joueurs du monde entier. Lance Carr a perdu tout son équipement, dont sa coûteuse souris. Google a suivi l’histoire de Lance et a décidé de collaborer avec lui pour concevoir son projet.
Le Project Gameface est encore en cours de développement et a le potentiel de rendre le jeu plus accessible. Google précise que le code est en open source et les développeurs peuvent tester le logiciel dès maintenant. Ils peuvent contribuer à cette technologie, l’améliorer ou l’utiliser.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
