[Exclusif] Entretien : comment les hackers peuvent tromper les véhicules autonomes ?

La cyber-criminalité ne cible pas seulement des ordinateurs, des serveurs ou des données web. Elle peut aussi s’attaquer à des objets bien plus insolites, comme des voitures autonomes, pour en détourner les technologies d’intelligence artificielle. En sachant que le nombre de véhicules autonomes pourrait bien dépasser le demi-million d’ici seulement quelques années (selon la société d’analyse industrielle Gartner), ces derniers deviennent donc des cibles de grand intérêt pour les plus malveillants des hackers. Le laboratoire privé de recherche avancé des cyber-menaces de la société de cyber-sécurité McAfee s’est récemment intéressé de plus près à ce sujet et a identifié une méthode très pernicieuse de cyber-attaque : le “model hacking.” Thomas Roccia, chercheur en vulnérabilité et en identification des nouvelles menaces chez McAfee, nous en a dit un peu plus.

Quel est le but de votre travail ?

Thomas Roccia : Identifier les tendances de la cyber-criminalité et les potentielles nouvelles cyber-attaques dans un futur proche. Que ce soit celles qui exploitent des failles de logiciels – comme on l’a vu récemment chez Microsoft avec Windows – ou de l’intelligence artificielle d’un objet connecté. Une fois le sujet identifié, notre travail consiste à identifier les faiblesses avant les attaquants et, toujours en amont, de comprendre comment et pourquoi ils pourraient les exploiter.

Plus récemment, avec les progrès actuelles du secteur, les menaces des véhicules connectées et autonomes sont devenues un sujet très important chez McAfee. Nous avons ainsi découvert une nouvelle méthode de cyber-attaque, appelée “model hacking”, qui les cible. Nous sommes parvenus à la décrypter dans le cadre d’une étude menée sur la caméra MobilEye de type Q3 et sa technologie d’intelligence artificielle, qui sont embarquées sur de nombreux véhicules autonomes dont les Tesla Model S et Model X.

Qu’est-ce que le “model hacking” ?

L’Adversarial Machine Learning, que nous appelons “model hacking” chez McAfee, est un moyen de contourner les algorithmes de classification et d’analyse automatisés, utilisés dans le cadre de “machine-learning” de technologies d’intelligence artificielle. C’est une méthode de cyber-attaque qui ne cible que des caractéristiques propres aux images analysées par un algorithme. Son objectif essaie de contourner la mécanique d’identification des images – comme des panneaux de signalisation, pour les IA des caméras de véhicules autonomes.

Le “model hacking” appliqué aux véhicules autonomes peut donc provoquer des accidents. Pour l’instant, les voitures Tesla, par exemple, ne sont pas totalement autonomes et requièrent encore une surveillance et un contrôle humain pour véritablement fonctionner. Cependant, en extrapolant, on peut considérer que ce genre de scénario sera parfaitement faisable dans les dix prochaines années.

Quelles formes peut prendre cette méthode de cyber-attaque ?

Elle peut prendre deux formes que nous appelons “white-box attack” et “black-box attack.” La première demande à avoir accès à tous les paramètres de l’IA ciblée : le code de son algorithme et la base (ou modèle) de données utilisée pour l’entraîner. La seconde – comme ce qui s’est passé avec nos tests de “model hacking” sur la caméra MobilEye – n’a pas accès au code ou n’a pas la connaissance complète de son fonctionnement. Elle se déroule en externe et joue aléatoirement sur des paramètres visuels pour en retirer les réactions qu’elle souhaite. Pour résumer, il y a le “model hacking” clé en main et le “model hacking” à l’aveugle, où les seuls outils sont les cibles physiques analysées par l’algorithme visé.

Comment les hackers parviennent-ils à tromper les véhicules autonomes ?

Cela dépend de l’objectif et de la cible. Un attaquant peut “empoisonner” l’algorithme directement, en accédant physiquement à son code-source. Ou alors il peut s’en prendre à l’input ou à l’image analysée par l’algorithme, en la modifiant pour en détourner son interprétation. Dans le cas de l’étude menée par les chercheurs de McAfee, l’idée était de montrer qu’en modifiant seulement légèrement le trait d’un chiffre d’un panneau de limitation de vitesse, il était possible de pousser un véhicule autonome à ne pas l’interpréter correctement et donc à mettre en danger ses passagers.

L’idée est à la fois de tromper l’algorithme et la vigilance humaine. L’attaquant n’a pas besoin de modifier des caractéristiques spécifiques d’une image, il lui suffit de la détourner. Le tout, pour lui, est simplement que la tromperie ne soit pas remarqué par un œil humain. Cependant, pour obtenir une réponse accidentelle et malveillante précise qu’il souhaite générer, l’attaquant doit étudier les caractéristiques analysées par l’IA. S’il ne modifie pas la bonne caractéristique, la mauvaise interprétation induite peut être tout autre, voire même ne pas être mauvaise.

Le “model hacking” peut-il impacter d’autres types de cible ?

N’importe quelle technologie qui embarque du “machine-learning.” Le “model hacking” peut, par exemple, être utilisé dans la conception de logiciels malveillants. Aujourd’hui, il y a de plus en plus d’attaquants qui étudient ce genre de pratiques et qui arrivent à détourner les contres sans être détectés.

Quelles solutions existent aujourd’hui pour le contrer ?

Aujourd’hui, nous sommes capables d’utiliser du “bruit” pour empêcher certaines attaques de “model hacking.” Ce “bruit” consiste à l’injection de données aléatoires dans l’algorithme ciblé. Ces données supplémentaires font partie de l’architecture de l’algorithme et lui permettent d’apprendre à reconnaître les faux signaux ou les caractéristiques trompeurs. Elles lui donnent la possibilité d’apprendre à éviter les mauvaises interprétations, que cherchent à générer les attaquants par le “model hacking.” Pour trouver les bonnes données à ajouter, il faut néanmoins parvenir à étudier plus complètement le fonctionnement d’un algorithme et ses faiblesses. C’est notamment ce que nous tentons d’accomplir dans nos expériences.

Cette nécessité de la vigilance humaine signifie-t-elle que l’IA reste aujourd’hui assez “naïve” ?

Tout à fait. Aujourd’hui, quand on parle d’intelligence artificielle, on parle en réalité principalement de “machine-learning” sur des algorithmes de classifications de volume de données – rien de plus. On peut néanmoins considérer que le domaine est en pleine effervescence et qu’il est arrivé à un point majeur dans son évolution. Mais il lui reste encore du chemin à parcourir.

De mon avis personnel, aux vues de l’évolution des technologies d’IA depuis les années 1920, 1930 puis 1940, je pense que l’IA parviendra relativement rapidement à perdre cette “naïveté”. Selon moi, et cela reste de la spéculation, il ne suffira que de 5 à 10 ans pour qu’elle devienne plus “mature” et atteigne 100% d’autonomie dans certains domaines, comme celui des véhicules connectés.

Bonus : quels films ou séries pertinents sur l’intelligence artificielle conseillerez-vous ?

J’apprécie beaucoup la série Westworld qui, en plus d’être divertissante, réussit à reprendre pas mal de nouvelles technologies et pas seulement celles liées à l’IA. Je pense notamment à l’impression 3D, pour la fabrication des robots humanoïdes. La façon dont la série les exploite est très intéressante et permet réellement de se projeter. On espère que de tels progrès se réaliseront un jour (en moins tragiques, espérons-le ; NDLR) mais au moins, la série permet de révéler les travers de l’humanité face à de tels bonds technologiques. Cela dit, avant d’en arriver là, je pense qu’on a un peu de temps. (rires)

Côté cinéma, je vous conseille les films Ex-Machina, qui fait un portrait intéressant de la relation entre l’humain et l’IA, et Transcendence où Johnny Depp transfère son esprit dans un ordi. Si vous ne les avez pas vu, voilà de quoi garnir vos listes “à voir” pendant ce confinement ! (rires)

[amazon box=”B01LXWPEA7″]

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.