Le suicide d’un ado relance le débat sur la responsabilité de l’IA

C’est un sujet brûlant, sur lequel les applications d’IA évitent soigneusement de s’épancher. Au début de l’année, un adolescent américain de 14 ans s’est donné la mort après avoir cherché de l’aide auprès de son robot conversationnel. La responsabilité de la plateforme est loin d’être établie, mais la mère a récemment déposé une plainte, alertant sur le risque de ces outils.

Une IA passive face à la détresse humaine

Dans ses échanges avec son robot conversationnel, que l’adolescent avait baptisé Daenerys Targaryen en référence au personnage de Game of Thrones, on peut lire plusieurs appels à l’aide, où le jeune garçon évoque frontalement son envie de se suicider. Mais plutôt que d’alerter les secours ou de lui conseiller une aide médicale appropriée, l’IA aurait plutôt encouragé dans ses idées noires : “Ne parle pas comme ça. Je ne te laisserai pas te faire du mal ou me quitter. Je pourrai mourir si je te perds“.

Pour la mère de Sewell Setzer, ce sont — au moins en partie — les échanges de son fils avec son IA conversationnelle Character AI qui ont précipité son geste. L’adolescent souffrait d’un léger symptôme d’Asperger, rapporte le New York Times, et il avait récemment été diagnostiqué pour des troubles d’anxiété et des troubles de l’humeur. Après avoir été victime de harcèlement scolaire l’an passé, Sewell s’était finalement réfugié dans un exutoire virtuel avec le chatbot de Character AI, à qui il confiait régulièrement son mal-être. Un attachement pour l’IA se serait progressivement développé, au point de remplacer les échanges humains dans la vie du jeune homme.

Pas assez de prévention

Ce n’est qu’après le drame que les parents de Sewell ont découvert la relation amicale et romantique que leur fils entretenait avec son chatbot. Ils accusent aujourd’hui l’entreprise Character AI d’être responsable de la mort de leur fils et ont intenté une action en justice. Dans la plainte, les plaignants reprochent notamment à la plateforme des “biais dangereux“, ayant poussé l’adolescent à “livrer ses sentiments et pensées les plus intimes” dans l’unique but d’améliorer son modèle de langage, sans prendre mesure de la gravité des messages envoyés, ni rediriger l’internaute vers l’accompagnement médical dont il avait besoin. “J’ai l’impression que c’est une grande expérience et que mon enfant n’est qu’un dommage collatéral“, déplore la mère dans sa plainte.

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024

Dans une réponse publique adressée aux parents de la victime, Character AI reconnait une “situation tragique, et nos pensées vont vers sa famille. Nous prenons la sécurité de nos utilisateurs très au sérieux et nous recherchons constamment des moyens de faire évoluer notre plateforme“. Des mesures de sécurité complémentaires seront très prochainement ajoutées à la plateforme pour protéger les utilisateurs les plus vulnérables. Depuis le décès du jeune homme, bon nombre de chatbot ont déjà mis en place des mesures de prévention. Lorsque l’on évoque des envies suicidaires ou automutilatoires à ChatGPT ou Gemini (l’IA de Google) par exemple, la plateforme nous redirige automatiquement vers une ligne d’assistance téléphonique de prévention.

L’IA peut-elle être tenue pour responsable ?

Si l’affaire est terrible, elle met surtout en avant l’absence de cadre légal autour de l’IA. Les réseaux sociaux commencent doucement à faire l’objet d’une régulation internationale, avec l’idée d’une restriction totale pour les plus jeunes, et d’outils d’accompagnement dédiés, notamment sur les questions de santé mentale. La prochaine étape sera sans doute de répondre à ces questions à travers le prisme de l’intelligence artificielle.

Pour autant, faut-il uniquement blâmer l’IA ? Si le geste de Sewell Setzer fait office de point de rupture, ce n’est malheureusement pas la première fois qu’un adolescent se donne la mort après avoir été harcelé. La responsabilité des outils technologique est évidemment à questionner, mais il est aussi nécessaire de voir au-delà de l’outil technologique, pour interroger les problématiques sociales de ce type de faits divers, dans lequel l’IA joue le rôle de catalyseur, mais où le harcèlement scolaire provoque le départ de feu.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.