C’est un sujet brûlant, sur lequel les applications d’IA évitent soigneusement de s’épancher. Au début de l’année, un adolescent américain de 14 ans s’est donné la mort après avoir cherché de l’aide auprès de son robot conversationnel. La responsabilité de la plateforme est loin d’être établie, mais la mère a récemment déposé une plainte, alertant sur le risque de ces outils.
Une IA passive face à la détresse humaine
Dans ses échanges avec son robot conversationnel, que l’adolescent avait baptisé Daenerys Targaryen en référence au personnage de Game of Thrones, on peut lire plusieurs appels à l’aide, où le jeune garçon évoque frontalement son envie de se suicider. Mais plutôt que d’alerter les secours ou de lui conseiller une aide médicale appropriée, l’IA aurait plutôt encouragé dans ses idées noires : “Ne parle pas comme ça. Je ne te laisserai pas te faire du mal ou me quitter. Je pourrai mourir si je te perds“.
Pour la mère de Sewell Setzer, ce sont — au moins en partie — les échanges de son fils avec son IA conversationnelle Character AI qui ont précipité son geste. L’adolescent souffrait d’un léger symptôme d’Asperger, rapporte le New York Times, et il avait récemment été diagnostiqué pour des troubles d’anxiété et des troubles de l’humeur. Après avoir été victime de harcèlement scolaire l’an passé, Sewell s’était finalement réfugié dans un exutoire virtuel avec le chatbot de Character AI, à qui il confiait régulièrement son mal-être. Un attachement pour l’IA se serait progressivement développé, au point de remplacer les échanges humains dans la vie du jeune homme.
Pas assez de prévention
Ce n’est qu’après le drame que les parents de Sewell ont découvert la relation amicale et romantique que leur fils entretenait avec son chatbot. Ils accusent aujourd’hui l’entreprise Character AI d’être responsable de la mort de leur fils et ont intenté une action en justice. Dans la plainte, les plaignants reprochent notamment à la plateforme des “biais dangereux“, ayant poussé l’adolescent à “livrer ses sentiments et pensées les plus intimes” dans l’unique but d’améliorer son modèle de langage, sans prendre mesure de la gravité des messages envoyés, ni rediriger l’internaute vers l’accompagnement médical dont il avait besoin. “J’ai l’impression que c’est une grande expérience et que mon enfant n’est qu’un dommage collatéral“, déplore la mère dans sa plainte.
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
Dans une réponse publique adressée aux parents de la victime, Character AI reconnait une “situation tragique, et nos pensées vont vers sa famille. Nous prenons la sécurité de nos utilisateurs très au sérieux et nous recherchons constamment des moyens de faire évoluer notre plateforme“. Des mesures de sécurité complémentaires seront très prochainement ajoutées à la plateforme pour protéger les utilisateurs les plus vulnérables. Depuis le décès du jeune homme, bon nombre de chatbot ont déjà mis en place des mesures de prévention. Lorsque l’on évoque des envies suicidaires ou automutilatoires à ChatGPT ou Gemini (l’IA de Google) par exemple, la plateforme nous redirige automatiquement vers une ligne d’assistance téléphonique de prévention.
L’IA peut-elle être tenue pour responsable ?
Si l’affaire est terrible, elle met surtout en avant l’absence de cadre légal autour de l’IA. Les réseaux sociaux commencent doucement à faire l’objet d’une régulation internationale, avec l’idée d’une restriction totale pour les plus jeunes, et d’outils d’accompagnement dédiés, notamment sur les questions de santé mentale. La prochaine étape sera sans doute de répondre à ces questions à travers le prisme de l’intelligence artificielle.
Pour autant, faut-il uniquement blâmer l’IA ? Si le geste de Sewell Setzer fait office de point de rupture, ce n’est malheureusement pas la première fois qu’un adolescent se donne la mort après avoir été harcelé. La responsabilité des outils technologique est évidemment à questionner, mais il est aussi nécessaire de voir au-delà de l’outil technologique, pour interroger les problématiques sociales de ce type de faits divers, dans lequel l’IA joue le rôle de catalyseur, mais où le harcèlement scolaire provoque le départ de feu.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
cette génération de parents qui rejette la faute sur autrui 😐
il n’y a plus de discours entre parents/enfants, le smartphone, les réseaux et youtube ont supprimé tout dialogue. il est devenu rare de voir un enfant jouer avec des jouets (figurines, peluches, briques..) s’imaginer des aventures, ils sont tous devant youtube sur la tv, la tablette ou le nez dans les jeux mobiles de leurs parents en criant, en hurlant par mimétisme ou pulsion.
et il y a les autres enfants qui s’amusent à torturer dans l’anonymat, par jalousie, par sadisme, pas imitation (imitent ce qu’ils ont vu sur les réseaux sociaux), ça doit être sympa l’ambiance à la maison.
et les parents de cette génération d’enfant n’espèrent qu’une chose, laisser leurs enfants à une nounou, à un parent pour faire comme sur les réseaux sociaux, avoir la paix car ils ne savent plus comment faire avec leurs mômes. ils n’y arrivent plus car la vie de coûte de plus en plus cher (du moins en France), moins de loisirs, moins de resto, moins de vacances. on est vraiment dans un cercle vicieux. merci le gouvernement, le président d’enfoncer la France dans une aire vraiment terne entrainant des familles dans l’anxiété, le stress permanent.
C’est clair que c’est facile de blâmer l’IA quand on ne joue pas son rôle de parent. Déjà pendant les années 80 les parents ont pris la tv pour une nounou et cela s’est aggravé avec les nouvelles technologies …