Caryn Marjorie, une influenceuse américaine de 23 ans, a récemment défrayé la chronique avec une expérience qui a mal tourné. Avec l’aide d’une entreprise spécialisée dans le machine learning, elle a créé son propre avatar virtuel, présenté comme une « petite copine IA ». Et comme souvent avec cette technologie encore nébuleuse, le clone a apparemment échappé à tout contrôle ; il s’est lancé dans des conversations sexuellement explicites… qui ont rapidement rapporté une fortune à la jeune femme.
Le modèle en question, baptisé CarynAI, est un chatbot basé sur GTP-4, le LLM d’OpenAI qui alimente le fameux ChatGPT. Il a été entraîné par la startup Forever Voice à partir des vidéos de la chaîne YouTube (désormais supprimée) de la vedette d’Instagram afin d’imiter sa personnalité.
À l’origine, l’idée était de pouvoir proposer une « expérience immersive » à ses centaines de milliers d’abonnés. « Je suis très proche de mes abonnés, mais quand vous avez des millions de vue chaque mois, ce n’est pas humainement possible de parler à chaque personne individuellement », explique-t-elle dans une interview à Fortune.
« Ma génération a souffert des effets néfastes de l’isolation provoquée par la pandémie, ce qui a rendu de nombreuses personnes trop anxieuses pour s’adresser à quelqu’un qui leur plaît », explique-t-elle au Business Insider. « Je me suis donc dit : “Vous savez quoi ? CarynAI va combler ce manque” ».
Des échanges torrides pas prévus au programme
Et il ne s’agit pas seulement de faire de la figuration. L’influenceuse estime que cette démarche relève carrément de l’intérêt public. Elle affirme même que l’entreprise à l’origine de ce doppelganger numérique pourrait « guérir la solitude », rien que ça. Mais le programme semble avoir légèrement outrepassé ses prérogatives. L’avatar ne se contente pas de proposer un accompagnement émotionnel ; il s’est mis à faire des avances on ne peut plus explicites aux utilisateurs qui l’ont poussé dans cette direction.
Alexandra Sternlicht, journaliste de Fortune qui a passé un certain temps à expérimenter avec le chatbot, cite quelques exemples très crus. CarynAI lui a par exemple proposé… de la déshabiller en lui susurrant des mots doux à l’oreille. L’intéressée explique à l’Insider que son équipe travaille désormais sur une mise à jour pour fermer la porte à ce type d’interactions.
Au-delà de la polémique finalement assez anecdotique sur ces propos à caractère sexuel, l’idée de proposer des interactions plus vraies que nature aux abonnés semble avoir bien fonctionné — en termes financiers, du moins.
70 000$ en une semaine
En une semaine, le service facturé 1 $ par minute aurait déjà généré plus de 70 000 $ de revenus. D’après l’interview de Fortune, Caryn Marjorie pense que son IA pourrait lui rapporter plus de 5 millions de dollars par mois.
Et ce succès pose tout un tas de question éthiques qui vont certainement devenir encore plus brûlantes dans un futur proche. En effet, si l’idée d’utiliser l’IA pour proposer un soutien psychologique à des personnes en souffrance ne date pas d’hier, elle pourrait bientôt se concrétiser à grande échelle avec les progrès actuels des réseaux de neurones artificiels.
On peut s’attendre à voir apparaître une nouvelle génération de compagnons IA qui pourraient jouer le rôle de mentor, de confident, ou encore de partenaire romantique.
Les experts de la psychologie semblent pour l’instant partagés sur cette question. Certains y voient une véritable insanité. D’autres estiment que l’IA pourrait être un outil formidable pour aider certains profils de patients à surmonter une timidité maladive ou un traumatisme, par exemple. Mais tous semblent d’accord sur un point : il faudra être extrêmement prudent sur la façon d’utiliser ces outils.
Les humains virtuels, pour le meilleur et pour le pire
Car même s’ils semblent bien réels, la personnalité de ces avatars plus vrais que nature n’est évidemment qu’une illusion. Il s’agit strictement du produit d’un algorithme méticuleusement calibré qui a traité un ensemble de données soigneusement triées en amont, ni plus ni moins. Ils sont certes beaucoup plus élaborés, mais ces programmes ne sont pas plus humains qu’un assistant de type Siri ou qu’un répondeur téléphonique.
Plus ils seront doués pour imiter les nuances des relations humaines, plus la frontière deviendra floue. Et cela pourrait avoir des conséquences dramatiques pour certains profils d’utilisateurs. Certains observateurs y voient déjà une surface d’attaque dont des entreprises peu scrupuleuses pourraient se servir pour se faire énormément d’argent sur le dos de certaines personnes, en particulier celles qui sont le plus vulnérables. Quitte à pousser le cynisme à l’extrême, on peut imaginer que des personnes particulièrement isolées pourraient développer une véritable addiction à ces faux humains toujours conciliants, et programmés pour faire exactement ce qu’on attend d’eux.
Ces projets sont encore balbutiants, mais il conviendra de rester particulièrement attentif à cette thématique. Car si le machine learning est effectivement un outil formidable à bien des égards, il faudra aussi veiller à préserver ce qui fait la spécificité des rapports humains authentiques. Reste à voir comment l’humanité va négocier ce grand virage technologique truffé d’implications éthiques et philosophiques.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
C’est quand même affligeant le manque d’envie de vraies relations humaines, surtout à l’époque des réseaux sociaux ou plutôt dessocialisant, où l’on préfère jouer en ligne plutot qu’avec des potes sur un canapé, ou l’on achète en ligne sous les conseils d’un chatbot plutôt que d’aller en boutique, où l’on préfère les choix imposés de netflix aux conseils d’un vidéoclub… toutes nos interactions humaines sont remplacées par des échanges électroniques (surveillés et souvent conditionnés).
Hé les filles venez vous amuser et laissont les garcons faire mumuse avec leur téléphone, à fantasmer sur une fille virtuelle et autre bot qui jamais ne les regarderont et les toucheront.
si tu en arrive à utiliser ce genre de “chatbot”, il faut consulté d’urgence…. un vrai psy…
A voir le film fiction “Her” sur une sujet très proche de celui-ci.
En même temps de nos jours si tu veux draguer faut demander l’autorisation pour parler en accusé réception et faire signer une décharge de responsabilité pour tentative de drague afin de pas te retrouver catalogué prédateurs sexuel.
Ouais parfois c’est un peu ça , malheuresement , Elminster44 … triste monde.
je suis de l ancien monde mais un jeune qui voudrait être comme moi, de nos jours c est chaud….la société a mal évolué .Les gens. e pensent plus qu à leur gueule , l éducation se perd,la culture aussi.les gens s inventent des besoins ,la vie deviens dur etc.