Passer au contenu

Open AI a eu une idée de génie pour identifier les textes écrits par ChatGPT

Pour empêcher les élèves de tricher à leurs examens grâce à ChatGPT, Open AI a trouvé une solution radicale.

Fort de son succès à travers le monde, l’intelligence artificielle de génération de texte ChatGPT pose déjà de sérieux problèmes. D’abord parce que les productions liées à l’IA polluent de plus en plus l’Internet mondial, et quelles pourraient bientôt atteindre un point de non retour. Ensuite parce qu’il est de plus en plus difficile de différencier un texte écrit par un humain d’un texte généré artificiellement.

Que ce soit pour des questions de droits d’auteur ou pour permettre aux professeurs de vérifier que leurs élèves ont bien écrit eux-mêmes leurs dissertations, Open AI planche actuellement sur une méthode d’identification fiable des textes générés par ChatGPT. Objectif pour l’entreprise : empêcher l’outil d’être utilisé à des fins malveillantes, mais aussi protéger les textes originaux, sans brider les progrès réalisés ces derniers mois en matière d’intelligence artificielle.

Un filigrane invisible

Pour dissuader les élèves de tricher, Chat GPT pourrait ainsi déployer un filigrane invisible à chaque génération de texte. Pour le chercheur en sciences de l’informatique Scott Aaronson, cette solution permettrait de créer une “signature invisible rédigée par un modèle de langage reposant sur de l’IA“. Un prototype créé par Hendrik Kirchner, ingénieur au sein d’OpenAI serait d’ores et déjà fonctionnel, précise le chercheur.

Nous voulons qu’il soit beaucoup plus difficile de prendre les résultats d’un modèle de langage IA et de les faire passer pour des résultats humains.

De grands pouvoirs impliquent de grandes responsabilités, et les chercheurs derrière Open IA et ChatGPT semblent conscient que leur outil est susceptible de faciliter “le plagiat académique, évidemment, mais aussi la génération massive de propagande“. Si le contenu du texte généré par IA ne changera pas, des clés cryptographiques pourront, à la manière d’un filigrane sur une photo, prouver que le document a été rédigé par une intelligence artificielle.

Reste que l’outil est encore en stade de développement, et qu’il reste facilement contournable, expliquait Srini Devadas, professeur en sciences de l’informatique au Massachusetts Institute of Technology au site TechCrunch. Il suffirait en effet de reformuler certaines tournures de phrases pour faire sauter les protections. De plus, l’empreinte numérique ne serait pas détectable par un humain.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.

Source : Tech Crunch

30 commentaires
  1. S’il existe un outil permettant d’identifier la nature artificielle d’un texte, alors toute personne disposant de cet outil pourra l’exécuter et altérer le texte jusqu’à ce que le feu soit vert.
    Par conséquent, le seul moyen que cet outil soit efficace est qu’il ne soit pas largement diffusé. Le plus simple serait de faire payer la licence, mais cela favoriserait encore les plus fortunés.
    Par contre, que dire des faux positifs ? Je ne souhaite pas que mes textes soient identifiés comme générés par ChatGPT sous prétexte d’avoir utilisé une séquence de mots que j’ai choisis et que ChatGPT aurait également choisi…
    L’un dans l’autre, cela ressemble encore à un problème insoluble.

  2. C’est rigolo, on ne se pose pas autant de questions avec Midjourney ou Dall-E ?
    Pourtant pour moi c’est pareil.

  3. Et un p’tit copier coller des familles avant quelques menis changements et je pense que cette idée passe à la trappe, qu’en pensez-vous ?

  4. Il semblerait que nous n’ayons pas la même définition du mot génial.

    Il suffit de simplement retranscrire l’ensemble du texte ou de faire de la paraphrase pour faire disparaître le filigrane.

  5. Et donc un simple générateur de remplacement de termes, brasseur de phrase, et le filigrane dégage.
    Il n’y a quasiment pas de possibilité de ne pas tromper le détecteur. Seuls les fainéants vont copier coller à l’arrache et se faire gauler.
    ChatGPT est un bel outil mais malheureusement l’être humain va s’en servir de manière fallacieuse. C’est ainsi.

  6. le watermark c’est juste pour se donner bonne conscience et pour les gogos, on sait bien que techniquement c’est impossible sur du texte.
    et en réponse à @steel il y a les mêmes problèmes et les mêmes interrogations sur midjourney et dall-e., l’avantage des images part contre c’est que c’est techniquement beaucoup plus facile d’y ajouter un filigrane. (mais pas plus difficile à contourner)

  7. Euh… c’est paradoxal le problème il me semble. A la base il cherchai a concevoir un outils pouvant se substituer à un humain en répondant comme un humain et pas a la façon d’un robot..ok mais maintenant cette faculté pose problème…
    Faut pas venir me dire que lors de la conception de chatGPT ils n’avaient pas pensé que des étudiants se servirait de cet outils 😂

  8. “D’abord parce que les productions liées à l’IA polluent de plus en plus l’Internet mondial, et quelles pourraient bientôt atteindre un point de non retour.”
    Une IA ne ferait peut être pas de faute d’orthographe…
    Blague à part si on se projette dans le futur l’IA sera bien omniprésente il faut d’avantage réfléchir à vivre avec plutôt que d’essayer de la limiter.

  9. Une lecture à haute voix dans Google docs pour retranscrire le texte au cas où le filigrane serait copié lors d’un copier coller soit intégré….
    Le problème sera pour le référencement Google, la duplication de contenu risque d’entraîner pas mal de soucis

  10. Le filigrane au niveau des mots c’est trop limité, il manque une couche d’obstruction qui peut contenir une signature complexe tel qu’on peut le faire pour un son, une image, une vidéo ou encore les motifs d’une feuille de papier

    Il faudrait peut-être revoir l’ensemble des gestions de fonts système pour permettre l’intégration d’une signature au sein des glyphes de caractères.

  11. Pour l’instant le problème ne se pose pas , vu que le contenu generé est peut être acceptable pour Tata Simone, mais tout juste passable dans un domaine précis pour les experts du domaine (ou alors en passant finalement beaucoup de temps à demander de reformuler / préciser certains passages)
    Mais avec GPT4… 🙂

  12. La solution est que tous les textes générés soient publiés sur le site de l’ai pour permettre à qui veut faire la vérification de les retrouver à partir de quelques mots ou d’une phrase ou deux.
    On peut aussi attribuer un copyright à l’ai. Ainsi, s’en attribuer le mérite sera simplement du plagiat.
    Simple, basique.

  13. Il est vrai que chatGPT est un outil vraiment efficace pour ce démarquer. Et je trouve que l’idée du filigrane n’est pas mauvaise mais ce qui manque cruellement dans ce genre d’outil là,c’est la capacité des ingenieur à trouver une solution vraiment efficace pour que l’on puisse différencier un texte provenant d’une AI et d’un utilisateur. Pour moi je pense que la RGPD même que cela prenne beaucoup de temp… ordonnera de créer un historique de recherche qui enumerera le nombre de fois qu’une phrase lui a été posé et d’identifier les comptes ou les adresses IP qui m’on écrite.
    Et pour ce service là bien sûr ne croyez pas que ce services sera gratuit pour une tél demande. Dites moi ce que vous en pensez vous des moyens qui potentiellement seront mis en place pour lutter?

  14. Il y a aussi des plateformes de reformulation des textes !
    Il suffit d’un copier/coller pour transformer le texte tout en gardant la valeur du contenu.

  15. La seule solution est de faire exclusivement des évaluations en présentiel, avec un stylo. Il faut revoir le mode d’évaluation des étudiants. Les exposés ou les devoirs maison ne servent à rien. C’est déjà du copier-coller.

  16. C’est un véritable fléau!!! Du jour au lendemain vous avez un Eleve qui passe du « jespair que ta camprit » a un texte de haut niveau incompatible au sien! Nous n’avons plus que nos yeux pour pleurer!! En plus il ne comprends rien à ce qu’il a « recopié »…

  17. Ouha quel bel outil pour neuneu décérébré, la futur génération promet d’envoyer du bois à tout les étages.
    Mes alleux j’espère juste pouvoir survivre assez longtemps pour profiter d’une retraite à 70 ans.^^

  18. Pour ceux qui ont rien compris le filigrane ici c’est pas un truc encode dans les caracteres qui disparaitrrait quand on le recopiensur une feuille mais un certain agencement des phrases generees par l’IA. Il est surement base sur la construction syntaxique et non les mots exacts, donc un simple remplaceur de mots ne fonctionnerait probablement pas, et il faudrait tout paraphraser pour dejouer leur programme. Cela pose quand meme le probleme des faux diagnostics mais il faudra attendre la sortie du logiciel pour verifier

  19. J’hallucine !
    On vous offre un outil surpuissant et incroyable et Il y en a qui le critique 🤔 qu’est-ce que ça va être lorsqu’il parlera et il marchera… Réponse dans l’excellent film de Spielberg AI. Bonjour la tolérance et la peur du progrès ! Et merci Open AI pour cette outil d’assistant ordinateur 🍀👍🏆

  20. on peut admirer le progrès technique, mais etre aussi lucide sur les usages potentiels et les impacts sur notre société à différents horizons.
    C’est même ce que ferait n’importe quelle personne bien construite avec un peu d’esprit critique et de recul.. heureusement beaucoup l’ont compris y compris beaucoup de personnes qui travaillent sur l’IA et son éthique en particulier.
    Pour ma part j’ai beau aimer le progres et l’IA (que je connais bien pour l’avoir étudiée), sur le cas particulier de la génération de texte à ce niveau de performance, je vois plus de danger, que je ne m’enthousiasme de ce que cela pourrait apporter.
    -les dangers: plagiat, propagande massive, perte de créativité, brouillage de la réalité, fake news, erreurs ou failles dans le code de programmes informatiques, disparition de jobs liés à l’écriture, diminution de la responsabilité, sujet nous détournant de problemes plus réel de ce monde, dévalorisation/découragement de l’écriture, du talent et de l’effort qui y sont liés etc..,
    -apports pour l’homme: fun, quelques nouveaux jobs.. quoi d’autre en réalité… ?

  21. Juste une petite idée de la logique de la chose….
    J’ai vu dans un message qu’il allait suffir d’attendre que le logiciel de reconnaissance d’AI dise que le texte n’a pas été fait par de l’AI pour être sur qu’il ne sera pas détectable.
    J’ai trouvé ce message très intéressant car cela signifie qu’avec une grande dose de texte relativement simple et une AI relativement peu sophistiquée il sera possible de trouver les points communs entre ces différents textes et donc trouver la méthode du filigrane, et donc changer le stricte minimum pour que le texte devienne passable.
    Passons maintenant à l’étape comique : connaissant le “marqueur” il n’y aura plus qu’à demandé à chatGPT ” genere moi ce texte en évitant la présence de : “( les différents aspects de marquages cité d’une façon bateau les unes après les autres)”

  22. Fini les dissert à la maison. Et hop, plus de problème.
    Dans tous les cas, va faloir apprendre à vivre avec donc pas de problème, que des solutions.

  23. je pense que c’est un bel outil qui permettrait de pouvoir développer d’une certaine manière la créativité et l’apprentissage. malheureusement, comme avec tous les outils qui existent, les gens ne seront que des Power User, sans essayer de comprendre le fond des choses que l’intelligence artificielle raconte. pour moi c’est exactement la même chose que d’utiliser un téléphone sans savoir comment c’est fait, ou une voiture, ou même un mixeur. c’est juste prendre un produit fini, et s’en l’attribuer les mérite. ,à titre personnel, je me sers de cette intelligence artificielle pour m’aider dans le cadre de nouvelles, ou de romans à m’indiquer d’autres chemins auxquels je n’avais pas pensé. et je trouve ça hallucinant, la facilité avec laquelle l’intelligence artificielle est capable de deviner des scénarios complexes. mais bien sûr, elle est très loin de pouvoir comprendre les styles d’écriture, et l’émotion sous-jacente de ces styles …

  24. C’est du Bienvenue au cancre… Mais Il nous faudrait, pour les etudiants, une activité presentielle. Les contenues plagiats sont dificiles à identifier.

  25. Les trains vont donner des torticolis aux vaches. La voiture va provoquer des fausses-couches. Les fusées vont trouer l’atmosphère et tout l’air va partir dans l’espace. Le compteur linky donne le cancer. Rapatrier des échantillons des planètes Mars ou la Lune va provoquer des maladies qui vont tuer l’espèce humaine (et pourquoi pas que les cafards ça serait mieux non ?…..)
    La TV va rendre abruti,……
    Les écrans vont rendre vos enfants ramollis du cerveau avec des névroses.…
    ——————
    si vous voulez on peut lancer un concours d’idée basées sur mes exemples. Et on va se marrer!!!!!
    Ca nous mène nullement part.
    Pourtant vous avez tous pris le train, l’avion, conduisez des voitures, avez un PC ou un smartphone, regardez un peu la TV et regardé cette vidéo.

    Des psycho-sociologues on étudié vos comportements

    Ca se fait toujours de la même façon :

    1– un rejet plus ou moins fort selon les personnalités qui dure un certain temps. c’est le non le déni…..

    2—vient ensuite une phase ou le niveau d’opposition tend à se réduire mais on est encore dans le rejet.

    3— enfin une bascule en douceur se passe et la majorité des individus bascule dans une posture d’adhésion sans frein…..
    Voilà ce qui vous attend !!!

    Bon sinon plutôt que d’interdire ChatGPT dans l’enseignement, profitons de cette révolution pour changer les méthodes d’enseignement, stopper le bachottage et le par coeur pour apprendre aux élèves à bâtir un raisonnement différemment.
    C’est ce qui a été fait avec les calculatrices il y a 40 ans (combien sont encore contre les calculatrices?). L’enseignant juge plus la méthode de calcul que le bon résultat.

    Pratiquement tout ce qu’on apprend à l’école en tant que contenu ne sert absolument à rien tant tout évolue à toute vitesse. Le par coeur n’entraîne que la mémoire.

    Apprenons à analyser des situations complexes, identifier les conséquences possibles, imaginer des scénarii pour les résoudre et peser leur effets. Apprenons aux jeunes à construire leur projet de vie et à vivre dans le monde des adultes.
    Soyons intelligent pour utiliser tous ces outils numériques, réfléchissons ensemble si besoin de garde fou….
    Bon vous voyez l’idée ?

Les commentaires sont fermés.

Mode