Passer au contenu

25 000 personnes ont réussi à battre ensemble une IA aux échecs

Avec son expérience Mehdi Moussaïd voulait prouver que la foule était intelligente mais aussi mesurer jusqu’à quel niveau elle l’était.

Il y a quelques semaines Mehdi Moussaïd s’est posé une question : que pourrait bien faire une foule de joueurs débutants aux échecs contre un grand maître ? De ce postulat de départ, ce chercheur en sciences cognitives à l’université Max Planck de Berlin, a décidé de mener sa propre expérience, inédite dans le monde de la recherche.

Passionné par les systèmes multi-agents (des systèmes avec des individus très semblables les uns aux autres comme des compagnies de fourmis ou des foules d’humains), Mehdi Moussaïd a passé son doctorat sur le mouvement des piétons en 2007. Après cette première étude, il décide de s’intéresser de plus près à l’étude des foules. Une discipline qui, au début des années 2010, est alors naissante. «Beaucoup de choses devaient encore être découvertes, c’est peut-être ce que j’ai aimé.»

Étudier les foules : leur déplacement, mais aussi leur intelligence

Si la recherche est assez nouvelle dans ce domaine, les applications concrètes sont déjà nombreuses. En ce qui concerne la question du déplacement des foules, de nombreuses personnes s’intéressent de près aux simulations faites par Mehdi Moussaïd et ses collègues. «Aussi bien dans l’organisation d’évènements sportifs, que pour des concerts ou juste la circulation du flux de voyageurs dans un métro ou un aéroport». 

Autre domaine très en vogue dans le monde de la recherche, la question de la diffusion de l’information, notamment sur les réseaux sociaux. Si ici les applications concrètes sont encore rares, il est facile d’imaginer comment de telles découvertes pourraient être utilisées.

En ce qui concerne l’intelligence des foules, qui nous intéresse aujourd’hui, Mehdi Moussaïd parle plutôt de «recherche fondamentale». Selon lui des expériences prouvent bien que la foule peut avoir une utilité dans la résolution de problème complexe, mais la façon dont cette intelligence collective doit être utilisée est encore à trouver.

5 jours pour faire mieux que les meilleurs scientifiques du monde

À titre d’exemple, le scientifique David Becker a mis en place une expérience il y a quelques années, qui fait aujourd’hui office de référence quand il est question de l’intelligence des foules. Alors que les plus grands biochimistes étaient bloqués depuis des années sur une question, ils ont eu la bonne idée de la poser à internet, et de laisser la foule répondre. En 5 jours, seulement, plus de 200 000 personnes ont réfléchi ensemble et ont trouvé une solution viable.

Cette expérience a mis en lumière l’intelligence de la foule, mais a aussi permis à la communauté scientifique de comprendre le déplacement et les mécanismes complexes d’une protéine qui joue un rôle clé dans la naissance du SIDA. «On sait que la foule peut-être très intelligente, il faut qu’on arrive à comprendre quand et comment on peut tirer son plein potentiel». 

25000 personnes contre une IA autour d’un échiquier

Alors, Mehdi Moussaïd a cherché le meilleur moyen pour mesurer l’intelligence d’une foule. Il a finalement arrêté son choix sur les échecs, un jeu « symbole d’intelligence » qui a aussi le grand avantage de pouvoir facilement évaluer le niveau d’un joueur en fonction de ses choix. «Avec le système d’ELO (notation des joueurs d’échecs), on peut précisément calculer le niveau d’un joueur seul, mais aussi d’une foule qui joue ensemble.»

Pour mener à bien son expérience, Mehdi Moussaïd a donc réuni près de 25 000 personnes sur un site internet créé pour l’occasion. «Chaque nouveau joueur devait évaluer son niveau sur une échelle de 1 à 5 et ensuite il avait 5 parties différentes à jouer, avec trois coups par jour à heure fixe». Face aux joueurs, le chercheur a placé une intelligence artificielle, Maïa. Elle a la spécificité de jouer « comme des humains » et ne cherche pas toujours le meilleur coup théorique. Paramétrée spécifiquement pour l’expérience, elle avait un niveau différent dans chacune des cinq parties. «Cela allait de très faible, à vraiment très dur à battre». 

En plus de ces cinq parties qui ont construit l’expérience scientifique, Mehdi Moussaïd a eu l’idée de créer une partie référence. Il a alors contacté Kévin Bordi, streameur et ancien joueur professionnel pour servir d’adversaire à la foule. Dans une partie retransmise en live, ce Maître National a assez facilement vaincu la foule.

Un résultat qui aurait tendance à décourager le chercheur lors de l’analyse des données des parties relaissées contre l’IA, mais heureusement, les choses est tout autre contre la machine. «Le pourcentage de victoire contre l’IA était très bon, et bien loin de ce que j’avais prévu. On estime que le niveau ELO de la foule était de 1700-1800 points, ce qui correspond à un joueur très sérieux». Quand on regarde le graphique ci-dessous on peut voir les différents taux de victoire pour la foule en fonction du niveau de l’IA, ainsi que la projection des taux de victoires pour un joueur avec un niveau ELO de 1165, qui avait été calculé comme la moyenne individuelle des joueurs.

image-echec
© Mehdi Moussaid

« L’écart est net, et le bénéfice apporté par la foule ne fait aucun doute » statue le chercheur.

De cette expérience, Mehdi Moussaïd tire deux grandes conclusions. La première concerne une sous-partie de son expérience. En effet, sur les cinq parties jouées, certaines l’étaient avec un sondage précisant les coups majoritaires, d’autres étaient jouées « à l’aveugle ». Selon les informations récoltées durant cette expérience, le sondage a affecté les résultats de manière bénéfique. «Le taux de victoire de la foule était de 77 % avec un sondage et de 64 % sans. Donc il a un bénéfice clair, que je n’avais pas anticipé au départ». 

Des sondages qui améliorent le niveau de jeu global

Les sondages ont en effet tendance à favoriser les idées qui sont majoritaires en premier. «Si les premiers coups proposés sont bons, ils vont être mis en avant par le sondage et la majorité va bien jouer. Mais si ces premiers coups sont mauvais, alors la foule va suivre cette mauvaise idée sur toute la ligne», explique le chercheur.

Selon lui la réussite des sondages s’explique par un biais de son expérience qu’il n’avait pas prévu. «Les meilleurs joueurs étaient très souvent ceux qui jouaient en premier, propulsant “LE” bon coup devant dès le début des sondages». Ce biais, rapidement repéré par Mehdi Moussaïd, ne peut pas vraiment s’expliquer.

Selon le chercheur, l’hypothèse la plus probable serait que «les meilleurs joueurs sont aussi les plus passionnés et les plus motivés, ce sont donc eux qui jouent en premier, et ils mettent donc leurs coups en avant». Il y aurait donc un lien entre le niveau des joueurs et leur implication dans la participation à cette expérience, explique le chercheur.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.

11 commentaires
  1. Complètement con cette “expérience” ! Le nombre de biais évidents, d’anomalies de conception, de défauts dans l’exécution, de possibilité de triche ou d’erreur sont trop nombreux pour un commentaire sur JDG.
    Au mieux c’est une expérience sur le partage d’information au sein d’un groupe.
    De toute façon, quand un chercheur passe autant de temps à chercher la reconnaissance médiatique, c’est mort, c’est un chercheur-buzzer…

  2. Vous êtes au courant que ces éléments vont faire partie d’une publication scientifique et donc que leur diffusion est une violation des Droits d’auteurs punissable de 300 000€ d’amendes et 3 ans de prison ?

  3. “Au mieux c’est une expérience sur le partage d’information au sein d’un groupe.”

    Justement la spécialité de Mehdi Moussaïd est la sociologie de groupe.

  4. pour mentholine :
    Bien que le terme Elo se trouve parfois écrit en majuscules (« ELO »), il ne s’agit pas d’un acronyme car celui-ci doit son nom à son inventeur, Arpad Elo, un professeur de physique et joueur d’échecs américain d’origine hongroise.

    ca s ecrit comme on veut puisque c est un nom propre…

  5. Comme on le dit depuis l’antiquité grecque “la foule est un monstre à mille têtes” aussi. Jusqu’à aujourd’hui on a déjà eu maintes occasions de le vérifier. Bon à savoir aussi.

  6. Cet article me laisse bien perplexe, en tant qu’ingénieur en informatique et en tant que joueur d’échecs.

    D’abord l’intelligence ne s’additionne pas. Quel que soit le domaine, laisser des cons réfléchir entre eux donnera … une synthèse de la connerie et rarement une idée géniale.

    Ensuite “discuter le coup” pour prendre la meilleure proposition sur une foule de plusieurs milliers de personnes est un processus extrêmement long et incertain. Il y aura forcément des gens qui proposeront le “bon coup” dans une position donnée, mais si ce sont des joueurs faibles ce sera plus par hasard qu’autre chose. Et ils ne sauront donc pas convaincre les autres, vu qu’ils ne le sont pas trop eux même.

    Tout cela me semble complètement bidon.

  7. La partie est limpide, dans une position à peu près égales, les blancs font une énorme erreur en jouant leur dame en f6, et elle va se faire piéger par la tour noire. Ce n’est pas de l’intelligence artificielle mais de la bêtise artificielle.

Les commentaires sont fermés.

Mode