Recherche : comment des « cartels de la citation » font trembler les mathématiques

La recherche scientifique a vocation à être plus collaborative que compétitive. Mais il faut bien trouver des moyens pour départager les papiers anecdotiques des études les plus importantes, celles qui présentent des découvertes révolutionnaires susceptibles de s’inscrire dans l’Histoire en transformant notre civilisation.

Aujourd’hui, chaque publication doit s’appuyer sur d’autres découvertes précédemment validées à travers le processus de relecture par les pairs, lors duquel un panel d’experts dissèque rigoureusement la méthodologie et l’interprétation des chercheurs qui souhaitent publier leurs trouvailles. Chacune de ces sources doit être explicitement citée dans le nouveau papier.

Cette démarche, qui est l’un des fondements de la science moderne, a un double intérêt. Dans un premier temps, cela permet théoriquement de garantir la solidité du socle scientifique sur lequel les autres chercheurs vont s’appuyer. Dans un second temps, cela fait émerger une métrique cruciale pour juger de l’impact d’une publication : le nombre de citations. Plus un papier présente des découvertes importantes, plus les autres scientifiques vont s’y référer et le citer dans leurs propres travaux.

Par extension, plus un chercheur est cité, plus il bénéficie d’une aura importante dans la sphère académique. Un anonyme dont tous les papiers passent inaperçus a de fortes chances de finir aux oubliettes. À l’inverse, un spécialiste cité par la quasi-totalité de ses collègues peut devenir une vraie superstar dans son domaine, et donc prétendre à des récompenses prestigieuses ou à des dotations conséquentes. C’est donc aussi un paramètre important pour la carrière des chercheurs et le statut des universités… et malheureusement, cet état de fait peut donner des idées mal avisées à certains.

Car même s’il fonctionne bien, ce système est loin d’être infaillible. Il présente des lacunes très claires, et elles sont devenues encore plus criantes à la suite d’un scandale académique qui est en train de faire beaucoup de bruit.

Des montagnes de citations sorties de nulle part

Tout a commencé avec Domingo Docampo, un mathématicien espagnol qui s’intéresse de près à ces métriques. Dans la prestigieuse revue Science, il explique que sur les dernières années, il a constaté avec étonnement que le paysage académique était en train de changer dans le domaine des mathématiques.

Plus spécifiquement, il s’est intéressé au HCR, un classement des chercheurs les plus cités produit par l’entreprise Clarivate. Cette liste est très influente et généralement considérée comme une référence ; on y trouve traditionnellement les spécialistes les plus éminents. En un sens, c’est un peu le classement ATP des chercheurs. Mais selon Docampo, il était en train d’être pris d’assaut par des mathématiciens moins référencés — voire complètement inconnus au bataillon.

« Il y a des gens qui publiaient dans des journaux qu’aucun mathématicien sérieux ne lirait, dont le travail a été cité par des articles auxquels personne ne prête attention, qui venaient d’institutions que personne ne connaît dans le domaine des maths », explique-t-il dans Science.

De véritables « cartels de la citation »

Intrigué, il a donc pris l’initiative de se pencher sur l’historique de ce classement. Il a observé qu’à partir de 2021, des institutions chinoises, saoudiennes ou encore égyptiennes ont commencé à supplanter des poids lourds du secteur, comme les Universités de Princeton ou de Stanford.

Un constat pas forcément inquiétant ; ces chiffres pourraient simplement représenter le fait que de nouvelles institutions émergentes contribuaient à faire progresser la science. Mais en fouillant plus loin, il s’est aperçu que la plupart des citations présentes dans ces papiers à grand succès provenaient… des mêmes universités. Une tendance déjà bien plus suspecte, mais là encore, pas nécessairement incriminante. Il pourrait s’agir de groupes particulièrement productifs qui se font progresser les uns les autres.

La goutte d’eau qui a fait déborder le vase, c’est le type de revue où ces papiers étaient publiés. Docampos et d’autres scientifiques ont constaté que bon nombre d’entre eux avaient paru dans des revues considérées comme « prédatrices ».

Ce terme désigne des journaux scientifiques peu influents qui ont la réputation de se montrer extrêmement laxistes sur l’indispensable processus de revue par les pairs. Mais comme le suggère cet adjectif peu flatteur, ce n’est pas simplement par incompétence — mais plutôt par cupidité. Ces revues acceptent généralement de publier n’importe quelle étude bâclée à la méthodologie bancale en échange d’un gros chèque. Pour des chercheurs peu scrupuleux, c’est donc une manière de contourner les garde-fous de la collaboration scientifique afin de booster leurs statistiques avec des articles qui n’auraient jamais été acceptés dans une revue sérieuse.

Pour Docampos, la conclusion est donc claire comme de l’eau de roche : des « cliques de mathématiciens » ont artificiellement dopé les citations de leurs collègues en produisant de grandes quantités d’articles bas de gamme qui font référence à leurs travaux. De vrais « cartels de la citation », en somme.

On peut donc s’interroger sur les motivations de ces groupes. Est-ce une question d’orgueil ? C’est peu probable. En effet, les mathématiques d’élite sont un microcosme très exclusif où toutes les pointures de la discipline connaissent très bien le travail des autres. Par conséquent, des escrocs n’auraient aucune chance d’être reconnus par leurs pairs avec cette approche.

Un impact non négligeable sur les universités

Pour remonter à la vraie source du problème, il faut prendre du recul. Des spécialistes estiment qu’il convient de se concentrer non pas sur les chercheurs, mais sur les universités qui les hébergent. Car les collusions de ces acteurs peu scrupuleux sont en train de fausser complètement les statistiques dans le microcosme des maths de haut vol, avec des conséquences considérables à la clé.

En effet, ces citations sont l’un des principaux critères utilisés lorsqu’il s’agit de les départager. Or, par rapport à des disciplines comme la biologie, les mathématiques sont un champ de recherche relativement petit au niveau académique. Cela ne signifie en aucun cas qu’elles sont moins importantes, mais simplement qu’elles génèrent moins de papiers… et donc qu’elles sont statistiquement beaucoup plus vulnérables à ce genre de manipulations. À eux seuls, ces quelques cartels ont donc le pouvoir de dénaturer toutes les métriques de la discipline. Avec tout ce que cela implique pour les autres instituts de recherche.

Car le point clé de l’affaire, c’est que les institutions les mieux classées — celles qui devraient normalement être les moteurs de la recherche mondiale — peuvent toucher des sommes importantes pour alimenter leurs futurs travaux. C’est donc l’appât du gain qui serait le principal moteur de cette tendance. En se livrant à ces pratiques, une université peu regardante peut siphonner énormément d’argent. Et surtout, elle prive ainsi les autres de précieuses ressources qui auraient pu faire progresser la science.

« Les enjeux sont importants — les mouvements dans les classements peuvent rapporter où coûter des dizaines de millions de dollars aux universités », explique Cameron Neylon, professeur d’université interviewé par Science. « C’est inévitable que des gens contournent ou transgressent les règles pour améliorer leur statut. »

Les concernés contestent vigoureusement ces accusations. Les dirigeants de l’Université Médicale de Chine, une des principales institutions ciblées par Docampos, rejettent toute implication dans ce genre de manipulations. D’autres, comme l’Université du Roi AbdulAziz en Arabie saoudite, ont opté pour le silence radio.

Dans les coulisses de Clarivate, l’entreprise qui gère ce fameux classement HCR, il semble que le rapport ait mis le feu aux poudres. Elle a aussi publié un communiqué très évocateur sur le sujet, parlant de « stratégies d’optimisation du statut et des récompenses à travers des manipulations de citations ». Mais surtout, l’entreprise a opté un grand nettoyage de printemps avant l’heure en évinçant tous mathématiciens de sa liste très influente par précaution. Une décision radicale qui a fait pousser des cris d’indignation, car elle pourrait avoir des conséquences importantes pour les institutions spécialisées dans ce domaine.

Vers un grand changement de paradigme ?

Mais le plus préoccupant, c’est que les mathématiques ne sont probablement que la partie émergée de l’iceberg. Il n’y a quasiment aucun doute que d’autres chercheurs se livrent à des pratiques comparables dans d’autres domaines. Elles pourraient toutefois passer inaperçues beaucoup plus facilement dans des disciplines où le rythme de publication est plus élevé.

Docampos, de son côté, a pris le taureau par les cornes. Toujours selon Science, il travaille sur des métriques plus sophistiquées qui tiendront compte de la qualité des journaux et des institutions d’où proviennent les papiers cités, et plus seulement de leur nombre. En réduisant ainsi la dépendance du système au volume, il sera peut-être possible de couper court à ce genre de manipulations.

Mais cette idée n’est pas non plus une panacée. Elle comporte plusieurs inconvénients évidents. Par exemple, cette approche privilégierait les institutions historiquement performantes… avec le risque d’exacerber leur tendance à se reposer sur leurs lauriers, aux dépens d’autres universités moins connues, moins riches, mais pleines d’idées. Une dynamique qui est déjà critiquée aujourd’hui, et qui pourrait encore être exacerbée par ce genre de mesure. En d’autres termes, cela reviendrait à poser un pansement sur une fracture ouverte.

La conclusion qui semble ressortir de cette affaire, c’est qu’il faut désormais envisager un changement radicalement de méthode. Plusieurs chercheurs s’accordent à dire qu’il est grand temps de reléguer le nombre de citations aux oubliettes bibliométriques une fois pour toutes. Mais cela implique forcément de trouver d’autres critères représentatifs. Tout sauf évident, sans parler du fait qu’il y a un risque de devoir revenir à la case départ après moult dégâts.

Vous l’aurez compris, c’est une équation excessivement difficile à résoudre. Il sera donc très intéressant de voir comment les acteurs de la recherche scientifique, des revues aux universités en passant par les entreprises comme Clarivate, vont aborder cette vieille problématique qui revient en force à la faveur de ces controverses.

🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.