La première chose à vérifier en arrivant sur un papier scientifique, c’est la date de l’étude. Cela peut paraître évident, mais la date de publication est fondamentale car c’est important pour situer le contexte social, savoir les travaux auxquels l’équipe avait accès ou pas, et commencer à tirer le fil de l’étude.
Ensuite, on s’intéresse à l’identité des auteurs (qui seront presque toujours plusieurs), et en particulier celle du chef d’équipe. Sauf dans de rares cas, le grand public connaîtra rarement le nom des scientifiques en question, mais il y a tout de même quelques informations intéressantes à chercher. Sont-ils affiliés à une université prestigieuse ? L’université en question possède-t-elle une réputation dans le domaine concerné ? Cela constitue un premier indice quant à la fiabilité d’une publication.
Ensuite, viennent les questions sur leur travail. Ont-ils déjà publié sur le sujet ? Avec quels résultats ? Leurs études ont-elles porté ? Parmi les facteurs permettent de l’estimer, il y a le nombre de citations dans d’autres papiers de recherche. C’est l‘un des principaux critères sur lesquels les chercheurs se comparent : en règle générale, plus vos travaux sont cités, plus vous êtes un chercheur influent et reconnu. En effet, les articles présentant les avancées les plus importantes serviront forcément de base à d’autres travaux, qui devront donc dûment les citer. Le décompte du nombre de citations est tout sauf infaillible, mais il permet de se faire une bonne idée de la portée d’une étude. Google Scholar, entre autres, de recense le nombre de citations des papiers qu’il référence.
Le nombre de citations ne fait pas tout, et d’autres métriques existent, comme le h-index, créé par le chercheur J.E. Hirsch, et censé quantifier la contribution scientifique d’un chercheur en particulier. Les index h sont accessibles sur plusieurs plateformes comme Scinapse.
Il est aussi intéressant de vérifier si le laboratoire en question est rattaché ou non à une entreprise spécifique, et la source de financement de cette étude, car ses conclusions pourraient potentiellement faire l’objet de conflits d’intérêt et être biaisées. Par exemple, une étude vantant les bénéfices d’une substance rédigée par un scientifique affilié à l’entreprise qui la commercialise devrait immédiatement déclencher une alerte rouge. Normalement, tout chercheur dans cette situation est censé le déclarer explicitement au bas de son papier. Il faut cependant garder à l’esprit que lorsque de telles manœuvres sont mises en place, elles sont rarement très explicites et nécessitent une recherche assez approfondie pour s’en rendre compte.
On apprend que deux des chercheurs ont reçu des fonds (« grant« ) de la part du laboratoire Merck pour réaliser cette étude, et qu’un d’entre eux travaille pour le laboratoire. Dans ce cas précis, la bonne foi dont les chercheurs ont fait preuve en le déclarant et la solidité de l’étude ont tout de même permis au papier de passer le peer-reviewing, mais tous les auteurs ne sont pas aussi honnêtes.
C’est un sujet pris très au sérieux par la plupart des grands journaux scientifiques, qui ont en général une politique bien définie et précisée explicitement pour éviter de présenter des travaux sujets à des conflits d’intérêt.
1. Le peer reviewing
Aujourd’hui, tous les grands journaux et sites internet scientifiques sérieux font appel à des comités de relecture. Il s’agit de panels de scientifiques triés sur le volet pour leur esprit critique, leur rigueur, et leur connaissance du sujet en question qui sont chargés de relire, de vérifier et d’approuver un article avant qu’il ne soit publié.
Leur travail est fondamental, et lorsqu’on cherche à décortiquer un article scientifique, il est très important de vérifier si celui-ci est passé par ce processus dit de révision par les pairs, ou peer-reviewing.
Cela constitue souvent un gage de qualité car la réputation d’un journal dépend de qualité du processus de révision par les pairs. Dans les journaux les mieux indexés, ils sont aujourd’hui incroyablement pointilleux dans leurs vérifications.
Pour la petite histoire, cela n’a pas toujours été le cas. En 1996, le physicien et épistémologue Alan Sokal s’est livré à une petite expérience. A cette époque, ces comités de relecture étaient peu communs et pas forcément très rigoureux, ce qui desservait la science. Il publie donc dans le Social Text un article nommé “Transgresser les limites : vers une herméneutique transformative de la gravité quantique”. Vous n’avez rien compris ? C’est bien normal : l’article entier, à l’image de son titre, était une énorme farce. Un fourbi sans nom, un empilement de jargon aléatoire sans aucun fondement scientifique destiné à flatter les convictions de son lectorat.. que le Social Text a pourtant publié sans sourciller.
Quand le scientifique a révélé la supercherie, l’affaire – depuis passée à la postérité sous le nom d’Affaire Sokal – a fait l’effet d’une bombe nucléaire dans le monde de l’édition scientifique. Cela a grandement participé à la mise en place des comités de relecture tel qu’on les connaît aujourd’hui.
La leçon qu’il faut en tirer est simple : lire des articles publiés dans des médias avec un vrai comité de relecture est souvent un gage de sérieux et de qualité, et tous les journaux sérieux mettront à disposition une déclaration de politique générale quant à la révision par les pairs (comme Nature ici ). Ce fascinant morceau d’histoire est toujours disponible à cette adresse pour ceux qui voudraient s’amuser à le décortiquer.
A noter que cette histoire a inspiré beaucoup de monde et les hoax papers se sont multipliés depuis, comme lors de l’affaire du « chocolat qui fait maigrir« . Le plus souvent avec de bonnes intentions, pour prouver les lacunes de certaines plateformes en termes de fact-checking. Mais cette pratique est aujourd’hui très largement désapprouvée, car accusée d’être contre-productive et de participer à la désinformation scientifique.
Attention, cependant : certains comités de relecture sont moins scrupuleux et rigoureux que d’autres, et peuvent valider presque n’importe quoi moyennant une certaine somme, comme l’a montré le faux papier de Science qui s’est livré à l’exercice en 2013. Les exemples pour prouver qu’avoir un comité de relecture ne suffit pas sont légion : il faut également s’assurer de la réputation du journal.
2. Impact Factor et autres métriques
Pour ce faire, la nature du journal scientifique où l’article a été publié est une information majeure. Tous ne se valent pas, loin de là. Il existe un critère qui permet d’avoir très rapidement une idée de la fiabilité de ces journaux : il s’agit de l’impact factor (IF). C’est un score qui dépend du nombre de citations dont un papier fait l’objet sur les deux dernières années, et du nombre total d’articles “citables” sur cette même durée. Même si sa pertinence est discutée, cela reste un bon moyen de se faire une idée du poids d’un journal.
On peut trouver ces Impact Factors directement dans Google. On considère habituellement qu’avec un IF supérieur à 5, le journal commence à être très sérieux. A 8, on arrive à des journaux de référence, présents dans les 3 meilleurs pourcents. Au dessus de 10, on trouve un club très fermé de journaux spécialisés, qui font référence dans le monde entier.
A titre d’exemple, les références absolues que sont Nature (41,6), Science (37,2) ou Cell (36,2) affichent des facteurs d’impact astronomiques. Ils sont donc lus et cités par un grand nombre de journaux eux-aussi très influents tous les jours.
A l’inverse, certains journaux au titre en apparence tout aussi sérieux comme Earth présentent un impact factor inférieur à 0.2, témoin d’une influence quasiment nulle dans la sphère scientifique. Une précision, cependant : dans des domaines plutôt restreints où le nombre de publications est par conséquent assez réduit, l’échelle est très différente et bien plus réduite. Il n’est donc pas inquiétant de ne trouver aucune revue avec un impact factor supérieur à dix quand on parle de sujets de niche.
Il en existe de nombreuses variantes, comme le SCImago Journal Rank (SJR), ou le Thompson-Reuters Impact Factor (JCR), les deux plus utilisés aujourd’hui. Les différences exactes entre ces différents index sont plutôt bien expliquées sur ce topic ResearchGate, mais en substance, ils utilisent surtout des bases de données différentes et prennent en compte le prestige du journal qui les cite. Les universités de certains pays ont parfois une préférence pour l’un d’entre eux, mais les deux restent fiables et représentatifs. A noter que ces deux indices sont plus « écrasés » et grimpent moins haut que l’Impact Factor brut. A titre d’exemple, Nature, avec son IF de 41,6, a un SJR moins élevé à cause de cette différence d’échelle, mais reste néanmoins une référence absolue.
Vous pouvez trouver le SJR d’un journal et un tas d’autres outils analytiques sur le site de Scimago.
L’index i10 est également assez utilisé : il indique le nombre de papiers cités plus de 10 fois dans un journal, et représente donc le nombre d’articles à “succès” dans un journal.
Globalement, en cas de doute sur la fiabilité d’une source, partir à la chasse aux indices est un bon moyen de se faire une idée de la qualité de ce qu’on est en train de lire. Mais ces mesures ne sont pas irréprochables : il existe un tas d’argument plus ou moins solides pour critiquer le système d’Impact Factor. Certains sont tout à fait recevables : il est par exemple de notoriété publique que ces indices ont tendance à défavoriser les jeunes chercheurs. D’autres sont plus que douteux et émanent directement de chercheurs qui ont un problème personnel avec la méthode.
Si vous souhaitez vous faire votre propre idée, voici un papier qui critique l’impact factor de façon très véhémente (en anglais), et un autre plus mesuré en français. Certains proposent donc des solutions alternatives mais il n’existe pas encore de consensus sur le sujet.
Mais quoi qu’il en soit, il faut bien trouver un cadre à même de quantifier la contribution scientifique, et ces bibliométriques sont le meilleur outil que l’on ait trouvé aujourd’hui, comme le résume assez élégamment l’immunologiste John Tregoning dans cette tribune.
Accéder à des publications scientifiques
Avant tout, il faut noter que la plupart des maisons d’édition scientifique protègent jalousement un contenu qu’elles facturent aux institutions pour des sommes conséquentes. Pour cette raison, la plupart des revues majeures nécessitent une souscription, au coût souvent bien supérieur à celui d’un magazine classique. Cette situation a conduit certains à former des bases de données d’articles scientifiques gratuites, au nom de la liberté d’information. Il faut bien préciser que même si certaines sont utilisées quotidiennement par une grande partie de la communauté scientifique, la plupart restent illégales. Pour autant, pas de panique : la science gratuite existe encore, notamment grâce à Internet. Pour cela, il suffit de vous armer du titre du papier, du nom d’au moins un chercheur et / ou du Digital Object Identifier (DOI), que vous pouvez trouver sur Crossref ou sur la page présentant l’article.
Une fois en possession des informations du papier, vous pouvez commencer à le chercher.
- Google Scholar est une plateforme très utile pour accéder à de la publication scientifique. La base de données est immense, mais tous les articles référencés ne sont pas forcément gratuits ou en accès libre.
- PubMed Central est la plateforme de l’Institut National de la Santé américain. Si la publication que vous cherchez traite de médecine, de biologie, ou d’un autre champ analogue, il y a de très fortes chances qu’elle soit accessible sur PubMed.
- ScienceOpen : un agrégateur de contenu scientifique, très bien fait et parmi les plus fournis de la liste.
- DOAJ (Directory of Open Acces Journals) est un site complètement légal, fondé par des sponsors et certains éditeurs. Gratuit et très facile d’utilisation, il permet une recherche par mots clés très pratique.
- OAB (Open Acces Button) est une autre plateforme populaire et légale, créée par des étudiants. Lorsqu’on recherche un article non disponible, OAB a la particularité d’envoyer automatiquement une requête à l’auteur de l’article pour qu’il le mette à disposition.
Les chercheurs eux-mêmes : Beaucoup ne le savent pas, mais dans de très nombreux cas, les chercheurs seront ravis de fournir leurs recherches gratuitement sur simple demande ! Si un papier en particulier vous intéresse particulièrement, vous n’avez rien à perdre à écrire un e-mail au chercheur en question, et il y a de bonnes chances que celui-ci vous le fournisse.
Il existe également des plateformes pirates, dont la plus célèbre est SciHub. Véritable « Pirate Bay des sciences », il s’agit certainement de la plateforme la plus fournie, et elle est utilisée par les chercheurs du monde entier via des VPNs. Elle cependant illégale et bloquée dans de nombreux pays dont la France. Elle fait l’objet de nombreuses poursuites pour non-respect des droits d’auteur, notamment de la part du titan de l’édition scientifique Elsevier. De la même façon, on peut citer Library Genesis et Unpaywall, deux autres plateformes très fournies mais également illégales.
Evaluer la pertinence du contenu
Les papiers de recherche ne doivent pas être confondus avec les articles sur des sujets scientifiques. Les articles sont ceux que nous vous proposons de temps à autres sur le JdG, ou dont certains médias ont fait leur spécialité : des articles format presse, mais qui abordent un sujet ayant trait aux sciences.
Un papier de recherche désigne un type de document bien précis, fourni par une équipe de recherche à un média spécialisé pour qu’il publie son travail à l’attention du reste de la communauté scientifique, ce qui est très différent de l’article de presse sur le sujet. Ceux-ci sont publiés dans des revues spécialisées dans la recherche et dotés d’un comité de relecture. A noter que certains journaux combinent les deux : c’est le cas de Science et Nature, par exemple, qui ont aussi une section vulgarisée à destination du grand public. Mais pour lire ces papiers de recherche, encore faut-il les trouver.
1. La structure d’un papier scientifique
Lorsqu’une équipe pense être parvenue à un résultat concluant et digne d’être partagé, elle commence à rédiger son papier de recherche. A noter que tous ces papiers seront rédigés en anglais, qui est la langue officielle en science. Ils suivront toujours la même structure, baptisée IMRaD pour Introduction, Matériel & Méthodes, Résultats, et (and) Discussion.
L’Abstract ou « extrait » est un résumé court de toutes les parties de l’article, qui sert à savoir rapidement de quel sujet il traite et quelles conclusions on peut tirer de cette étude. C’est un élément à part, qui ne fait pas partie de la structure IMRaD stricto-sensu mais reste indispensable : pour un chercheur, cela permet de savoir si l’article vaut la peine d’être lu et pour les profanes, c’est souvent une première source d’information très intéressante.
L’Introduction explique rapidement les tenants et les aboutissants de l’expérience : quelle était la problématique de départ, quelles pistes ont été explorées, quelle méthode a été finalement employée et pour quelles raisons… lorsqu’on lit un article scientifique sans être un spécialiste du sujet mentionné, cette introduction est d’autant plus précieuse qu’elle permet de recontextualiser l’expérience. Elle explique la problématique, fait mention des recherches qui ont précédé, et explique les grandes lignes de l’expérience menée.
La partie Matériels & Méthodes présente l’ensemble du matériel utilisé lors d’un protocole et chaque étape de celui-ci, point par point. C’est un moyen d’expliquer précisément comment l’équipe compte procéder pour résoudre son problème et obtenir les résultats escomptés. Souvent, des résultats biaisés ou douteux qui ne passent pas la révision par les pairs trouvent leur source dans une partie M mal construite. Il est souvent très difficile pour quelqu’un qui n’est pas un chercheur en activité dans le domaine en question de juger de la qualité de cette partie, et nous en resterons donc là.
La partie Résultats va décrire tous les résultats des protocoles décrits dans la partie précédente, et seulement les résultats bruts, sans aucune discussion ni interprétation. Cela permet de pouvoir les apprécier en tant que tel, et de ne pas les mélanger avec une interprétation : en effet, des résultats peuvent être justes, mais l’interprétation – et donc les conclusions – bancales. Mais ces résultats bruts sont souvent très obscurs pour les non-initiés et à moins d’avoir des notions en la matière, ils vous seront rarement utiles sans la discussion (voir ci-dessous) pour les remettre dans leur contexte.
Enfin, la partie Discussion constitue le cœur du papier. C’est là que l’équipe va revenir sur ses résultats, les recontextualiser, et tenter de les expliquer pour en tirer des conclusions. C’est presque toujours la partie la plus informative du point de vue du grand public : certains sont évidemment extrêmement complexes (tout dépend du sujet) mais de nombreux auteurs font un vrai effort de clarté et de pédagogie dans cette partie, car tous les scientifiques qui pourraient avoir besoin de leurs travaux ne travaillent pas forcément dans leur domaine précis.
Pour savoir ce qu’il faut conclure d’une étude scientifique, il faut donc arriver à cerner les grands points du raisonnement décrit dans l’abstract, l’introduction et la discussion : pas forcément besoin de comprendre chaque mot, chaque chiffre et chaque terme technique pour naviguer dans un papier scientifique, à condition d’être rigoureux dans sa lecture.
2. Décortiquer un document scientifique
Avant tout, il faut préciser qu’il est très difficile de remettre en question les résultats et chiffres fournis par une étude lorsqu’on n’est pas soi-même chercheur. Nous nous garderons donc bien de proposer une “checklist de débunkage de papiers scientifiques”. Mais ce n’est pas pour autant qu’il est impossible de se faire un avis éclairé sur la solidité d’une étude : voici quelques éléments que même un novice peut rechercher.
a) La documentation et les citations
Bien plus encore que dans la presse, dans un papier scientifique, chaque affirmation doit être justifiable à l’aide d’un autre résultat. C’est pour cette raison que les papiers scientifiques mentionnent souvent des bibliographies de plusieurs pages. Elles ne sont pas là pour la décoration : il est souvent très intéressant d’aller jeter un coup d’œil aux études sur lesquelles se base l’auteur d’un article pour les points les plus importants.
A l’inverse, présenter une grande découverte sans citer aucune préalable est forcément suspect : dès l’introduction, on devrait trouver des références aux recherches importantes sur le sujet. Si un résultat est vraiment concluant et impressionnant, il a certainement été publié par une revue de référence, au facteur d’impact solide, et cité par d’autres études (à moins qu’il soit très récent). Si ce n’est pas le cas, on peut déjà commencer à douter de la portée réelle de l’étude.
b) Le périmètre de l’étude
Il est très important de garder à l’esprit le périmètre de chaque étude. Prenons un exemple courant. Beaucoup d’études passent par une phase de test sur des animaux : il est donc très important de garder ce point en tête. Par exemple lorsqu’on annonce que tel ou tel nouveau médicament a été efficace à 80% lors d’un test sur des rongeurs, il reste un pas de géant avant de pouvoir transposer cela à l’humain. Puis un autre très important avant d’obtenir les garanties nécessaires pour un essai clinique. Puis encore un autre avant de réaliser cet essai, qui n’a aucune garantie d’être concluant. Et cætera… Souvent, les auteurs d’un articles expliquent quelles seront les prochaines étapes à la fin de la partie Discussion.
Plus généralement, il faut porter une attention particulière aux conditions dans lesquelles les expériences se sont déroulées : quels sujets, quels individus, sur quelle durée ? Une expérience très courte, réalisée sur un petit échantillon de sujets non pertinents aura beaucoup de mal à convaincre, même avec des résultats exceptionnels.
Attention également à l’extrapolation des données. Chaque expérience est une mini-simulation, que l’on essaye de faire coller à la réalité mais qui ne la représentera jamais parfaitement : impossible, par exemple, de tester un médicament sur l’ensemble de la population mondiale. Il faut donc faire très attention lorsqu’un article extrapole des données d’un petit groupe à un ensemble plus large : sans arguments solides, il peut s’agir d’une dérive sensationnaliste.
c) Réplicabilité et groupes de contrôle
Le premier point à vérifier est la réplicabilité d’une expérience. Si une expérience ne peut pas donner les mêmes résultats à partir des mêmes conditions initiales, alors ses conclusions n’ont aucune valeur en théorie ! Il est toujours intéressant de vérifier comment les équipes de recherche s’assurent de la réplicabilité de leur expérience, surtout dans le cas de phénomènes rares.
Un autre critère pour valider toute expérience est la présence d’un groupe de contrôle, ou témoin. Imaginons un petit scénario pour montrer leur importance.
Vous testez une substance qui permettrait à des enfants d’améliorer leur réussite scolaire. Après deux semaines de traitement, vous leur faites passer une série d’examens sous la surveillance de l’équipe de recherche. Résultat : tous gagnent au moins deux points par rapport à leurs résultats habituels ! On en déduit que la substance améliore effectivement les résultats scolaires, n’est-ce pas ? Pas si vite : en l’absence de second groupe n’ayant pas pris le traitement en question, il est impossible d’en arriver à cette conclusion! Par exemple, les enfants auraient simplement pu s’appliquer davantage devant des chercheurs inconnus que dans leurs conditions habituelles, et on peut imaginer mille autres biais possibles simplement à cause de l’absence de groupe de contrôle.
Cet exemple simpliste doit être appliqué à toute expérience, quasiment sans exception, pour minimiser l’impact des variables extérieures sur les conclusions de l’expérience. Et les conditions du groupe de contrôle doivent également être choisies très rigoureusement.
d) Le jargon
Un papier est souvent truffé de jargon pas forcément évident à saisir. Pour un profane, il est impossible de comprendre chaque terme technique et il faut donc naviguer avec méthode. Voici quelques termes et expressions qui reviennent souvent et peuvent être utiles.
Significatif (significant) : Ce terme reviendra dans l’archi-majorité des papiers de recherche, et constitue un bon repère. Lorsqu’un chercheur qualifie un résultat de significatif, il considère qu’il a une importance particulière dans l’étude et il s’agit souvent d’un point clé du raisonnement. Comprendre quels points sont « significatifs », ou au contraire, ne le sont pas, aide à cerner l’étude.
Les expressions vagues comme « On sait depuis longtemps que… » (« it has long been known that.. ») : Si cette dénomination a sa place dans un article scientifique, elle est plus que douteuse dans un papier de recherche : si elle n’est pas documentée, c’est en substance un aveu de faiblesse qui signifie au mieux « je n’ai pas pris la peine de chercher la référence exacte », ou au pire, « je n’ai pas trouvé la référence en question » ! Ces expressions font partie des rares points discutables qui passent parfois le test des comités de relecture.
Les adjectifs qualificatifs : Ils ne font pas de mal dans un article, mais ils sont là-encore douteux dans un papier de recherche. Parler d’un résultat qui soit « bon », « important », « mauvais » au lieu de fournir une quantification précise et de le comparer n’inspire pas confiance.
Les chiffres : Il est difficile de donner des conseils de lecture pour les graphiques et les chiffres, car il y a autant de cas de figure que de papiers scientifiques. Souvent, passer en revue tous les chiffres d’une étude sera un véritable calvaire, pas forcément productif. A la place on peut se rapporter à l’abstract ou à la discussion : l’équipe de recherche a déjà fait le travail de synthétiser les données importants, et les peer-reviewers celui de valider cette synthèse.
🟣 Pour ne manquer aucune news sur le Journal du Geek, abonnez-vous sur Google Actualités. Et si vous nous adorez, on a une newsletter tous les matins.
