Pour une évaluation scientifique plus transparente

par Alex Holcombe

Un an et demi après le début de la pandémie de Covid-19, la science a sauvé de nombreuses vies. Sans la recherche biomédicale, les vaccins n'auraient pas pu être développés, et leur efficacité n'aurait pas pu être évaluée. Mais la communauté scientifique n'a pas été aussi claire sur d'autres sujets critiques liés à la pandémie. La preuve de l'utilité des masques et de la fiabilité des modèles de transmission virale, par exemple, n'a pas été établie de manière concluante, en raison notamment des défaaances d'un grand nombre d'études sur le sujet.

La science est complexe : il est facile de ne pas mener correctement des travaux de recherche. Pour évaluer de manière efficace les répercussions d'une étude scientifique, il est nécessaire que des experts se prononcent. En tant que chercheur, je sais par expérience que des confrères relèvent souvent dans mes travaux des lacunes qui m'ont échappé. La communauté scientifique dispose d'un processus qui permet de mener à bien ce genre de contrôle : l'évaluation par les pairs. Mais il est défaillant.

Les études scientifiques les plus récentes ne sont dignes de confiance que lorsque leurs auteurs ont eu le temps de les soumettre à des tests supplémentaires et lorsque plusieurs experts les ont examinées en détail. Lorsque les résultats de travaux de recherche sont publiés, les lecteurs ne voient que les écrits des chercheurs ayant mené l'étude, et rien de plus.

Or, l'examen d’une recherche commence généralement une fois qu'une équipe de scientifiques envoie à une revue scientifique un manuscrit décrivant de nouveaux résultats. Le rédacteur en chef, en général un chercheur d'une autre université, l'examine et décide si l’étude est susceptible de satisfaire les critères de qualité de la revue. Si c'est le cas, il fait appel à des experts spécialisés dans la discipline en question. Le plus souvent, les experts formulent des commentaires et des critiques qui sont transmis aux auteurs du manuscrit. Je n'aime pas vraiment lire les critiques portant sur mes propres travaux de recherche, mais je sais qu'elles sont importantes. Après avoir corrigé certaines des lacunes de notre argumentation et étayé une ou plusieurs de nos hypothèses, nous pouvons avoir davantage confiance en nos conclusions et espérer qu'elles auront une plus grande influence.

Ces allers-retours entre les auteurs, le rédacteur en chef et les pairs évaluateurs donnent lieu à un manuscrit final, qui analyse les données de manière plus rigoureuse et offre généralement un point de vue plus prudent sur ses répercussions.

Malheureusement, le public n'apprend jamais quels éléments ont été remis en question, car le processus d'évaluation par les pairs se déroule à huis clos, dans l'enceinte protégée par un mot de passe de la base de données de la revue. Privés du droit de regard sur les débats, les lecteurs ne savent pas quels aspects ont été les plus controversés. Pour comprendre quels éléments sont remis en cause par les différents experts, il est impératif que le public ait connaissance des conflits d'opinion qui surgissent pendant l'évaluation par les pairs.

En 2020, deux études consacrées aux effets de l'hydroxychloroquine et de médicaments contre l'hypertension sur l'évolution de la Covid-19 ont été retirées après avoir été publiées à l'issue d'une évaluation par les pairs classique commanditée par The Lancet et The New England Journal of Medicine, deux des revues les plus respectées au sein de la communauté médicale. The New England Journal of Medicine a accepté l'article après avoir reçu les commentaires de quatre experts et, comme c'est habituel, sans rendre publics les doutes exprimés et les questions posées pendant le processus d'évaluation.

Aujourd'hui nous savons que de nombreux scientifiques qui ne participaient pas au processus d'évaluation ont immédiatement détecté des signes laissant penser que les données de l'étude étaient contestables et ont envoyé des lettres de critique à la revue dans les jours suivant sa publication. L'immense intérêt pour le sujet traité a poussé des experts à examiner l'article après sa publication et à faire part de leurs préoccupations. Malheureusement, il s'agit d'un cas exceptionnel.

Autre exemple : en 2013, des chercheurs pensaient avoir reproduit à la plus petite échelle jamais réalisée les protéines présentes à la surface du VIH, le virus responsable du sida. Leur article a été publié dans l'une des revues les plus prestigieuses au monde alors que, comme on l'a découvert plus tard, au moins quatre autres revues avaient refusé l'article. Certaines d'entre elles se fondaient sur de vives critiques de leurs pairs évaluateurs, dont aucune n’a été rendue publique. C'est grâce à des journalistes que la communauté scientifique a eu vent de l’affaire.

Face à ces critiques, certaines revues commencent aujourd’hui à publier leurs évaluations par les pairs. Et de nombreux chercheurs publient désormais leurs manuscrits sur Internet avant de les soumettre à ces dernières. Les forums de discussion dédiés à la critique de publications scientifiques sont aussi très actifs.

Dans les revues, les rédacteurs en chef ont de plus en plus de mal à trouver des experts pouvant se charger du processus d'évaluation traditionnel. Nombre d'entre eux ont tendance à recourir de manière disproportionnée à des experts qu'ils connaissent et à des chercheurs très sollicités, qui ne peuvent répondre à toutes les demandes. Cette pratique, qui ralentit le processus d’évaluation par les pairs, ne reflète pas l'évolution démographique de la communauté scientifique.

Car les femmes et les membres des minorités sont de plus en plus nombreux à se consacrer à la science, et les contributions de pays en développement comme la Chine augmentent rapidement. Et ces chercheurs échappent aux radars des scientifiques chevronnés aux commandes de revues qui sont pour la plupart basées en Amérique du Nord et en Europe.

L'essor de nouvelles possibilités de critique et de commentaire permettra peut-être de résoudre ces problèmes à l'avenir. Certaines revues invitent désormais les experts à rendre publics leurs commentaires sur les sites web qui leur sont associés. Le développement de cette pratique pourrait favoriser la diversité des évaluations par les pairs.

C'est en effet la dialectique au sein de la communauté de chercheurs qui définit la frontière des connaissances et qui exprime les doutes sur l'efficacité d'un nouveau vaccin, les prévisions d'augmentation de la sécheresse dans un pays, la crédibilité de conseils nutritionnels ou l'évaluation des conséquences économiques des droits de douane. Si les journalistes et le public ont accès à une partie du débat entre experts, les comptes rendus des médias pourront être plus exacts, ce qui permettra une meilleure compréhension de la science en général.

L’accès du public au débat entre experts permettra une meilleure compréhension de la science

Les experts en bénéficieront également. S'ils peuvent prendre connaissance de certains des commentaires de pairs évaluateurs, les chercheurs seront plus enclins à reconsidérer certaines hypothèses et éviteront de perdre du temps à élaborer des conclusions fragiles. Les chercheurs y gagneront. La science aussi.