Tornar as avaliações científicas mais transparentes

Antes de ser publicado, o trabalho de pesquisa é avaliado por pares, especialistas que examinam o rigor da abordagem e a confiabilidade dos resultados. No entanto, esse processo fundamental tem algumas falhas graves. Também ignora completamente o público em geral, que é privado dos elementos essenciais para compreender como a ciência é desenvolvida.   

Alex Holcombe
Professor da Faculdade de Psicologia da Universidade de Sydney, na Austrália.

A Um ano e meio após o início da pandemia da COVID-19, a ciência salvou muitas vidas. Sem a pesquisa biomédica básica, as vacinas não poderiam ter sido desenvolvidas e avaliadas em termos de segurança e eficácia. No entanto, a comunidade científica não esclareceu outras questões essenciais relacionadas à pandemia. As evidências sobre a utilidade das máscaras e sobre a confiabilidade dos modelos de transmissão viral, por exemplo, não são definitivas. Isso se deve, em parte, ao fato de muitos dos estudos relevantes apresentarem falhas.

A ciência é complexa, e é fácil mal conduzir um estudo científico. A fim de avaliar de forma eficaz as implicações desses estudos, são necessários especialistas para revisá-los. Isso é chamado de “revisão por pares”, o processo tradicionalmente confidencial de avaliação de novas descobertas científicas. Como pesquisador eu sei, por experiência própria, que outros pesquisadores muitas vezes encontram falhas em meu trabalho que passaram desapercebidas por mim. No entanto, o próprio processo de revisão por pares também pode apresentar falhas. 

As descobertas científicas mais recentes são confiáveis apenas quando seus autores tiveram tempo de submetê-las a testes adicionais, e quando vários especialistas tiveram a chance de examiná-las de forma minuciosa. Quando uma nova pesquisa é publicada, os cientistas e terceiros podem apenas ver os escritos dos pesquisadores que conduziram o estudo, e nada mais.

Por trás de portas fechadas

Tradicionalmente, o processo de revisão por pares começa depois que uma equipe de cientistas submete um manuscrito que descreve os novos resultados a um periódico científico. Um editor, em geral um acadêmico de outra universidade, lê e decide se o trabalho atende ao padrão do periódico. Em caso afirmativo, o editor recrutará especialistas no tema sob avaliação.   

Geralmente, um ou mais dos especialistas fornecem ao periódico uma longa lista de comentários e críticas, que são encaminhados aos autores. Os comentários podem contrariar nossas conclusões e nos desafiar a defender nossa posição com mais firmeza, ou podem suavizar algumas de nossas afirmações.

Como autor, eu não aprecio ver críticas ao meu trabalho, mas sei que isso é necessário para o progresso científico. Depois de corrigir algumas das falhas em nossa lógica, ou fundamentar as suposições que não foram justificadas, podemos nos sentir mais confiantes quanto a nossas conclusões e esperar que elas tenham um impacto maior. 

As idas e vindas que se seguem entre autores, editor e revisores especializados resultam em um manuscrito final, que analisa os dados com mais rigor e comumente oferece uma visão mais cautelosa de suas implicações – quer seja, ou não, finalmente aceito para publicação.

Infelizmente, o público nunca fica sabendo quais elementos do estudo foram questionados, ou quais aspectos do debate foram mais controversos. Isso ocorre porque o processo de revisão por pares acontece a portas fechadas – dentro do banco de dados, protegido por senhas, do periódico. Para saber a posição sobre os temas dos diversos especialistas, é imperativo que o público esteja ciente dos conflitos de opinião que surgem durante as revisões por pares.

Estudos contestados 

Em 2020, dois estudos sobre o impacto da hidroxicloroquina e de medicamentos para pressão arterial no progresso da Covid-19 tiveram de se retratar após a publicação e a revisão convencional por pares. The Lancet e The New England Journal of Medicine (NEJM), dois dos mais respeitados periódicos médicos do mundo, submeteram os estudos ao exame de especialistas na revisão por pares. O NEJM aceitou o artigo após receber comentários de quatro especialistas e, como é padrão, qualquer incerteza expressa ou questionamentos suscitados durante a revisão por pares não foram tornados públicos.

Ainda não sabemos o que disseram os especialistas. O que sabemos é que muitos cientistas que não foram incluídos no processo de revisão por pares imediatamente detectaram sinais de que os dados poderiam ser questionáveis e escreveram cartas críticas ao periódico, poucos dias após sua publicação.

Nesse caso, o grande interesse pelo assunto motivou os especialistas a revisarem o artigo e a redigirem suas preocupações. Infelizmente, isso é bastante incomum.

Longe dos altos interesses dos estudos relacionados à pandemia, as avaliações das pesquisas raramente são tornadas públicas. Em 2013, pesquisadores acreditavam ter criado a reconstrução em menor escala de proteínas na superfície do HIV, o vírus que causa a Aids. Seu artigo foi publicado em um dos periódicos mais conceituados do mundo. No entanto, como descobrimos mais tarde, ao menos quatro outros periódicos já haviam rejeitado o artigo – alguns devido às duras críticas por parte de seus revisores. Nenhuma dessas críticas foi tornada pública. A comunidade científica tomou conhecimento do caso apenas porque outros especialistas foram procurados por jornalistas..

Em resposta às crescentes críticas, muitos periódicos agora estão se abrindo, dando a pessoas de fora a oportunidade de observar as discordâncias ao vivo, que são características da ciência de ponta. Além disso, muitos pesquisadores começaram a postar seus manuscritos na internet, antes de submetê-los aos periódicos. Os sites que funcionam como espaços para que os cientistas discutam e critiquem novas pesquisas agora fervilham de atividade.

Cada vez mais, os editores dos periódicos têm se deparado com dificuldades para encontrar especialistas para o processo de revisão tradicional. Muitos editores tendem a confiar em especialistas que já conhecem e em pesquisadores experientes, que são muito procurados e, portanto, são incapazes de atender à demanda. Isso retarda o processo de revisão por pares e não reflete as mudanças demográficas da comunidade científica.

Atualmente, mais mulheres e pessoas pertencentes a minorias estão envolvidas nas ciências, e as contribuições dos países em desenvolvimento, como a China, têm aumentado rapidamente. Contudo, muitos desses pesquisadores permanecem fora do radar dos cientistas seniores, que editam periódicos sediados principalmente na América do Norte e na Europa.

Mulheres e pesquisadores de países em desenvolvimento permanecem fora do radar dos editores científicos

Com o tempo, esses problemas podem ser resolvidos com o surgimento de novos caminhos para críticas e comentários. Agora, alguns periódicos incentivam especialistas a tornar públicos seus comentários em suas páginas de internet. O desenvolvimento dessa prática pode promover a diversidade nas revisões por pares.

Uma melhor compreensão sobre a ciência
 

O diálogo entre os especialistas da comunidade de pesquisa é o que define a fronteira do conhecimento – que transmite a incerteza associada à eficácia de uma nova vacina, a previsão de mais secas no futuro de um país, a credibilidade de conselhos relacionados a dietas ou uma estimativa das consequências econômicas dos impostos. Dar aos jornalistas e ao público acesso a alguns dos debates entre especialistas significaria que as reportagens seriam mais precisas – o que levaria a uma melhor compreensão sobre a ciência em geral. 

Os especialistas também se beneficiarão disso. Ao ter acesso a certos comentários da revisão por pares, os pesquisadores estariam menos propensos a presumir que uma descoberta é totalmente sólida, e mais propensos a reconsiderar suas conclusões. Os pesquisadores serão beneficiados, bem como a ciência. 

Leia mais:

Pesquisas: “Esta epidemia será um detonador”, O Correio da UNESCO, jul./set. 2020
SESAME: excelência científica no Oriente Médio, O Correio da UNESCO, out./dez. 2018
Ada E. Yonath: “A ciência é desafiadora como escalar o Monte Everest”, O Correio da UNESCO, jan./mar. 2018

Assine O Correio da UNESCO para artigos instigantes sobre assuntos contemporâneos. A versão digital é totalmente gratuita.

Siga O Correio da UNESCO: Twitter, Facebook, Instagram