Ideas

Por una evaluación científica más transparente

thumbnail_cou-04-2021-idea_peerreview-web_2.jpg

Ilustración © Francesc Roig para El Correo de la UNESCO

Antes de publicarse, los trabajos de investigación se someten a una evaluación paritaria efectuada por especialistas que examinan el rigor de los métodos empleados y la fiabilidad de los resultados. Sin embargo, este procedimiento crítico no está exento de algunas derivas y además escapa completamente al gran público, privado de elementos esenciales para comprender cómo se elabora la ciencia.

Alex Holcombe
Profesor de la Facultad de Psicología de la Universidad de Sydney, Australia

Un año y medio después del estallido de la pandemia de COVID–19, la ciencia ha salvado muchas vidas. Sin la investigación biomédica básica, no se habrían podido desarrollar las vacunas ni evaluar su eficacia. Sin embargo, la comunidad científica no ha sido tan transparente en otras cuestiones esenciales vinculadas a la pandemia. La utilidad de las mascarillas o la fiabilidad de los modos de transmisión del coronavirus, por ejemplo, no se han establecido de manera concluyente, debido en parte a las deficiencias de muchos estudios sobre estos temas.

La ciencia es compleja, y es fácil no efectuar correctamente un trabajo de investigación. Para evaluar eficazmente las repercusiones de un estudio científico, es necesario que los expertos se pronuncien. Es lo que se denomina revisión por pares, el tradicional proceso confidencial para evaluar los nuevos hallazgos científicos. Como investigador, sé por experiencia que otros investigadores suelen detectar en mi trabajo errores que se me han escapado. Pero el propio proceso de revisión por pares también puede ser deficiente.

Los resultados científicos recientes son fidedignos cuando sus autores han tenido tiempo para someterlos a pruebas complementarias y muchos expertos han tenido la posibilidad de analizarlos con detalle. Cuando se publica un nuevo trabajo de investigación, los científicos y demás lectores sólo ven los artículos escritos por los investigadores que lo han realizado, y nada más.

Un procedimiento a puerta cerrada

Ahora bien, la revisión paritaria de un trabajo de investigación comienza generalmente una vez que un equipo de científicos envía a una revista especializada un texto original con la descripción de nuevos resultados.

El redactor jefe, que suele ser un investigador de otra universidad o institución, lo lee y decide si el estudio cumple con los criterios de calidad de la revista. En caso afirmativo, contrata a un grupo de expertos especializados en la disciplina en cuestión.

A menudo, los expertos envían a la revista críticas para su ulterior transmisión a los autores del texto. No es que me encante, como autor que soy, leer críticas sobre mis trabajos de investigación, pero reconozco que son importantes. Tras corregir algunas lagunas de nuestra argumentación y respaldar una o varias hipótesis, podemos confiar en nuestras conclusiones y esperar que tengan más impacto.

Los consiguientes vaivenes entre autores, redactores jefes y homólogos evaluadores dan por resultado un artículo final que analiza los datos de forma más rigurosa y suele emitir una apreciación más prudente sobre sus repercusiones.

Por desgracia, el público en general nunca sabe qué elementos del trabajo de investigación examinado se han cuestionado ni qué aspectos han sido más controvertidos ya que las evaluaciones paritarias se hacen a puerta cerrada y se amurallan en la base de datos de la revista con una contraseña especial. Para conocer los elementos cuestionados por los diferentes expertos, es imperativo que el público pueda acceder a los conflictos de opinión que se generan en el transcurso de las evaluaciones.

Estudios científicos controvertidos

En 2020, dos artículos sobre los efectos de la hidroxicloroquina y algunos medicamentos contra la hipertensión en la evolución del COVID–19 fueron retirados tras haber sido publicados tras la clásica revisión paritaria solicitada por dos de las más prestigiosas revistas médicas del mundo: The Lancet y The New England Journal of Medicine. The New England Journal of Medicine aceptó el artículo después de haber recibido los comentarios de cuatro expertos y sin dar a conocer, como de costumbre, los interrogantes y problemas planteados durante el procedimiento de evaluación.

Hoy sabemos que muchos científicos que no participaron en el procedimiento de evaluación se percataron enseguida de la existencia de indicios de que los datos expuestos en el artículo eran cuestionables y, en consecuencia, enviaron cartas con críticas a la revista inmediatamente después de la publicación. El enorme interés por el tema obligó a los expertos a reexaminar el artículo y a consignar por escrito sus preocupaciones. Lamentablemente, se trata de un caso excepcional.

Otro caso: en 2013, algunos investigadores creyeron haber reproducido a una pequeña escala, inédita hasta entonces, las proteínas presentes en la superficie del virus causante del sida. Su artículo se publicó en una de las revistas más famosas del mundo, pero poco después se supo que otras cuatro revistas se habían negado previamente a aceptarlo. Esas negativas se basaron en evaluaciones paritarias de expertos homólogos que nunca se hicieron públicas. Gracias a unos periodistas, la comunidad científica se enteró de este asunto.

Ante las críticas, algunas revistas científicas han empezado a publicar el contenido de las evaluaciones paritarias. Muchos investigadores han empezado a difundir, además, sus artículos en Internet antes de presentarlos a las revistas y están cobrando auge los foros de discusión en los que se examinan y critican las publicaciones de los resultados científicos más recientes.

Los redactores jefes de las revistas científicas tropiezan cada vez con más dificultades para encontrar expertos susceptibles de llevar a cabo el procedimiento tradicional de evaluación paritaria. Muchos de ellos tienen tendencia a recurrir excesivamente a expertos que ya conocen, o a veteranos investigadores muy solicitados que no pueden satisfacer todas las demandas. Esta práctica, además de lentificar las evaluaciones paritarias, no tiene en cuenta la evolución demográfica que ha experimentado la comunidad científica.

Hoy en día es cada vez mayor el número de mujeres y miembros de minorías que se dedican a la ciencia, y las aportaciones de los científicos de países en desarrollo como China aumentan rápidamente. Pero muchos de estos investigadores siguen siendo invisibles en los radares de los experimentados científicos editores de las principales revistas de ciencias que, en su gran mayoría, tienen su sede en países de América del Norte y Europa.

Las mujeres y los investigadores de los países en desarrollo pocas veces forman parte de los procesos de evaluación

Con el tiempo estos problemas quizás se puedan resolver con la aparición de nuevas posibilidades de formular críticas y comentarios. Algunas revistas están invitando a los expertos a que publiquen en sus sitios web conexos los comentarios que emiten. Este tipo de práctica podría fomentar la diversidad de las revisiones paritarias.

Comprender mejor la ciencia

El diálogo entre expertos en el seno de la comunidad de investigadores es el que define la frontera de los conocimientos científicos y, por lo tanto, el que expresa dudas sobre la eficacia de una nueva vacuna, las previsiones del aumento de las sequías en un país, la credibilidad de los consejos nutricionales o las repercusiones económicas de los aranceles aduaneros. Si se diera a los periodistas y al público la posibilidad de tener acceso a parte de los debates entre expertos, serían más exactas las noticias difundidas en los medios, lo que facilitaría una mejor comprensión de la ciencia en general.

Los expertos también sacarían provecho de ello. Al tener conocimiento de ciertos comentarios de los evaluadores, los investigadores estarían más inclinados a reconsiderar algunas hipótesis y evitarían perder tiempo elaborando conclusiones frágiles. Los investigadores saldrían ganando. Y la ciencia también.