В поддержку прозрачности научного рецензирования

Перед публикацией научная статья должна получить рецензию других специалистов из той же области, которые проверяют ее с точки зрения добросовестности исследования и достоверности результатов. Однако у этого процесса имеются существенные недостатки. Кроме того, он полностью скрыт от широкой публики, которая оказывается лишена важнейших инструментов для понимания того, как проводятся исследования.

Алекс Холкомб
Преподаватель факультета психологии Сиднейского университета, Австралия

За полтора года, которые прошли с начала пандемии COVID-19, наука спасла множество жизней. Без биомедицинских исследований было бы невозможно разработать вакцину и проверить ее эффективность и безопасность. Но по другим важным вопросам, связанным с пандемией, научное сообщество не высказывалось столь же определенно. К примеру, польза ношения масок и надежность моделей передачи вируса окончательно не доказаны — в частности, из-за низкого качества исследований по этим темам.

Наука устроена очень сложно, и в ходе научного исследования легко допустить ошибку. Чтобы достоверно оценить значимость научного исследования, необходимо узнать мнение экспертов. Я сам ученый и по своему опыту знаю, что коллеги часто обнаруживают в моих работах недочеты, ускользнувшие от моего внимания. У научного сообщества есть инструмент, благодаря которому такой контроль возможен: рецензирование. Однако инструмент этот далеко не совершенен.

Результатам передовых научных исследований стоит доверять лишь в том случае, если их авторы выделили время на дополнительные проверки и тщательную оценку, проведенную несколькими экспертами. Когда труд опубликован, читатели видят только текст, написанный авторами исследования, и ничего больше.

За закрытыми дверями

Как правило, оценка исследования начинается после того, как коллектив ученых отправляет рукопись о полученных результатах в научное издательство. Редактор, обычно ученый из другого университета, изучает рукопись и решает, удовлетворяет ли она требованиям журнала. Если это так, то он приглашает экспертов в соответствующей области для проведения подробной оценки. Результаты этой оценки — зачастую принимающие форму комментариев и критики — впоследствии передаются авторам. Не могу сказать, что как автор я получаю большое удовольствие от чтения критики собственных работ, но я понимаю важность этого этапа. После того как лакуны в аргументации закрыты, а гипотезы подкреплены доказательствами, мы в большей степени можем быть уверены в правильности своих выводов и надеяться, что к ним прислушаются.

Результатом этого диалога между авторами, редактором и экспертами становится окончательная версия научной статьи, в которой более добросовестно осуществляется анализ данных и делаются более осторожные выводы.

К сожалению, читатели никогда не знают, какие элементы исследования вызывали вопросы, а какие были самыми противоречивыми: процесс рецензирования проходит за закрытыми дверями, в защищенном паролем пространстве базы данных журнала. Чтобы читатели понимали позицию экспертов по различным аспектам исследования, нужно, чтобы они знали о конфликтах мнений, возникающих в ходе рецензирования.

Спорные исследования

В 2020 году от публикации были отозваны два исследования, посвященные воздействию гидроксихлорохина и препаратов для лечения повышенного давления на течение заболевания COVID-19. До этого инцидента исследования прошли стандартное рецензирование по заказу журналов The Lancet и The New England Journal of Medicine (NEJM) — двух самых уважаемых медицинских изданий. Журнал NEJM принял статью к публикации, получив комментарии четырех экспертов и, как обычно, не предавая огласке сомнения и вопросы, возникшие на этапе рецензирования. 

Сегодня мы знаем, что многие ученые, не участвовавшие в рецензировании, быстро обнаружили признаки того, что данные, которые легли в основу исследования, носили спорный характер, и уже в первые дни после публикации направили в журнал возражения. Огромный интерес к теме статьи заставил ученых внимательно изучить материал после публикации и поделиться своими размышлениями. Увы, такое происходит крайне редко. 

Еще один пример: в 2013 году исследователи предполагали, что им удалось воспроизвести, причем впервые в столь малом масштабе, белки на поверхности вируса иммунодефицита человека, который вызывает СПИД. Статья была опубликована в одном из самых авторитетных журналов в мире, однако, как выяснилось позднее, до этого четыре других журнала публиковать ее отказались. Некоторые из них аргументировали отказ жесткой критикой со стороны рецензентов, которая не была обнародована. Научное сообщество узнало об этом случае только благодаря журналистам.

В связи с ростом критики некоторые журналы начинают делать процесс рецензирования прозрачным. И все больше ученых выкладывают рукописи в интернет перед тем, как предлагать их журналам. На форумах, посвященных критике научных исследований, ведутся активные дискуссии.

Редакторам журналов все сложнее находить экспертов, которые могли бы взять на себя рецензирование в его традиционном понимании. Многие из них склонны обращаться к знакомым ученым или к авторитетным и очень востребованным специалистам, которые физически не могут ответить на все запросы. Такая практика замедляет процесс рецензирования и, к тому же, не отражает демографическую эволюцию научного сообщества. 

Сегодня наукой все чаще занимаются женщины и представители меньшинств, а вклад ученых из развивающихся стран, например Китая, быстро увеличивается. Однако эти категории специалистов редко привлекаются к рецензированию, просто не попадая в поле зрения именитых ученых во главе научных журналов, издательства которых в большинстве своем расположены в Европе и Северной Америке.

Наукой все чаще занимаются женщины и ученые из развивающихся стран, однако они редко привлекаются к рецензированию

Появление новых каналов для критики и комментирования, возможно, поможет решить эту проблему в будущем. Некоторые журналы просят экспертов оставлять комментарии в открытом доступе на своих сайтах. Развитие этих практик может содействовать плюрализму мнений в рецензировании научных статей. 

Лучшее понимание науки 

Такой диалог между различными представителями научного сообщества и помогает очертить границу знания, позволяя выразить сомнения по поводу эффективности новой вакцины, прогнозов об учащении засух в стране, достоверности рекомендаций по питанию или оценки экономических последствий введения пошлин. Если у журналистов и широкой публики будет доступ к части научной дискуссии, информация в СМИ станет более точной, что приведет к лучшему пониманию науки в целом. 

Очевидна и польза для экспертов. Если ученые смогут знакомиться с комментариями рецензентов, то они будут тщательнее проверять гипотезы и с большей осторожностью делать выводы. Ученые от этого только выиграют — как и наука в целом.

Читайте также:

Научные исследования: пандемия послужит импульсом, «Курьер ЮНЕСКО» июль-сентябрь 2020 г.

СЕЗАМЕ: передовая наука на Ближнем Востоке, «Курьер ЮНЕСКО», октябрь-декабрь 2018 г.

Ада Е. Йонат: «Занятие наукой — это как восхождение на Эверест», «Курьер ЮНЕСКО», январь-март 2018 г.

***

Подпишитесь на «Курьер ЮНЕСКО» и узнавайте о новых выпусках первыми. Подписка на электронную версию 100% бесплатна.

«Курьер ЮНЕСКО» в социальных сетях: Twitter, Facebook, Instagram

by Alex Holcombe

A year and a half into the Covid-19 pandemic, science has saved many lives. Without basic biomedical research, the vaccines could not have been engineered and evaluated for safety and efficacy. But the scientific community has not been as clear on other critical issues related to the pandemic. The evidence on the usefulness of masks, for example, and on the reliability of models of viral transmission, has been tentative. This is partly because many of the relevant studies have been flawed.

Science is complex, and it is easy to conduct a scientific study badly. To effectively evaluate the implications of these studies, we need experts to review  them. This is called the peer review – the traditionally confidential process for evaluating new scientific findings. As a researcher, I know from experience that other researchers often see flaws in my work that have eluded me. But the peer review process itself can also be flawed. 

The most recent scientific findings are only trustworthy when their authors have had time to submit them for additional tests, and when multiple experts have had a chance to scrutinize them. When new research is published, scientists and others can only see the writings of the researchers who conducted the study, and nothing more.

Traditionally, the peer review process begins after a team of scientists submits a manuscript describing new results to a scientific journal. An editor, usually an academic from another university, reads it and decides whether the work meets the standard of the journal. If it does, the editor will recruit experts on the topic being evaluated.   

Often, one or more of the experts will then provide the journal with a long list of comments and criticisms, which are forwarded to the authors. The comments could push back against our conclusions and challenge us to make our case more strongly, or to soften some of our claims.

As an author, I don’t relish seeing criticism of my work, but I know it’s necessary for scientific progress. After correcting some of the flaws in our logic, or substantiating the assumptions that have not been justified, we can be more confident about our conclusions, and hope they will have a greater impact. 

The back-and-forth that follows between the authors, editor, and expert reviewers results in a final manuscript, which analyses the data more rigorously and usually offers a more cautious take on its implications – whether or not it is finally accepted for publication.  

Unfortunately, the public never discovers which elements of the study were called into question, or which aspects of the debate were the most controversial. This is because the peer review process happens behind closed doors – within the password-protected walls of the journal’s database. To know where different experts stand on the issues, it is imperative that the public is aware of the conflicts of opinion that arise during peer reviews.

In 2020, two studies of the impact of hydroxychloroquine and blood pressure medications on the progress of Covid-19 were retracted after publication and conventional peer review. The Lancet and The New England Journal of Medicine(NEJM), two of the world’s most respected medical journals, both had experts examine the studies in peer review. The NEJM accepted the article after receiving comments from four experts, and, as is standard, any uncertainty expressed or questions posed during the peer review were not made public. 

We still do not know what the experts said. What we do know is that many scientists who were not included in the peer review process immediately detected signs that the data might be questionable, and wrote critical letters to the journal within days of its publication. 

In this case, the huge interest in the subject motivated experts to review the article and write in with their concerns. Unfortunately, this is quite unusual.  

Away from the high stakes of pandemic-related studies, evaluations of research are rarely made public. In 2013, researchers believed that they had created the smallest-scale reconstruction yet of proteins on the surface of HIV, the virus that causes AIDS. Their article was published in one of the world’s most prestigious journals. But as we later discovered, at least four other journals  had previously rejected the paper – some of them because of strong criticism from their peer reviewers. None of these were made public. It was only because other experts were approached by journalists that the scientific community learned about the case.

In response to growing criticism, many journals are now opening up – giving outsiders a chance to view the live disagreements that are characteristic of cutting-edge science. And many researchers have begun posting their manuscripts on the internet before submitting them to journals. Websites for scientists to discuss and criticize new research now buzz with activity.

Editors at the journals are finding it increasingly difficult to find experts for the traditional review process. Many editors tend to rely on experts they already know, and on experienced researchers who are highly sought after, and therefore unable to keep up with the demand.  This slows down the peer review process, and does not reflect the changing demographics of the scientific community. 

Today, more women and minorities are involved in the sciences, and contributions from developing countries – such as China – are increasing rapidly. But many of these researchers remain off the radar of the senior scientists who edit journals that are located mostly in North America and Europe.

Over time, these problems may be resolved with the emergence of  new avenues for criticism and commentary. Some journals now invite experts to make their comments public on their associated websites. The development of this practice could promote diversity in peer reviews.

It is the dialogue among experts within the research community that defines the frontier of knowledge – that conveys the uncertainty associated with the effectiveness of a new vaccine, the  forecast of more droughts in a country’s future, the credibility of dietary advice, or an estimate of the economic consequences of tariffs. Giving journalists and the public access to some of the debates among experts would mean that media reports are more accurate – leading to a better understanding of science in general. 

The experts will also benefit. Having access to some of the peer review comments, researchers would be less likely to assume that a finding is totally solid, and more likely to reconsider their conclusions. Researchers will benefit. So will science.