Поиск

Кризис репликации или почему “британские ученые” так часто ошибаются

Кризис репликации или почему “британские ученые” так часто ошибаются

Текст: Илья Юн


Как часто в обиходе мы встречаемся с фразой "британские ученые доказали"? Оказалось, что достаточно часто, потому что "британские ученые" превратились в мем и со временем полностью дискредитировали себя. К фразе привязалась негативная коннотация и она стала определением глупого или нелепого исследования (определение с Lurkmore – "синоним исследователей, работающих над совершенно безумными, идиотскими и не представляющими никакой практической ценности проектами"). Но если отбросить семантические особенности, невольно "британские ученые" подняли важный вопрос: "Как проверить исследование?". Такие исследователи закрываются ширмой научности, из-за чего простому человеку так сложно определить истинность той или иной научной работы. На деле даже в научном сообществе по этому поводу возникли большие проблемы. Одна из них – кризис репликации. Разбираемся, что это значит, зачем нужно p-значение ("р" произносится как "пи") и кому в итоге верить.

Кризис репликации или почему “британские ученые” так часто ошибаются (фото 1)

Кризис репликации

Сначала разберемся в терминологии. Под "кризисом репликации" понимается методологическая проблема – когда большинство научных исследований слишком сложно или невозможно повторить. Реплицируют исследования, чтобы убедиться в истинности результатов. Иногда кризис проявляется и в самих результатах. Даже если ученым удается повторить эксперимент/исследование, то результаты часто отличаются от заявленных ранее. Всё это вызывает много сомнений, и в итоге непонятно, чей результат верный. В публичный дискурс вопрос кризиса попал недавно, когда в 2016 году журнал Nature провел опрос на тему репликации среди 1576 ученых. Большинство согласилось, что в научной среде действительно есть кризис, 70% опрошенных пытались повторить эксперименты других научных групп и потерпели неудачу. Несколькими годами ранее ученый института ISSTI Даниэль Фанелли опубликовал своё исследование "Как много ученых фальсифицируют исследования? Систематическая рецензия и мета-анализ исследования данных". В нём он выяснил, что из числа опрошенных 1,97% признались, что фальсифицировали или дополняли результаты исследования хотя бы раз, 33,7% признались, что пользовались сомнительными практиками исследования. При этом 14,7% сообщили, что знают коллег, которые занимаются фальсификацией.

Собственно, а что плохого в фальсификации? Здесь можно развести дискуссию об объективной реальности, но всё банально: фальсификация может вредить человеческой жизни. Представьте результаты неправильного исследования в медицине. Людям могут прописать препараты, которые им не нужны, а в худшем случае такие препараты могут вызвать аллергию, ухудшение состояния или смерть. Кризис репликации наблюдается не только в социальных науках или естествознании, но и в экономике, маркетинге, политике. Даже в точных науках возникают такие проблемы. В 2011 году в ЦЕРН (Европейская организация по ядерным исследованиям) заявили, что эксперимент подтвердил: частицы нейтрино движутся быстрее скорости света. Впоследствии выяснилось, что эксперимент был неточным из-за неправильно подключенного провода. Возникает логичный вопрос: а зачем заниматься фальсификацией, кому это выгодно?

Кризис репликации или почему “британские ученые” так часто ошибаются (фото 2)

Зачем фальсифицировать и что такое "p-значение"

Наука в общественном восприятии выступает неким гарантом объективности, чем-то высоким и неподкупным. И если смотреть на главные принципы научного метода, так оно и должно быть. Но реальность показала, что факт не выводится из должного, и ученые свободно манипулируют результатами в своих целях. Наука – это такая же сфера деятельности, как маркетинг или финансы. Для продвижения по карьерной лестнице ученым нужно публиковать научные работы. Чтобы определить, насколько релевантны результаты исследования, в научной сфере начали использовать p-значение. Это вероятность получить такое же, или более экстремальное значение статистики, по сравнению с ранее наблюдаемым. Принято считать, что p-значение должно быть p < 0,05, чтобы иметь хоть какой-нибудь статистический вес. Даже не погружаясь в математику можно догадаться, что при наличии строгого численного порога, ученые могут подогнать результат. Тем самым их исследование становится "приемлемым", и они смогут за него получить рейтинг. Ещё один пункт – научные журналы, которые публикуют такие исследования. Чтобы их читало большее количество людей, нужны "кликбейты" (эквивалент в научном мире – это противоречивые названия исследований, например: "Темнокожим футболистам дают красные карточки чаще, чем белым"). Тематика популярных/острых вопросов и p < 0,05 – чаще всего этого достаточно для публикации.

В прошлом году трое ученых – доктор математических наук Джеймс Линдси, специалист по религиозной литературе эпохи Возрождения Хелен Плакроуз и доктор философских наук Питер Богоссян – на протяжении года намеренно публиковали абсурдные исследования с целью показать, что журналы фокусируют внимание не на объективных критериях, а на трендовых темах. Рассмотрим более конкретный пример: в Корнеллском университете проводили исследование о политкорректности. Студентов разделили на группы в случайном порядке, наблюдали и впоследствии дали им попробовать себя в генерации потенциального бизнес-проекта внутри кампуса. Результаты исследования гласят, что политкорректные студенты были более склонны к креативному мышлению и справились со своими задачами лучше остальных. Возникает целый список вопросов: как отследить степень политкорректности среди студентов, как оценить креативный потенциал бизнес-проекта, как проверить истинность политкорректного поведения студентов. И, в конце концов, если повторить этот эксперимент в любом другом университете, скажем, на юге Америки, или в казахстанском университете, результат останется таким же? Мы это вряд ли когда-нибудь узнаем, потому что журналам неинтересно публиковать вторичный эксперимент, который опровергает изначальный результат. Не говоря о публикации так называемых "нулевых результатов" (не имеющих релевантное значение).

Кризис репликации или почему “британские ученые” так часто ошибаются (фото 3)

Скептицизм и истинность

Но сейчас идет обсуждение возможности того, чтобы сменить p < 0,05 на p < 0,005. Такое решение усложнит сбор статистических данных, будет отсеяно большинство исследований, не заслуживающих доверия. Также ученые предлагают постоянно увеличивать выборку, поскольку, чем больше выборка, тем выше шанс получить точный, непредвзятый результат. Также набирает популярность научный сайт Retraction Watch, который публикует отклоненные исследования. Он позволит ученым публиковать реплицированные исследования и даже нулевые результаты.

Статьи по теме

Подборка Buro 24/7

Оставьте комментарий