Текст книги "Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке"

Еще до того, как махинации с изображениями вызвали обеспокоенность, Хван попал в затруднительное положение, принимая яйцеклетки от доноров, которые не были должным образом проинформированы, как их биоматериал станут использовать и какие потенциальные риски они несут из-за изъятия яйцеклеток. Хван также заставлял сотрудниц своей лаборатории жертвовать их собственные яйцеклетки на эксперименты[179]179
  Kim J., Park K. Ethical Modernization.


[Закрыть]. И обнаруживались все новые свидетельства недобросовестной научной практики: Хван перевел часть финансирования, предназначавшегося для его исследований, на контролируемые им банковские счета – и хотя он утверждал, что деньги все равно потрачены на научный прибор, в ходе расследования выяснилось, что “прибор” этот включал в себя новую машину для жены Хвана и отчисления политикам, оказывающим ему поддержку[180]180
  Там же.


[Закрыть]. Средства массовой информации в целом с таким восторгом следили за Хваном, что даже это грубое научное мошенничество не охладило пыл его почитателей. Протестующие толпились на улицах перед офисами медиакомпаний, которые выпускали какие-то негативные материалы, и бомбардировали их онлайн-форумы тысячами постов гневного содержания в поддержку Хвана[181]181
  Chong S., Normile D. STEM CELLS: How Young Korean Researchers Helped Unearth a Scandal. Science. 311, no. 5757 (2006): 22–5.


[Закрыть]. В итоге властям пришлось вмешаться. Хвана уволили из университета, а затем он подвергся уголовному преследованию, хотя и ухитрился избежать тюрьмы, получив два года условно[182]182
  Ahn M.-Y., Normile D. Korean Supreme Court Upholds Disgraced Cloner’s Criminal Sentence. Science. 27 Feb. 2014.


[Закрыть]. Сейчас он все еще занимается клонированием, но в менее престижном университете, и его работа привлекает лишь толику былого внимания. Кстати, среди всех фальшивых хвановских достижений Снаппи был настоящим: анализ ДНК показал, что он действительно клон другой афганской борзой по кличке Тай. Снаппи умер в 2015 году, но в каком-то смысле он все еще с нами: четыре уже его клона родились двумя годами позже[183]183
  Я уверен, что Снаппи, в отличие от мужчины, клонировавшего его, был чудесным. Kim M. J. et al. Birth of Clones of the World’s First Cloned Dog. Scientific Reports. 7, no. 1 (2017): 15235.


[Закрыть].

Несомненно, Хван был знаменитейшим ученым в своей стране и одним из самых выдающихся биологов в мире. При всем том внимании, которое ему уделялось, почему он думал, что ему сойдет с рук столь вопиющий, неприкрытый обман? Ответ на этот вопрос имеет отношение не только к его собственной личности (его недостаткам), но и указывает на некую поломку в научной системе. Как мы отмечали выше, она в значительной степени построена на доверии: по умолчанию каждый полагается на этичное поведение всех остальных. К сожалению, именно на подобной почве пышно цветет мошенничество – где всякие жулики, словно паразиты, могут удобненько выезжать на коллективном благорасположении научного сообщества. Бесстыдство действий Хвана лишь подчеркивает, насколько доверчивыми могут быть рецензенты и редакторы – те самые люди, на чей строгий скептицизм мы рассчитываем, – когда сталкиваются с такими потрясающими, “революционными” результатами.

Помимо фотографий клеток с микроскопа одной из самых распространенных мишеней для фальсификации изображений в биологии служат результаты блоттинга. Блоттинг – это методика, различные модификации которой используются специалистами по молекулярной биологии, чтобы разобраться, из чего состоит полученная ими в эксперименте смесь. Исходно появился так называемый саузерн-блоттинг, названный в честь его изобретателя – биохимика Эдвина Саузерна[184]184
  Я испытываю совершенно иррациональное чувство гордости из-за того, что эту лабораторную методику, используемую теперь повсеместно, Саузерн изобрел в моей альма-матер – Эдинбургском университете. Southern E. M. Detection of Specific Sequences among DNA Fragments Separated by Gel Electrophoresis. Journal of Molecular Biology. 98, no. 3 (1975): 503–17.


[Закрыть]. С помощью саузерн-блотов детектируют последовательности ДНК: благодаря радиоактивным меткам получают изображения, которые вы, возможно, видели в статьях по генетике, сообщающих о новых результатах, – размытые полоски разной толщины, образующие своего рода вертикальные лесенки, или “дорожки”[185]185
  Полностью саузерн-блоттинг выглядит примерно следующим образом. Берется молекула ДНК, разрезается ферментами на более мелкие фрагменты, которые затем прогоняются через специальный гель под действием электрического тока (этот процесс называется электрофорезом). Фрагменты разного размера движутся через гель с разной скоростью, поэтому после подачи тока в течение некоторого времени о размере фрагмента можно судить по его положению в геле. После электрофореза с помощью щелочного раствора двойная спираль ДНК расщепляется на отдельные нити (это освобождает место для зонда, как мы сейчас увидим). Затем содержимое геля переносится на специальную мембрану (обычно нитроцеллюлозную, но используется также и нейлоновая), на которую добавляется другая, изначально имевшаяся нить ДНК (тот самый “зонд”), предварительно радиоактивно помеченная. Этот зонд связывается с соответствующими участками ДНК, перенесенной на мембрану из геля, и тогда с помощью рентгеновской пленки можно увидеть, где связывание произошло (а значит, например, какие гены присутствуют в вашем образце ДНК). В итоге вы видите различные участки ДНК, выстроенные размытыми полосками разного размера и интенсивности. Вместо радиоактивных меток при блоттинге также можно использовать цветные красители.


[Закрыть]. Другие виды блоттинга позволяют обнаружить РНК и белки и носят названия, сходные с первоначальным: нозерн-блоттинг, вестерн-блоттинг и так далее[186]186
  С помощью нозерн-блоттинга детектируют РНК, а с помощью вестерн-блоттинга – белки. Еще есть истерн-блоттинг (для обнаружения модификаций белков) и даже фар-истерн-блоттинг (far-eastern). Последний метод назван так потому, что имеет отношение к истерн-блоттингу, но разработан в Японии.


[Закрыть]. Биологические эксперименты зачастую основываются на проведении конкретного вида блоттинга, детектирующего конкретные соединения: например, вестерн-блот используется для диагностики некоторых заболеваний, выявляя выработку белков, свидетельствующих о присутствии определенных бактерий или вирусов. Ученые частенько с гордостью демонстрируют фотографии блотов в качестве иллюстраций к своим статьям – блот служит веским доказательством, что в эксперименте было обнаружено определенное вещество. Вот где раздолье для фальсификаторов.

Через десять лет после “открытий” Хвана, в 2014 году, ученые из японского института RIKEN опубликовали в журнале Nature две статьи, сообщающие о новых результатах по индуцированным плюрипотентным стволовым клеткам[187]187
  Obokata H. et al. Stimulus-Triggered Fate Conversion of Somatic Cells into Pluripotency. Nature. 505, no. 7485 (2014): 641–7; Obokata H. et al. Bidirectional Developmental Potential in Reprogrammed Cells with Acquired Pluripotency. Nature. 505, no. 7485 (2014): 676–80.


[Закрыть]. В отличие от стволовых клеток, замешанных в скандале с Хваном, индуцированные плюрипотентные стволовые клетки можно получить из уже зрелых клеток, то есть нет необходимости использовать именно материал эмбрионов[188]188
  Это некоторое упрощение: индуцированные стволовые клетки имеют несколько иные свойства по сравнению с эмбриональными, что может в итоге оказаться весьма важно в медицинском контексте – это покажут лишь дальнейшие исследования. К слову, процесс получения индуцированных плюрипотентных стволовых клеток еще не был открыт в 2004–2005 годах, вот почему Хван сосредоточился на работе со стволовыми клетками эмбрионов.


[Закрыть]. Проблема в том, что стандартный процесс получения таких стволовых клеток, за который его изобретатели в 2012 году получили Нобелевскую премию, трудоемкий и малопроизводительный – он занимает несколько недель, и в результате получается много “мусора”[189]189
  Nobel Media. The Nobel Prize in Physiology or Medicine 2012. Oct. 2012. www.nobelprize.org/prizes/medicine/2012/summary/


[Закрыть]. Впрочем, группа из института RIKEN заявила, будто нашла другой способ получать такие клетки, придумав методику под названием STAP (Stimulus-Triggered Acquisition of Pluripotency, “приобретение плюрипотентности под воздействием раздражителей”). Якобы все, что нужно сделать, – это подержать зрелые клетки в слабой кислоте (или подвергнуть их иному виду умеренного стресса, скажем воздействию давления), и тогда они превратятся в плюрипотентные стволовые клетки без каких-либо хлопот. Ведущий исследователь Харуко Обоката подобрала множество впечатляющих доказательств, включавших фотографии с микроскопа, диаграммы и результаты экспериментов с ДНК, которые свидетельствовали о том, что зрелые клетки перепрограммировались в плюрипотентные.

Открытие было революционным, и Обоката сразу обрела широкую известность в Японии. Пресса захлебывалась статьями о ней и ее чудаковатых порядках в лаборатории (домашний питомец – черепаха, лабораторные помещения украшены персонажами из мира муми-троллей, а вместо белого лабораторного халата она носит каппоги – японский фартук, подаренный ей бабушкой). Ее назвали ярким примером выдающейся женщины-ученого[190]190
  Как писала газета The Japan Times, продажи каппоги резко выросли, когда Обоката прославилась. Hooper R. Stem-Cell Leap Defied Japanese Norms. Japan Times. 14 Feb. 2014.


[Закрыть]. Продлилось это недолго. Через несколько дней после публикации статей Обокаты другие ученые начали замечать на рисунках несоответствия, особенно это касалось четырех дорожек на фотографии, запечатлевшей результаты электрофореза ДНК. Все четыре должны иметь одинаковый фон, раз они получены в одном и том же геле, однако при ближайшем рассмотрении видно, что фон одной из них темнее, к тому же имеет подозрительно четкие края. Выяснилось, что этот фрагмент был вставлен с фотографии другого геля и немного изменен в размерах для лучшего соответствия остальным дорожкам[191]191
  Ishii S. et al. Report on STAP Cell Research Paper Investigation. 31 March 2014.


[Закрыть]. В статье об этом не говорилось ни слова – не очень-то похоже на действия ученого, работающего максимально прозрачно. После этой обнаружились и другие странности. Некоторые цвета на фотографиях были задним числом подкорректированы, а еще Обокату уличили в практике дублирования изображений: два якобы различных рисунка во второй ее статье были на самом деле одной и той же фотографией, только на одном рисунке она была – ничего неожиданного – зеркально отражена.

Тем временем, что довольно необычно, лаборатории по всему миру принялись лихорадочно пытаться воспроизвести эти результаты. Вероятно, одно из слабых мест методики STAP заключалось в ее поразительной простоте, так что другим ученым легко было все перепроверить. Один профессор по клеточной биологии создал сайт, куда исследователи могли посылать отчеты о выполняемых в режиме реального времени попытках повторить опубликованные результаты. Зеленый шрифт предназначался для положительных или обнадеживающих результатов, а красный – для провальных. По мере того как поступали отчеты, почти все они оказывались красными[192]192
  “Красный шрифт – для провальных результатов”: https://ipscell.com/stap-new-data. “Все они оказывались красными”: Meskus M. et al. Research Misconduct in the Age of Open Science: The Case of STAP Stem Cells. Science as Culture. 27, no. 1 (2018): 1–23. Еще эта статья дает интересную тему для обсуждения: как для развенчания методики STAP использовался интернет – анонимные комментарии к поддельным изображениям и блог, каталогизирующий попытки воспроизвести результаты.


[Закрыть]. Под совокупным давлением проверяющих изображения и пытающихся повторить результаты институт RIKEN начал расследование, в ходе которого фальсификации с рисунками в статьях подтвердились. Обоката и ее коллеги обратились в редакцию журнала Nature с просьбой отозвать статьи, что и было сделано к июню 2014 года. А в декабре Обоката из RIKEN уволилась[193]193
  Gallagher J. Stem Cell Scandal Scientist Haruko Obokata Resigns. BBC News. 19 Dec. 2014.


[Закрыть]. Более тщательное расследование выявило, что “послужной список” Обокаты содержит куда больше, чем исходные обвинения в подделывании изображений: она также включила в статьи рисунки из более ранних исследований, которые выдала за новые, и сфабрикованные данные, демонстрирующие, как быстро росли клетки. А любое “настоящее” доказательство плюрипотентности объяснялось тем, что она контаминировала образцы эмбриональными стволовыми клетками[194]194
  Katsura I. et al. Report on STAP Cell Research Paper Investigation. 25 Dec. 2014; Kameda M. “STAP Cells” Claimed by Obokata Were Likely Embryonic Stem Cells. Japan Times. 26 Dec. 2014.


[Закрыть].

Финал истории с методикой STAP чудовищно печальный. Биолог Ёсики Сасаи, блестящий специалист по стволовым клеткам и соавтор в тех статьях, не замешанный в мошенничестве, но, согласно отчету RIKEN, несущий “тяжкую ответственность” за то, что не перепроверял результаты Обокаты, покончил с собой, повесившись в здании института в августе 2014-го[195]195
  Cyranoski D. Collateral Damage: How One Misconduct Case Brought a Biology Institute to Its Knees. Nature. 520, no. 7549 (2015): 600–3.


[Закрыть]. Ему было пятьдесят два года. В своей предсмертной записке он упомянул негодование в средствах массовой информации, которое поднялось после раскрытия обмана Обокаты[196]196
  Cyranoski D. Stem-Cell Pioneer Blamed Media “Bashing” in Suicide Note. Nature. 13 Aug. 2014.


[Закрыть].

Истории Хвана и Обокаты обе явно необычны в одном отношении: мошеннические статьи снискали невероятную известность. Это были публикации в Science и в Nature, двух ведущих журналах мира. Довольно тревожно уже то, что две столь заметных пустышки сумели пройти процесс отбора в таких журналах, но еще престижность этих изданий означала, что статьи немедленно привлекут внимание всего мира – и внимание пристальное. Если такого рода мошенничество происходит на самом высоком научном уровне, получается, что куда больше фальсификаций остаются незамеченными, выходя в свет в менее известных журналах. Что ставит перед нами вопрос: как часто биологи подделывают изображения в своих статьях? В 2016 году микробиолог Элизабет Бик и ее коллеги решили это выяснить.

Рис. 1. Вестерн-блот с дублированием, найденный Бик и ее коллегами. Последние две полоски (дорожки 9 и 10) идентичны, изображение было задублировано (и то, что справа, слегка растянуто), вероятно, в программе вроде Photoshop. Та статья позднее была исправлена. Изображение взято из Bik E. M. et al., 2016

В сорока журналах по биологии они искали публикации, содержащие результаты вестерн-блоттинга, всего была отобрана двадцать тысяч шестьсот двадцать одна статья[197]197
  Bik E. M. et al. The Prevalence of Inappropriate Image Duplication in Biomedical Research Publications. MBio. 7, no. 3 (2016): e00809–16. О самой Бик см. Bartlett T. Hunting for Fraud Full Time. Chronicle of Higher Education. 8 Dec. 2019.


[Закрыть]. Поистине героически Бик лично просмотрела каждую публикацию, ища на фотоизображениях неправомерное дублирование. Она нашла достаточно, чтобы существенно пополнить галерею недобросовестных научных изображений: там было не только бесхитростное дублирование (см., к примеру, рисунок 1 на следующей странице), но и кадрирование в стиле Хвана, склеивание и подгон под нужные размеры в духе Обокаты и еще целый веер других нечестных приемов. В целом 3,8 % опубликованных статей (примерно одна из двадцати пяти) содержали сомнительное изображение. При последующем анализе публикаций из одного только журнала по клеточной биологии Бик с коллегами обнаружила еще большую долю – 6,1 %[198]198
  Bik E. M. et al. The Prevalence of Inappropriate Image Duplication.


[Закрыть]. Во многих из этих статей просто содержались честные ошибки, и авторы могли решить проблему, опубликовав соответствующие поправки. Однако примерно 10 % тех статей были отозваны, а значит, в них содержалось что-то погнуснее. Если считать эти числа репрезентативными для статей по клеточной биологии вообще, то, по расчетам Бик, до тридцати пяти тысяч публикаций в научной литературе должны быть отозваны. Были и хоть какие-то хорошие новости: похоже, более престижные журналы в среднем реже публикуют статьи с дублированными рисунками. Пожалуй, самыми интригующими оказались результаты по рецидивистам: когда Бик и ее команда обнаруживали статью с поддельными рисунками, они проверяли, нет ли дублирования и в других публикациях того же автора. Оказывалось, что есть, без малого в 40 % случаев. Дублирование одного рисунка еще можно расценить как небрежность, дублирование двух выглядит мошенничеством.

Пока мы в основном говорили о жульничестве с изображениями, но мошенничают в науке далеко не только с ними. Вероятно, успешнее можно совершить – и спрятать – мошенничество с числами: строками и столбцами чисел, составляющих набор данных исследования. В предисловии мы познакомились с Дидериком Стапелом, который попросту вбивал нужные ему значения в таблицы и выдавал за реальные результаты. Как часто происходит подобное жульничество с данными? И насколько легко его вычислить?

По счастью, точно так же как необыкновенно сложно убедительно подделать Рембрандта или Вермеера (или убедительно сфабриковать фотографию вестерн-блота), столь же трудно фальсифицировать набор данных, не оставив улик. Данные, взятые с потолка, не обладают теми свойствами, каких мы ожидаем от данных, полученных в реальном мире[199]199
  Например, известно, что если просить людей выбрать наугад число от 1 до 10, то они гораздо чаще остальных чисел будут выбирать семерку. Если в наборе данных наблюдается непропорциональное количество семерок, это явный намек на то, что к созданию этих данных приложил руку человек. См., например, тут: www.reddit.com/r/dataisbeautiful/comments/acow6y/asking_over_8500_students_to_pick_a_random_number.


[Закрыть]. По большому счету так происходит оттого, что никакая наука не может быть строго-строго точной: в числовых данных всегда есть шум. Всякий раз, как вы пытаетесь что-либо измерить, вы чуточку промахиваетесь мимо истинного значения, будь то экономические показатели страны, количество оставшихся в мире редких орангутанов, скорость субатомной частицы или даже просто рост человека. В случае с измерением роста, например, человек может немножко сгорбиться, мерная рулетка может сдвинуться на пару миллиметров или вы случайно запишете неверное значение. Это называют погрешностью (или ошибкой) измерения, и ее сложно полностью избежать, хоть и существуют способы ее уменьшить[200]200
  Важно отметить, что статистики используют слово “ошибка” не в отрицательном смысле – оно просто означает разницу между измеренным значением и истинным значением измеряемой величины.


[Закрыть].

Столь же назойливым спутником исследований, как погрешность измерения, является ошибка выборки. Как ученые мы редко когда – если это вообще выполнимо – можем изучить все до единого проявления некоего феномена, неважно, исследуем ли мы совокупность клеток, или экзопланет, или хирургических операций, или финансовых сделок. Вместо этого мы берем выборки и пытаемся по ним сделать общие выводы для группы объектов в целом (статистики называют всю группу объектов “популяцией”, даже если речь идет не о группе людей). Беда в том, что характеристики любой сделанной выборки (скажем, средний рост всех людей в вашем исследовании) никогда не будут в точности тем, что вы действительно хотите узнать (допустим, средний рост всех жителей страны). В каждой выборке будет свое, чуть другое среднее, зависящее просто от того, кто по случайности в нее попал. А для каких-то выборок, опять-таки по чистой случайности, значение может получиться сильно отличным от истинного среднего для группы в целом[201]201
  И действительно, весь смысл многих статистических тестов состоит в том, чтобы отделить реальные эффекты – скажем, нового лекарства, испытываемого учеными, – от этой случайной ошибки выборки.


[Закрыть].

Как погрешность измерения, так и ошибка выборки непредсказуемы, но они предсказуемо непредсказуемы. Всегда можно ожидать, что данные по разным выборкам, измерениям или группам будут иметь несколько разные характеристики – в терминах среднего самое большое и самое маленькое значения, да и, в сущности, все остальное. Поэтому даже если обычно погрешность измерения и ошибка выборки – досадные помехи, они могут сослужить добрую службу, обеспечивая способ выявить сфабрикованные данные. Если набор данных выглядит слишком приглаженным и аккуратненьким, чересчур похожим для разных групп, тут наверняка кроется что-то странное. Как выразился генетик Джон Бёрдон Сандерсон Холдейн, “человек – животное упорядоченное”, ему “крайне трудно имитировать разупорядоченность природы”, и это относится к мошенникам в той же мере, что и ко всем остальным[202]202
  Haldane J. B. S. The Faking of Genetical Results. Eureka. 27 (1964): 21–4. Цитируется по: Pandit J. J. On Statistical Methods to Test If Sampling in Trials Is Genuinely Random: Editorial. Anaesthesia. 67, no. 5 (2012): 456–62.


[Закрыть].

Подобные рассуждения позволили в 2011 году уличить социальных психологов Лоуренса Санну и Дирка Сместерса. Санна опубликовал работу, где утверждалось, что люди, находящиеся физически выше, оказались более просоциальными, а Сместерс заявлял, что якобы показал: когда люди видят красный и синий цвета, это влияет на их восприятие знаменитостей[203]203
  Sanna L. J. et al. Rising up to Higher Virtues: Experiencing Elevated Physical Height Uplifts Prosocial Actions. Journal of Experimental Social Psychology. 47, no. 2 (2011): 472–6; Smeesters D., Liu J. The Effect of Color (Red versus Blue) on Assimilation versus Contrast in Prime-to-Behavior Effects. Journal of Experimental Social Psychology. 47, no. 3 (2011): 653–6.


[Закрыть]. Результаты в обеих статьях на первый взгляд казались впечатляющими, однозначно подтверждая предложенные в них теории относительно человеческого поведения. Но при более тщательном изучении обнаруживалось нечто очень странное. Психолог Ури Симонсон выяснил, что для различных групп из эксперимента Санны разброс данных (разница между самым большим и самым маленьким значениями) практически идентичен, хотя группы вообще-то довольно сильно между собой различаются. Симонсон подсчитал: вероятность того, что подобное произойдет с реальными данными, крайне низка. То же касалось и работы Сместерса, только у него слишком близкими оказались средние значения в группах, и опять же – такие похожие значения просто не могли получиться при работе с реальными данными, поскольку ошибки разбросали бы числа подальше друг от друга[204]204
  Simonsohn U. Just Post It: The Lesson from Two Cases of Fabricated Data Detected by Statistics Alone. Psychological Science. 24, no. 10 (2013): 1875–88.


[Закрыть]. Как только эти проблемы – среди прочих – обнаружились, преступные статьи были отозваны, и оба исследователя с позором уволились[205]205
  Yong E. Uncertainty Shrouds Psychologist’s Resignation. Nature. 12 July 2012. Также см. Seegers J. Ontslag Hoogleraar Erasmus Na Plegen Wetenschapsfraude. NRC Handelsblad. 25 June 2012.


[Закрыть]. Такого рода статистические красные флаги сродни сигналам опасности, вынуждающим банк заморозить вашу кредитку, после того как ее вдруг использовали для оплаты дорогущего тропического круиза: необычная активность, идущая вразрез с нормальными ожиданиями, может оказаться результатом мошеннических действий[206]206
  И подобно автоматическим банковским системам обнаружения мошенничества, разрабатываются автоматические алгоритмы проверки данных, чтобы оценивать, нет ли в статьях сомнительных данных (см. пятую главу).


[Закрыть]. У сфабрикованных данных есть еще уйма других особенностей, способных заставить читателей статьи, когда те закапываются в детали, заподозрить неладное. К примеру, набор данных выглядит чересчур безукоризненно, в нем слишком мало выпавших точек, которые в реальных наборах данных появляются по всевозможным причинам: участники выбывают из исследования, приборы дают сбой и так далее. А может, распределение чисел не подчиняется ожидаемым математическим законам[207]207
  Например, есть так называемый закон Бенфорда (Benford F. The Law of Anomalous Numbers. Proceedings of the American Philosophical Society. 78, no. 4 (1937): 551–72; хотя эта закономерность была впервые подмечена в 1881 году математиком Саймоном Ньюкомом), математическое явление, наблюдаемое во многих разных совокупностях чисел. Закон Бенфорда гласит, что во множестве наборов данных первая значащая цифра в числах гораздо чаще будет маленькой, а не большой: с вероятностью около 30 % там будет стоять единица, с вероятностью 18 % – двойка, 13 % – тройка и так далее до девятки, которая выступает в роли первой значащей цифры только в 5 % случаев. Это справедливо для столь различных наборов данных, как количество жителей разных стран и регионов, цены на недвижимость и акции, площади поверхности рек, числа из последовательности Фибоначчи. Даже количества цитирований научных статей, посвященных закону Бенфорда, распределены в соответствии с законом Бенфорда (Mir T. A. Citations to Articles Citing Benford’s Law: A Benford Analysis. ArXiv (19 Mar. 2016): 1602.01205). Если этот закон кажется вам довольно странным и контринтуитивным, вы не одиноки: математики так и не объяснили убедительно, почему он справедлив. Тем не менее на практике он твердо установлен, и наборы данных, не подчиняющихся этому закону, хотя вообще-то должны были бы, кем-то, возможно, подделаны. Правда, идут жаркие споры о том, насколько закон Бенфорда надежен в качестве индикатора жульничества (Diekmann A., Jann B. Benford’s Law and Fraud Detection: Facts and Legends. German Economic Review. 11, no. 3 (2010): 397–401), так что полагаться на него можно лишь как на часть полноценной совокупности методик по обнаружению мошенничества.


[Закрыть]. Или эффекты оказываются существенно больше тех, что мы находим правдоподобными в реальном мире, а значит, слишком хороши, чтобы быть правдой[208]208
  Полезная схема приводится в этой статье: Van den Bor R. M. et al. A Computationally Simple Central Monitoring Procedure, Effectively Applied to Empirical Trial Data with Known Fraud. Journal of Clinical Epidemiology. 87 (2017): 59–69.


[Закрыть].

Некоторые фальсификаторы прекрасно знают, насколько трудно сделать так, чтобы поддельные числа выглядели правдиво, поэтому опробовали более творческие способы заметать следы. Политолог Майкл Лакур, на тот момент магистрант Калифорнийского университета в Лос-Анджелесе, в 2014 году опубликовал в журнале Science интересные результаты масштабного опроса на дому у респондентов[209]209
  LaCour M. J., Green D. P. When Contact Changes Minds: An Experiment on Transmission of Support for Gay Equality. Science. 346, no. 6215 (2014): 1366–9.


[Закрыть]. Согласно полученным данным, если человека опрашивал гомосексуал, а не гетеросексуал, то это положительно влияло на мнение респондента об однополых браках, причем эффект был существенный и длительный. Таким образом, знакомство с представителем меньшинства, чьи права обсуждаются, сильно склоняло респондентов к поддержке этих прав. Оптимистичное заявление, и оно немедленно было использовано (в конечном итоге успешно) организаторами кампании за легализацию однополых браков в ходе ирландского референдума 2015 года[210]210
  McGee H. Personal Route to Reach Public Central to Yes Campaign. Irish Times. 14 May 2015.


[Закрыть].

Эти результаты впечатлили многих, в том числе двух других политологов, Дэвида Брукмана и Джошуа Каллу, которые захотели сами провести похожее исследование. Однако, изучая набор данных Лакура, они обнаружили крайне странные вещи. Они заметили, что распределение результатов, то есть разброс между высокими и низкими значениями на шкале, соответствующей степени одобрения однополых браков, подозрительно похож на разброс значений в другом, более раннем исследовании, хорошо им известном, – CCAP (Cooperative Campaign Analysis Project, “совместный проект по анализу исследований общественного мнения”). На самом деле распределения были почти идентичны. Данные последующих этапов исследования Лакура, когда тех же респондентов через некоторое время опрашивали повторно, чтобы проверить, не изменилось ли их мнение, тоже настораживали: ни один из участников не изменил своего мнения относительно первоначального больше, чем на некое определенное значение. Но ведь в числовых данных, как мы уже обсуждали, всегда есть шум: в подобных крупных наборах данных логично ожидать с течением времени куда больше колебаний в одну и другую сторону.

Данные Лакура оказались палимпсестом: он взял результаты исследования CCAP, немножко их подкрутил, добавив случайный шум, и выдал за результаты своей новой работы. Для последующих этапов он взял точно те же данные, еще немного их подкрутив, а многочисленные детали, описывавшие, как проходила подготовка опрашивающих, полностью выдумал. Исследование вообще не проводилось. Позднее его несчастный соавтор Дональд Грин, уважаемый профессор политологии, не замешанный в подделывании данных, поражался “невероятному количеству затейливейших выдумок с изощренными деталями”, которые ему демонстрировал Лакур. “Там были всякие истории и случаи… графики и диаграммы. Казалось, никто не стал бы все это делать кроме как для того, чтобы изучить самый настоящий набор данных”[211]211
  Цитируется по: Munger M. C. L’Affaire LaCour: What It Can Teach Us about Academic Integrity and “Truthiness”. Chronicle of Higher Education. 15 June 2015.


[Закрыть].

Я отчетливо помню, как в мае 2015 года вышел отчет Брукмана и Каллы об исследовании Лакура[212]212
  Broockman D. et al. Irregularities in LaCour (2014). 19 May 2015.


[Закрыть]. Он появился в интернете как раз перед тем, как я сел в Эдинбурге на самолет, направляясь на конференцию в Сан-Франциско. К моменту посадки в США, через тринадцать часов, ученые, на которых я подписан в социальных сетях, только о нем и говорили. Отчет был разгромным, в нем в мельчайших подробностях изобличалась фальсификация Лакуром данных. Деваться ему было некуда: журнал Science вскоре отозвал статью, и Лакур распрощался с предложением работы, которое Принстонский университет сделал ему преимущественно из-за публикации в столь престижном журнале на самой заре карьеры[213]213
  Bartlett T. The Unraveling of Michael LaCour. Chronicle of Higher Education. 2 June 2015. Следует отметить, что Лакур предоставил ответ на обвинения (крайне слабый, на мой взгляд): Malakoff D. Gay Marriage Study Author LaCour Issues Defense, but Critics Aren’t Budging. Science. 30 May 2015. В итоге Брукман и Калла опубликовали результаты своего собственного, настоящего опросного исследования, в ходе которого они проверяли некоторые гипотезы из фальшивой работы Лакура, только речь шла о правах трансгендеров, а не гомосексуалов. Они пришли к выводу, что опрашивание лицом к лицу действительно снижает предвзятость, однако неважно, является ли сам опрашивающий трансгендером или нет. Broockman D., Kalla J. Durably Reducing Transphobia: A Field Experiment on Door-to-Door Canvassing. Science. 352, no. 6282 (2016): 220–4.


[Закрыть].

Учитывая, сколько усилий Лакур затратил, дабы скрыть свой обман, ему определенно было бы проще выполнить исследование по-настоящему. Тогда бы он точно избежал негативных последствий в виде крушения своей карьеры, когда его набор данных изучили бы с подобающей тщательностью. Но Лакур, как Санна, Сместерс и Стапел до него, сфабриковал данные для того, чтобы все контролировать. Исследование удовлетворяло четким требованиям, предъявляемым рецензентами журнала Science, так что они точно приняли бы статью к публикации. Оно было именно тем, что требуют публикационная система и университетский рынок труда: не снимком беспорядочной реальности, где результаты нечетки, а интерпретации неопределенны, но ясным, убедительным результатом, который сразу же можно учитывать в реальной жизни.

Опять-таки эксплуатировалось не только желание рецензентов видеть интересные и важные открытия, но и их склонность доверять. До некоторой степени доверие в процессе рецензирования неизбежно: рецензенты ведь не могут перепроверять каждую экспериментальную точку, выискивая признаки искажения результатов. Однако истории мошенничества с данными учат нас, что порог доверия может быть слишком низким, так что настоящий организованный скептицизм не срабатывает. Во имя науки ученым пора бы доверять друг другу чуть меньше.

Теперь мы готовы к вопросу: насколько мошенничество всех сортов и мастей распространено в науке? Один из способов оценить масштаб проблемы – посмотреть, сколько всего статей было отозвано. Отзы́в для статьи – это бесповоротный бесславный конец, его даже называют “высшей мерой наказания в науке”[214]214
  Brainard J. What a Massive Database of Retracted Papers Reveals about Science Publishing’s “Death Penalty”. Science. 25 Oct. 2018.


[Закрыть]. После такой смертной казни отозванные статьи попадают в своего рода чистилище. Они не просто отовсюду удаляются, поскольку это лишь вызвало бы еще большую путаницу, особенно если на них уже ссылались в других работах. Нет, они навечно остаются на сайте журнала с отметкой о том, что более не считаются легитимными. Часто эта отметка принимает форму слова “ОТОЗВАНА” (RETRACTED), напечатанного огромными жирными красными буквами и пересекающего по диагонали страницы статьи.

Лучше всего искать информацию об отозванных статьях на сайте Retraction Watch (“Наблюдение за отозванными статьями”), где отображается каждая новая отозванная работа, а у авторов и редакций журналов запрашивается комментарий, что пошло не так. В 2018 году владельцы сайта, Айвен Орански и Адам Маркус, создали базу данных, каталогизирующую более восемнадцати тысяч отозванных с 1970-х годов научных публикаций, – драгоценный клад для тех, кто интересуется скандальной стороной науки. Беглый просмотр столбца под названием “Причины отозвания” намекает на некоторые пикантные истории, стоящие за этими статьями: “конфликт интересов”, “поддельное авторство”, “неправомерные действия автора”, “порча материалов и образцов”, “судебное разбирательство”[215]215
  https://retractionwatch.com/retraction-watch-database-user-guide/


[Закрыть].

База данных Retraction Watch — список неидеальный: какие-то отозванные статьи могли быть пропущены, ведь не все журналы их открыто признают и заметно маркируют, издания очень сильно различаются в этом отношении. Еще важно отметить, что отзыв публикации не обязательно означает мошенничество – многие статьи аннулируются самими авторами, заметившими ошибку. Есть и более неоднозначные случаи: например, в начале 2020 года лауреат Нобелевской премии, химик-инженер Фрэнсис Арнольд объявила, что ее команда отзывает статью по ферментам из Science, поскольку результаты не воспроизведутся и “при тщательном изучении лабораторного журнала первого автора… выяснилось, что для ключевых экспериментов не хватает записей и сырых данных”[216]216
  Cho I. et al. Retraction. Science. 367, no. 6474 (2020): 155.


[Закрыть]. Означало ли это простую ошибку, или на совести ведущего автора, студента из лаборатории Арнольд, было что похуже, неизвестно. Признание Арнольд было очень откровенным. “Прошу у всех прощения”, – написала она в твиттере. “Я была немного занята, когда статью приняли к публикации, и не выполнила свою работу должным образом”[217]217
  https://twitter.com/francesarnold/status/1212796266494607360


[Закрыть].

Среди всех отозванных статей доля тех, которые содержат честные ошибки, составляет лишь 40 % или меньше. Преобладают те, что были отозваны из-за той или иной формы нарушения этики, включая мошенничество (около 20 %), повторное опубликование и плагиат[218]218
  Мошенничество: Grieneisen M. L., Zhang M. A Comprehensive Survey of Retracted Articles from the Scholarly Literature. PLOS ONE. 7, no. 10 (2012): e44118. В обзоре, посвященном отозванным статьям из области психологии, приведены сходные оценки: Stricker J., Günther A. Scientific Misconduct in Psychology: A Systematic Review of Prevalence Estimates and New Empirical Data. Zeitschrift Für Psychologie. 227, no. 1 (2019): 53–63. Плагиат: об этом же, в общем-то, говорится и в других расследованиях причин отзыва статей, например, см. Bozzo A. et al. Retractions in Cancer Research: A Systematic Survey. Research Integrity and Peer Review. 2, no. 1 (2017): 5; Corbyn Z. Misconduct Is the Main Cause of Life-Sciences Retractions. Nature. 490, no. 7418 (2012): 21; Li G. et al. Exploring the Characteristics, Global Distribution and Reasons for Retraction of Published Articles Involving Human Research Participants: A Literature Survey. Journal of Multidisciplinary Healthcare. 11 (2018): 39–47. См. общий обзор: Gross C. Scientific Misconduct. Annual Review of Psychology. 67, no. 1 (2016): 693–711.


[Закрыть]. Причем с течением времени число отозванных статей растет, хотя это и не обязательно подразумевает увеличение случаев мошенничества, скорее означает, что у редакторов журналов становится наметаннее глаз и авторы, как Арнольд, охотнее сознаются, что оплошали[219]219
  Fanelli D. Why Growing Retractions Are (Mostly) a Good Sign. PLOS Medicine. 10, no. 12 (2013): e1001563.


[Закрыть].

Так же как в обществе небольшое число нарушителей закона совершают несоразмерное количество преступлений, база данных Retraction Watch демонстрирует, что всего лишь 2 % ученых ответственны за 25 % всех отозванных публикаций[220]220
  Преступления в обществе: Caspi A. et al. Childhood Forecasting of a Small Segment of the Population with Large Economic Burden. Nature Human Behaviour. 1, no. 1 (2017): 0005. Ученые: Brainard J. What a Massive Database of Retracted Papers Reveals about Science Publishing’s “Death Penalty”. Science. 25 Oct. 2018.


[Закрыть]. Худшие рецидивисты попадают в “список лидеров” Retraction Watch, это своего рода Нобелевская премия наоборот[221]221
  https://retractionwatch.com/the-retraction-watch-leaderboard. Сейчас для того, чтобы попасть в “список лидеров”, нужно иметь за плечами минимум двадцать восемь отозванных статей.


[Закрыть]. Наш знакомец Дидерик Стапел занимает там пятое место – с пятьюдесятью восемью отозванными статьями[222]222
  Список с тех пор изменился, теперь Стапел там на седьмом месте.


[Закрыть]. Правда, звание абсолютного чемпиона-тяжеловеса сейчас занимает японский анестезиолог Ёситака Фудзии, который выдумал данные для несуществовавших испытаний лекарства и чье количество отозванных публикаций достигает невероятного числа – ста восьмидесяти трех[223]223
  Его уже успели обойти: по состоянию на июль 2023 года Фудзии занимает второе место со ста семьюдесятью двумя статьями.


[Закрыть]. В 2000 году в письме редакторов журнала Anaesthesia & Analgesia опубликованные Фудзии данные описывались как “поразительно красивые”[224]224
  Kranke P. et al. Reported Data on Granisetron and Postoperative Nausea and Vomiting by Fujii et al. Are Incredibly Nice! Anesthesia & Analgesia. 90, no. 4 (2000): 1004–6.


[Закрыть]. Как отметили менеджеры сайта Retraction Watch, это был не комплимент[225]225
  Marcus A., Oransky I. How the Biggest Fabricator in Science Got Caught. Nautilus. 21 May 2015.


[Закрыть]. Авторы того письма обратили внимание, что в испытаниях лекарства у Фудзии число участников, сообщивших о головной боли в качестве побочного эффекта, совершенно идентично для различных групп из тринадцати его исследований и почти идентично для еще восьми. Данные, так же как в случаях, рассмотренных нами выше, были распределены слишком уж равномерно, чтобы походить на правду. Однако больше десяти лет не предпринималось абсолютно ничего, и все это время Фудзии продолжал клепать поддельные статьи в уважаемые журналы по анестезиологии. И только в 2012 году в ходе другого анализа обнаружилось, что еще больше его данных чрезвычайно неправдоподобны, и формальное расследование положило конец его карьере[226]226
  Неправдоподобные данные: Carlisle J. B. The Analysis of 168 Randomised Controlled Trials to Test Data Integrity. Anaesthesia. 67, no. 5 (2012): 521–37. Конец карьере: Normile D. A New Record for Retractions? (Part 2). Science. 2 July 2012.


[Закрыть]. В дополнение к подтвержденному списку из ста семидесяти двух статей, которые содержали поддельные данные (с тех пор список пополнился, что вывело Фудзии на позицию рекордсмена), исследователи перечислили и те его публикации, что, по их мнению, не содержали никакого обмана. Таких было три[227]227
  Marcus A. Does Anesthesiology Have a Problem? Final Version of Report Suggests Fujii Will Take Retraction Record, with 172. Retraction Watch. 2 July 2012.


[Закрыть].

Итак, если объединить тяжеловесов из “списка лидеров” Retraction Watch со всеми остальными исследователями, чьи статьи оказывались отозванными по нечестным причинам, сколько же ученых на самом деле мошенничают? Совокупная доля отозванных статей – примерно четыре на десять тысяч публикаций, то есть 0,04 % – ободряюще мала. Это не очень-то помогает, ведь мы знаем, что, с одной стороны, часть статей отзывается не из-за мошенничества, а с другой – некоторые журналы либо не отлавливают фальшивые результаты, либо не утруждаются тем, чтобы соответствующие публикации отзывать. А что будет, если мы просто спросим ученых, анонимно, мошенничали ли они когда-нибудь?

Самое масштабное на сегодняшний день подобное исследование объединило результаты семи опросов: оказалось, 1,97 % ученых признают, что хотя бы однажды подделывали данные[228]228
  Fanelli D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLOS ONE. 4, no. 5 (2009): e5738.


[Закрыть]. Один ученый, сознавшийся в мошенничестве, на пятьдесят – это и так достаточно тревожный показатель, однако примите во внимание, что люди обычно неохотно признаются в обмане, даже и в анонимном опросе, так что реальное число точно гораздо больше. И действительно, когда ученых спрашивали, сколько они знают других исследователей, которые фальсифицировали данные, значение подскакивало до 14,1 % (хотя, конечно, кто-то из опрошенных мог ошибаться, преувеличивать проблемы с чужими исследованиями или напрасно подозревать своих конкурентов)[229]229
  Там же.


[Закрыть].

Кто же эти жулики? Возможно ли составить “профайл”, как делают в ФБР, типичного мошенника, психологический портрет, который помог бы нам предотвращать новые акты подделывания данных? В обзоре случаев мошенничества специалист по нейронаукам Чарльз Гросс сокрушался, что нет четких критериев, по которым можно было бы понять, кто обманывает. Однако он попытался описать тип человека, регулярно появляющегося в средствах массовой информации в сюжетах о мошенничестве, получающих широкую огласку. Как правило, писал Гросс, это “яркий и амбициозный молодой человек, работающий в элитарном институте в быстро развивающейся и высококонкурентной области современной биологии или медицины, где результаты имеют важное теоретическое или клиническое применение либо финансовые последствия”[230]230
  Gross C. Scientific Misconduct.


[Закрыть]. Привычная картина, если учесть, что мы обсуждали в этой главе: например, Паоло Маккиарини практически идеально подходит под данное описание.

Примечательно, что Гросс описал мошенника как мужчину. Это четко прослеживается для самых закоренелых обманщиков: из тридцати двух ученых, составляющих сейчас “список лидеров” Retraction Watch, женщина только одна[231]231
  Сейчас в списке тридцать один ученый, но соотношение мужчин и женщин примерно такое же.


[Закрыть][232]232
  Это Рашми Мадхури, индийский специалист по наноматериалам. На ее счету двадцать четыре отозванных статьи, преимущественно из-за дублирования изображений. McCook A. Author under Fire Has Eight Papers Retracted, Including Seven from One Journal. Retraction Watch. 25 April 2018.


[Закрыть]. Чтобы понять, говорит ли нам это о чем-то важном, надо знать, каким было типичное соотношение мужчин и женщин в каждой из рассматриваемых областей – и следовательно, не были ли мужчины перепредставлены. В исследовании 2013 года, фокусировавшемся на науках о жизни, это исходное различие учитывалось – и выяснилось, что мужчины действительно перепредставлены среди героев сообщений о мошенничестве от Службы по обеспечению добросовестности в научной практике США (ORI)[233]233
  Fang F. C. et al. Males Are Overrepresented among Life Science Researchers Committing Scientific Misconduct. MBio. 4, no. 1 (2013): e00640–12.


[Закрыть]. А в исследовании 2015 года, в ходе которого изучались отозванные и исправленные публикации во всех научных областях, не было обнаружено гендерных различий, хотя неясно, учли ли в нем важнейшее исходное соотношение[234]234
  Fanelli D. et al. Misconduct Policies, Academic Culture and Career Stage, Not Gender or Pressures to Publish, Affect Scientific Integrity. PLOS ONE. 10, no. 6 (2015): e0127556. Вполне правдоподобно, что мужчины должны быть ответственны за большее число случаев мошенничества в науке, чем женщины: согласно данным ФБР по арестам 2017 года из-за любого вида мошеннических действий, мужчины составляли 65,5 % при арестах за подделку документов и контрафакцию и 62,5 % – за мошенничество (правда, лишь 50,9 % – за растрату имущества; Информационная служба криминальной юстиции, “Преступления в США: 2017 год”, таблица 42: https://ucr.fbi.gov/crime-in-the-u.s/2017/crime-in-the-u.s.-2017/topic-pages/tables/table-42). Разумеется, так обстояли дела не только с мошенничеством и связанными с ним преступлениями: ни в одной из категорий преступлений по данным ФБР женщины не превосходили мужчин в процентном соотношении (ближе всего значения для растраты имущества – разница между полами составляет всего лишь около 2 %). В целом, если учесть все категории преступлений, то, согласно этим данным, в 73 % случаев арестовывали мужчин.


[Закрыть].