Текст книги "А мне помогло. Как ориентироваться в море информации о здоровье и осознанно принимать решения"

Сегодня у ученых и врачей есть доступ к огромному массиву данных, так называемым Big Data (с англ. большие данные). С приходом цифровизации многие больницы и поликлиники вместо бумажных карточек стали вести электронные медицинские записи, которые можно объединить в электронные регистры, чтобы регулярно и автоматически собирать информацию об обращениях в поликлинику, госпитализациях, операциях, рождении и смерти. Это так называемые данные реальной клинической практики (ориг. real world evidence). Например, британская база электронных историй болезней CPRD (Clinical Practice Research Datalink) содержит записи более 17 млн человек, обратившихся в государственные поликлиники с 1980‐х годов по сегодняшний день. А база данных страховой компании Medicare в США содержит более 55 млн пациентов старше 65 лет. Также есть большие когортные исследования: Биобанк Великобритании (UK Biobank) или Европейское проспективное исследование связи рака с питанием (EPIC), каждое из которых включает более полумиллиона человек.

Казалось бы, эти большие данные могли решить проблему исследований с недостаточной мощностью и предвзятых маленьких выборок. А может, это звучит слишком хорошо, чтобы быть правдой?

Мне вспоминается легенда о царе Мидасе, в которой греческий бог Дионис в благодарность за заботу о его учителе пообещал царю Мидасу любой дар, какой только захочет. Мидас попросил, чтобы все, к чему он прикасается, превращалось в золото. Сперва довольный своим выбором, уже через несколько мгновений царь Мидас осознал, что навлек на себя проклятие, поскольку еда превращалась в золото прежде, чем он мог ее съесть. В мире больших данных все, к чему вы прикасаетесь, тоже превращается в золото. Но, как и царю Мидасу, нам нужно быть осторожными с желаниями и силами, которые мы полностью не понимаем.

Большим данным присущи свои ошибки, так называемое проклятие больших чисел.

Например, чем больше данных, тем меньшие различия можно заметить. Даже если различие совсем незначительное. В следующих главах мы еще поговорим о размере эффекта и почему не все результаты можно считать значимыми (о разнице между статистической и клинической значимостью).

Еще одна из причин появления ошибочных результатов в больших выборках – проблема множественных сравнений: если делать что-то достаточное количество раз, можно получить даже редкий результат. Выбросить пять раз подряд монетку вверх орлом – это редкость, но если бросать монетку тысячу или десять тысяч раз, можно получить даже такой редкий результат. Так и в медицинских исследованиях, если сделать сотню или тысячу сравнений исходно сопоставимых показателей, то какие-то обязательно, притом случайно, продемонстрируют наличие существенных различий.

При этом проблема множественных сравнений необязательно присуща только большим выборкам, так как дело не в размере выборки, а в количестве сравнений. Однако обычно электронные базы данных содержат информацию о сотнях наименований болезней, операций и других событий в жизни пациентов, а также их лабораторные анализы, заключения инструментальных методов диагностики, таких как УЗИ и рентген, что может привести к соблазну посмотреть, как связаны множество различных признаков с десятками, а то и сотнями состояний. При наличии достаточного количества данных, терпения и свободы в выборе метода анализа случайное выявление значимых связей неизбежно.

Так произошло с учеными из Университета Южной Калифорнии, которые, как и Салли и Беннетт Шайвиц, изучали работу человеческого мозга. Для этого участникам исследования показывали изображения людей в различных ситуациях – например, в окружении радостных и приветливых людей – или, наоборот, в ситуациях, когда люди настроены явно недоброжелательно, – и просили представить, как бы чувствовал себя человек, оказавшись там. А аппарат функциональной МРТ сканировал активные участки мозга.

Но прежде чем приступить к сканированию участников, ученые должны были протестировать аппарат. Обычно для этого в аппарат помещают мешок с минеральным маслом, который дает хороший контраст, но авторы эксперимента захотели посмотреть на что-то более неоднородное, с разной градацией контраста и разными текстурами. И совершенно случайно выбор пал на семгу, которую они купили в соседнем супермаркете, когда пошли на обед. Для чистоты эксперимента ученые не просто провели рыбе сканирование головного мозга, но и остальные тесты, включая и задания с фотографиями людей. Конечно, рыба не могла дать ответ, но снимки головного мозга показали активные участки, которые менялись от задания к заданию [3]. Но ведь рыба была мертвой?! Почему же мозг продолжал работать?

Чтобы лучше понять, что именно произошло, давайте вспомним, как работает аппарат МРТ и чем отличается аппарат функциональной МРТ, который редко встречается в больницах, но часто используется в научных исследованиях.

Человеческое тело примерно на две трети состоит из воды. Молекула воды состоит из двух атомов водорода и одного атома кислорода. Так вот, ядра атомов водорода при определенных обстоятельствах превращаются в микроскопический компас. А магнитно-резонансный томограф – это, по сути, большой магнит. Под воздействием сильного магнитного поля ядра атомов водорода упорядочиваются, как по команде «смирно!». А после, возвращаясь на прежний энергетический уровень, ядра испускают резонансные волны. Небольшие различия в этих волнах фиксируются аппаратом МРТ и преобразуются в трехмерное изображение исследуемого органа, которое можно посмотреть на экране или распечатать на пленке.

Но если обычный аппарат МРТ показывает нам структуры мозга, то аппарат функциональной МРТ показывает активность участков головного мозга при выполнении различных задач. Для этого, помимо резонансных волн, он фиксирует насыщение крови кислородом в разных областях мозга. Кровь, богатая кислородом с гемоглобином, слабо отталкивается магнитными полями, в то время как кровь, обедненная кислородом, притягивается. А вместе с молекулами гемоглобина, транспортирующими кислород, в головной мозг поступает глюкоза – необходимый источник энергии. Когда область мозга активна, приток крови к ней также увеличивается, что и фиксируется аппаратом функциональной МРТ.

Полученные сигналы потом передаются на компьютер для обработки. Каждый снимок головного мозга содержит около 130 000 сигналов, или, как их еще называют, вокселей, которые являются аналогами двумерных пикселей для трехмерного пространства. Чтобы понять, какой участок мозга «активен», компьютер производит тысячи сравнений каждого вокселя с другими, что неизбежно приводит к проблеме множественных сравнений. Если сделать много тестов, по крайней мере некоторые окажутся положительными по чистой случайности. Среди ученых и медицинских статистиков в ходу пословица: столкнувшись с морем данных, сопротивляйтесь желанию отправиться на рыбалку, подразумевая, что, если пытаться «выловить» какой-то результат, у вас обязательно получится.

Так и у мертвой рыбы увидели активные участки в головном и спинном мозге. Но это не «ответ» мертвого мозга на задания, а случайные и ошибочные сигналы. Чтобы избежать ошибок, связанных с множественными сравнениями, существуют различные методы коррекции и поправок, которые устраняют ложные сигналы.

В 2012 году авторы эксперимента с мертвой рыбой получили Шно́белевскую премию [4]. Это пародия на престижную международную награду – Нобелевскую премию – вручается «за достижения, которые заставляют сначала засмеяться, а потом – задуматься». Как эксперимент с мертвой рыбой при кажущейся несерьезности заставил задуматься ученых о проблеме множественных сравнений. Если до эксперимента с мертвой рыбой от 25 до 40 % опубликованных исследований с использованием функциональной МРТ не делали необходимые поправки [5], то уже через 2 года после показатель упал до 10 % [4]. И за это стоит поблагодарить мертвую рыбу, которую, кстати, ученые съели после эксперимента.

Проблема множественных сравнений встречается не только в исследованиях по изучению мозга. Эта проблема давно знакома генетикам, которые тоже делают сотни и тысячи сравнений, чтобы найти, какой из 12 млн генетических маркеров связан с той или иной болезнью. А также экспертам, изучающим влияние диеты на риск раковых и других заболеваний. В таких исследованиях ученые анализируют как минимум десятки различных продуктов и их компонентов и без должной поправки те или иные продукты периодически винят в развитии рака или, наоборот, находят полезными, хотя и то и другое лишь результат случайности. Подобные ошибки закрадываются и в исследования эффективности спортивных добавок и коктейлей, когда одновременно оценивается эффект по многим показателям – выносливость, скорость, сила, усталость, энергичность и т. д. Вполне вероятно, хотя бы один да окажется положительным.

В прошлой главе мы говорили о том, что взаимосвязь между двумя событиями может быть причинно-следственной, когда одно явление (причина) приводит к другому (следствие). Но также упоминали, что «после» не значит «вследствие», поскольку видимая взаимосвязь на самом деле может оказаться случайной. Два явления могут происходить вместе или последовательно друг за другом, но не быть связанными. Например, чем больше продается маргарина в стране, тем выше риск разводов [17]. В таких случаях речь идет о ложной, или иллюзорной, корреляции, то есть видимая связь между явлениями – случайность, вероятно, в результате множественных сравнений.

Если сравнивать все со всем на свете, обязательно обнаружится какая-то взаимосвязь, но в большинстве случаев это случайность. Если достаточно долго искать подтверждения ваших идей, вы обязательно найдете исследования, их подтверждающие. Например, если верите, что детей приносят аисты, даже этому можно найти подтверждение с помощью статистики. Результаты исследования, опубликованные в 2001 году, показали: чем больше количество пар аистов в разных европейских странах, тем больше в этих странах рождается, а может, появляется детей [30]. Возьмите все приметы и суеверия, народные рецепты из зеленой аптечки и просто сложившиеся годами практики и ритуалы и начните искать им подтверждения. Вы обязательно найдете.

Например, сторонники идеи о связи прививок и аутизма часто ссылаются на такой аргумент: смертность от дифтерии начала снижаться в 30‐х годах прошлого века еще до введения массовой вакцинации (на рисунке внизу этот момент отмечен красной стрелкой). А значит, в вакцинации не было необходимости или какой-то пользы.

Рисунок 19. Смертность от дифтерии

Да, это правда. Действительно, смертность от дифтерии пошла на убыль ДО вакцинации по причине появления нового способа лечения – противодифтерийной сыворотки. Люди продолжали заболевать, но теперь их могли вылечить. Но, как видно на графике выше, этого было недостаточно, чтобы избежать всех смертей. Заболеваемость дифтерией и, соответственно, смертность снизились до нуля только после введения вакцинации в 40‐х годах [1].

Рисунок 20. Заболеваемость дифтерией в Великобритании

Примерно такой же логике следуют те, кто поддерживает идею о связи между парацетамолом и аутизмом. В 80‐е годы количество случаев аутизма увеличилось, тогда же увеличилась частота назначения парацетамола детям. Однако предположение, что парацетамол был тому причиной, ничем не подтверждается. В этот период увеличилось и число детей с астмой, что авторы тоже связали с увеличением приема парацетамола.

Несколько лет назад студент Гарварда Тайлер Виген в своей книге «Ложные корреляции» собрал самые нелепые корреляции, как, например, корреляции между потреблением курицы и объемом импорта сырой нефти в США. Вы можете их найти на его страничке в интернете: https://www.tylervigen.com/spurious-correlations.

Помните, любая видимая взаимосвязь – лишь гипотеза и подлежит проверке научными исследованиями.

В первом параграфе главы мы поговорили о двух причинах, почему научные исследования могут ошибаться, – маленькие выборки и множественные сравнения без поправок. А также вспомнили о важности комплексной оценки результатов и опасности выборочного цитирования. Далее разберем еще несколько не менее важных причин ошибочных результатов в научных исследованиях – влияние третьего фактора и ошибки отбора.

Рисунок 21. Диагностированные случаи аутизма с 1960 по 1990 год

§ 2. Репрезентативность выборки и ошибки смещения

Закройте на секунду глаза и представьте кофейную столицу Европы. Какой образ пришел к вам? Может, вы подумали об итальянцах, потягивающих пышный капучино, или французах, вдыхающих аромат утреннего кофе с круассаном в уличном кафе? На самом деле любители кофе номер один в мире – финны. Да-да, вы не ослышались. Средний финн потребляет 12 кг кофе в год, намного опережая Италию (5,5 кг в год) и Францию (6,2 кг в год) [36]. Финны начинают рабочий день с чашечки кофе, затем чашечка после обеда, другая во время кофе-брейка и, конечно, после работы можно насладиться еще одной с друзьями или дома. У каждой чашечки кофе в финском языке есть название, например, aamukahvi – утренний кофе, päiväkahvi – дневной, iltakahvi – вечерний. Невозможно обойтись и без saunakahvi – кофе в сауне. В Финляндии даже рабочий устав прописывает два 15‐минутных перерыва на кофе в течение дня.

Неудивительно, что именно финские ученые впервые заинтересовались влиянием кофе на риск ревматоидного артрита – одного из самых распространенных видов воспалительного артрита в мире. В 2000 году в ведущем журнале в области ревматологии Annals of Rheumatic Diseases вышла статья с результатами крупного когортного исследования, организованного Министерством здравоохранения и социального обеспечения Финляндии, с участием 19 518 мужчин и женщин из разных регионов страны, за которыми наблюдали более 10 лет. Результаты показали, что привычка выпивать более 4‐х чашек кофе увеличивает риск развития ревматоидного артрита в будущем в среднем в 2 раза [12].

Спустя два года американские ученые из Университета Алабамы опубликовали результаты 10-летнего наблюдения за 30 000 женщин из когорты по изучению здоровья женщин Айовы (Iowa Women’s Health Study) [13]. Их выводы отличались от финских. На этот раз потребление более 4‐х чашек обычного кофе в день не сопровождалось повышенным риском заболевания в будущем, тогда как потребление более 4‐х чашек декофеинизированного кофе в день было связано с увеличением риска развития ревматоидного артрита в 2,5 раза.

В 2003 году вышла еще одна статья, основанная на 20‐летнем наблюдении за 83 124 женщинами из когорты по изучению здоровья медсестер (ориг. Nurses Health Study), США [14]. Результаты опровергли любую взаимосвязь между обычным или декофеинизированным кофе и риском развития ревматоидного артрита.

Можно ли считать вопрос закрытым? Какому исследованию верить? Самому последнему, потому что оно самое большое? А может, тому, которое опубликовано в более авторитетном журнале?

Чтобы ответить на эти вопросы, давайте сначала подумаем, почему три исследования о связи кофе и ревматоидного артрита пришли к разным выводам.

В начале главы мы говорили, что размер выборки имеет значение. На данном примере видно, что второе и третье исследования масштабнее, но в целом все три большие – ~20, ~30 и ~80 тысяч участников соответственно. Все три исследования когортные, при этом третье наиболее длительное (~10, ~10 и ~20 лет наблюдений).

Далее посмотрим, где, как проводились исследования и кто принимал участие.

Первое исследование провели в Финляндии, остальные два – в США.

Имеет ли значение, в какой стране проводилось исследование? Возможно. Например, если географические, культурные, политические, этнические особенности могли повлиять либо на болезнь, либо на фактор риска. В этом вопросе фактор риска – кофе. В Финляндии восемь или девять чашек кофе в день считается нормой, тогда как средний американец в то время потреблял от 2‐х до 4‐х чашек кофе в день.

Влияет ли страна на риск развития ревматоидного артрита? Для этого нужно посмотреть на цифры распространенности заболевания по странам. В случае с ревматоидным артритом это маловероятно, так как, по данным исследований, больших различий между Финляндией и США нет – распространенность 1 % в сравнении с 1.37 %.

Чем еще отличались исследования? В финском исследовании принимали участие и мужчины, и женщины, а в остальных – только женщины. Имеет ли это значение? Возможно, ведь в среднем женщины пьют меньше кофе, чем мужчины, а риск развития ревматоидного артрита выше у женщин, чем у мужчин. Первые два исследования были популяционными когортами, то есть в них принимали участие представители обычного населения или популяции страны, третье – когорта медицинских сестер. Возможно ли, что профессия повлияла на потребление кофе и риск развития ревматоидного артрита? Возможно, если, например, медсестры пьют больше кофе или имеют повышенный риск ревматоидного артрита по каким-то другим причинам.

Теперь посмотрим на результаты.

В американских исследованиях менее половины пациентов с диагностированным ревматоидным артритом пили более 4 чашек в день, тогда как в Финляндии – большинство. В первом исследовании за время наблюдения ревматоидный артрит диагностировали у 89 пациентов, из них только 10 человек пили менее 4‐х чашек в день, а остальные потребляли 4 и более чашек кофе в день. Во втором исследовании среди новых случаев ревматоидного артрита 13 не потребляли кофе вовсе, 37 – менее 1 чашки в день, 28 выпивали 2–3 чашки в день, а 74 – 4 и более чашек в день. В исследовании Karlson не пили кофе 31 человек, менее 1 чашки в день – 20, от 2‐х до 3‐х чашек в день – 107, 4 и более – 47.

Чтобы не запутаться, взглянем на таблицу ниже:

Заметили разницу?

Если хотим узнать, может ли кофе вызвать ревматоидный артрит, чтобы применить эти знания в реальной жизни, нужно, чтобы участники исследования были максимально похожи на обычных людей. Как думаете, какое исследование было более похоже на нашу реальность?

В первом выборка хорошо отражает население Финляндии, но не население других стран. Тогда как участники второго и третьего исследования более похожи на среднестатистическое население стран, где только небольшое число жителей употребляет более 4‐х чашек кофе в день. Например, в России среднестатистический житель выпивает от 1 до 2‐х чашек кофе в день.

То, насколько похожи участники исследования на тех людей, которые нас интересуют, например на нас с вами, называют репрезентативностью. Термин произошел от английского слова represent – «представлять», то есть участники исследования в идеале должны быть представителями интересующей нас группы и отражать ее характеристики.

Практические рекомендации

В любом исследовании, результаты которого вы хотите применять в своей жизни, обратите внимание на характеристики выборки:

• Кто участвовал в исследовании?

• По каким критериям отбирали участников?

• В какой стране проводилось исследование?

Почему важно, чтобы участники исследования были похожи на тех людей, которые нас интересуют, то есть на нас с вами? Почему репрезентативность важна?

Если речь идет о населении страны, состав участников исследования должен быть похож на срез населения страны – например, в процентном соотношении иметь такое же количество мужчин и женщин, молодых и пожилых, работающих и безработных. Иначе если в исследование вы набираете работников банка, большинство из которых в возрасте 30–40 лет, имеют высшее образование и зарплату выше среднего, то, вероятно, их привычки и мнения будут отличаться от среднестатистического жителя страны. Результаты исследования, полученные на такой выборке, справедливы для работников банка, но не отражают действительность в стране в целом.

Одна и та же выборка может быть репрезентативной и нерепрезентативной для разных интересующих нас популяций или групп людей.

Лучший способ обеспечить репрезентативность выборки – отобрать участников случайным образом. Например, случайная выборка людей из разных регионов, из разных возрастных и социальных групп будет хорошо отражать население страны.

Если участники отбираются неслучайным образом, выборка рискует быть нерепрезентативной. Например, если что-нибудь мешает нам отбирать их случайно. Представим, что нужно вытащить определенное количество шариков из мешка, но некоторые кусаются. В этом случае, сколько бы шариков мы ни взяли из мешка (даже если возьмем из мешка все шарики, которые не кусаются), выборка будет нерепрезентативной, поскольку в ней не будет ни одного из тех, что кусаются, – они просто минуют нашу выборку. Самая большая проблема с кусающимися шариками в том, что они могут отличаться от тех, которые идут к нам в руки, и отличаться как раз по тому признаку, который нас интересует. Такая ситуация называется систематической ошибкой отбора или выборки. То есть это уже не случайность, а некоторая закономерность, которая приводит к ошибке.

Так, например, произошло с Биобанком Великобритании – одной из крупнейших баз данных в мире. Из 9 млн человек, приглашенных принять участие в исследовании, откликнулись только 5,5 % (примерно 500 000 человек), и они разительно отличались от остального населения страны – вели более здоровый образ жизни, были образованнее и в целом имели меньше проблем со здоровьем. Результаты анализа подобных нерепрезентативных выборок могут быть ошибочными. Например, изначальный анализ взаимосвязи между потреблением алкоголя и смертностью от сердечно-сосудистых заболеваний в Биобанке Великобритании показал, что алкоголь даже полезен. Но после процедуры стратификации, которая привела показатели выборки в соответствие с показателями общего населения страны, оказалось, что никакой взаимосвязи нет [2].

Пример с Биобанком Великобритании указывает нам на одну простую, но неочевидную мысль: размер выборки не связан с ее репрезентативностью. Маленькая выборка неточна и все равно может быть репрезентативной. Угрожает репрезентативности выборки не количество участников, а то, насколько их характеристики отличаются от остальных людей, из которых эту выборку делали. Это разные проблемы, и у них разные способы решения. Нельзя решить одну из них путем решения другой. Если выборке не хватает репрезентативности, бесполезно ее увеличивать. Более того, последствия нерепрезентативности, а также ошибок на этапе планирования или сбора информации могут оказаться серьезнее в исследованиях с большой выборкой. Это еще одно проклятье больших данных.

Есть случаи, когда мы не беспокоимся о репрезентативности. Например, если материал, из которого отбираем образцы, является однородным, так что любой взятый образец хорошо его отражает. Лабораторный диагноз о состоянии нашего здоровья ставится по нескольким каплям крови. Эта процедура основана на предположении, что циркулирующая кровь всегда хорошо перемешана и одна капля рассказывает ту же историю, что и другая. Но когда материал далеко не однороден, как это часто бывает в исследованиях с участием людей, репрезентативность выборки имеет решающее значение.