Текст книги "А мне помогло. Как ориентироваться в море информации о здоровье и осознанно принимать решения"

В этой главе мы познакомились с тремя дизайнами научных исследований, к которым прибегают врачи и ученые в поисках причин болезней. У каждого есть свои плюсы и минусы, и каждый приближает нас на один шаг к ответу на вопрос: что же является причиной заболевания?

• Описание серии случаев. Как правило, это одни из первых шагов в поиске причин, особенно когда наблюдений немного. Серии случаев помогают проследить закономерности и выделить факторы, объединяющие все или почти все случаи болезни, как, например, наличие Helicobacter pylori при язве или курение в случаях рака легкого.

• Исследования «случай – контроль», помимо случаев с интересующим нас состоянием или заболеванием, включают группу сравнения – контроль. Так мы видим, встречается ли изучаемый фактор в контрольной группе и насколько часто, что позволит понять, каковы шансы. Важно, чтобы контрольная группа не отличалась от основной по другим показателям. Однако в большинстве исследований «случай – контроль» мы не можем с уверенностью подтвердить, что одно вызывает другое, так как минимум одно из явлений обычно оценивается ретроспективно.

• Когортные исследования помогают нам проследить во времени, как одно явление предшествует другому. Помните, главный из 9 признаков причинно-следственных связей Хилла гласил: следствие всегда наступает после причины. Мокрый тротуар появляется после дождя, а не наоборот. Это очевидно. Однако определить очередность во времени не всегда возможно, особенно если оценивать оба фактора одновременно. Чтобы удостовериться, что причина предшествует следствию, ученые используют когортные исследования, в которых наблюдение начинается задолго до появления заболевания. Как, например, в исследовании Долла и Хилла опросники о вредных привычках рассылались докторам задолго до появления у них признаков рака легких.

Однако «после» не значит «вследствие». Чтобы доказать, что именно курение вызывает рак легких, помимо исследований Долла и Хилла, работы других ученых показали, как именно табачный дым и содержащиеся в нем компоненты воздействуют на организм.

Знать дизайн исследования важно, чтобы понимать, с какой долей надежности мы можем отличить причины от взаимосвязей. Поэтому каждый раз, когда читаете информацию, что могло бы быть причиной болезни, задайте себе три простых вопроса:

• Какой дизайн применялся в этом исследовании?

• Была ли группа сравнения?

• Проводилось ли исследование одномоментно, или за участниками наблюдали в течение некоторого времени до развития заболевания? Если одномоментно, высока вероятность, что речь идет о взаимосвязи, и, чтобы доказать, является ли взаимосвязь причиной, нужно провести дальнейшие исследования.

Теперь вернемся к вопросу, который задали в начале главы: почему я болею?

Причин для болезней может быть много, их комбинаций – еще больше, и о том, что именно вызвало болезнь, никто точно не скажет.

Не отчаивайтесь, постарайтесь узнать о вашем заболевании как можно больше. Вы можете, например, завести дневник наблюдений, куда будете выписывать предположительные причины и по каждой из них возможные действия.

Не останавливайтесь, пока не решите проблему. Помните: причины многих болезней могут быть на разных уровнях, и, убрав одно звено, можно разрушить причинный комплекс или хотя бы уменьшить негативный эффект.

Маленьких причин не бывает. В наших силах бросить курить, нормализовать вес, быть физически активным. И может, именно для нас эти простые действия сыграют решающую роль и помогут сохранить здоровье на долгие годы.

В этой главе мы поговорили о закономерностях и взаимосвязях в поиске причин болезней и почему важно знать о них. А в следующей обсудим, почему мы порой видим взаимосвязи там, где их нет, и почему ошибаются ученые и статистические программы.

«ПОЧЕМУ Я БОЛЕЮ?»: МОРЕ ПРИЧИН И СЛЕДСТВИЙ

КЛЮЧЕВЫЕ ИДЕИ

Глава 6
«Все совпадения случайны»: море случайностей и случайных событий

Мальчикам – голубое, девочкам – розовое. Мальчики играют в машинки, девочки – в куклы. Мальчикам легче даются точные науки, девочкам – гуманитарные. Список можно продолжать до бесконечности. Но правда ли, что мужской и женский мозг настолько разный, что может показаться, будто мужчины и женщины прибыли с разных планет?

Различия между мужским и женским мозгом – деликатная и противоречивая область исследования. И во многом утверждения, что «женщины менее умны» или «женщины менее способны к математике», родились из-за ошибочных результатов и необоснованных интерпретаций научных исследований. И они могут ошибаться. По разным причинам. Например, по чистой случайности. В мире столько всего происходит, что всегда находится место совпадениям. Но, как говорят моряки, «не море топит корабли». Мы тонем не из-за случайностей, закравшихся в научные исследования, а из-за того, что вовремя их не заметили.

В этой главе поговорим, чего остерегаться, чтобы результаты некачественных исследований не ввели вас в заблуждение.

§ 1. Иллюзорные взаимосвязи

Салли родилась и выросла в Бронксе, штат Нью-Йорк, в семье двух иммигрантов из Восточной Европы. После окончания школы поступила в Медицинский колледж Альберта Эйнштейна, где в первые летние каникулы познакомилась с интерном-педиатром Беннеттом. Через два месяца они поженились. Салли тоже стала педиатром и, после того как Беннетт устроился в Йельскую медицинскую школу, начала работать с маленькими пациентами, испытывающими трудности в обучении.

В 80‐е годы, если ребенку было сложно научиться писать или читать, это считали признаком лени, глупости или плохого зрения. Такие дети плохо учились в школе и редко поступали в университет. Но Салли была не согласна ни с таким мнением, ни с таким положением вещей. «Меня просто поразило то, что дети были очаровательными и умными, но им было трудно читать, а их родители были в ужасе», – вспоминает Салли [35]. Ей нравилось заботиться о маленьких пациентах, и она была полна решимости им помочь. Вскоре ее мужа Беннетта тоже заинтересовала данная тема, и они начали работать в команде. Супруги Шайвиц посвятят карьеру изучению дислексии, избирательного нарушения способности к овладению навыками чтения и письма, и докажут всему миру, что дети с дислексией способны к обучению, а их интеллект часто превосходит интеллект сверстников. По стечению обстоятельств как раз исследование дислексии, проведенное Шайвицами, стало аргументом в пользу различий между полами.

В 1995 году Салли и Беннетт Шайвиц решили узнать, как наш мозг обрабатывает словесную информацию. В эксперименте участвовали 19 мужчин и 19 женщин [34]. Им предложили 4 задания, которые психологи обычно используют при подозрении на дислексию. Во время выполнения заданий мозг добровольцев сканировали аппаратом функциональной МРТ, с помощью которого можно не только увидеть структуры мозга, но и выявить активные участки.

Люди с дислексией часто путают правую и левую стороны, поэтому в первом задании нужно было визуально оценить схожесть двух четверостиший, строки которых были выровнены по правой или левой стороне в определенном порядке. Во втором задании предлагалось визуально оценить буквенный регистр в двух наборах согласных букв (похожи ли «ссСс» и «СсСс»), чтобы выявить характерные для дислексии трудности в различении одинаковых форм фигур или букв, которые мешают им научиться бегло читать. Далее участников спрашивали, рифмуются ли две бессмысленные цепочки слов. В четвертом задании нужно было сгруппировать слова по смыслу: например, овес и пшеница, яблоко и груша.

В целом все участники эксперимента одинаково хорошо справились с задачей. Но в одном из заданий мужчины задействовали только небольшую область в левой части мозга, рядом с речевым центром, а женщины в дополнение к ней – область в правом полушарии мозга. Результаты опубликовали в журнале Nature, одном из самых престижных журналов по медицине, что, вероятно, добавило им авторитета и кажущейся надежности, и тему различий между полами сразу же подхватили журналисты. В издании Science News вышла статья под заголовком «Сканирование мозга показало, что мужчины и женщины – это разные планеты». А журналисты Jet рассказали, «что мужчины и женщины никогда не смогут быть похожи, потому что они используют свой мозг по-разному». До сих пор многие сторонники теории различий между мужским и женским мозгом цитируют это исследование. Это и есть пример выборочного цитирования, или cherry picking, о котором мы говорили в 4‐й главе, когда отдельные результаты цитируются без упоминания контекста и остальных результатов, и таким образом складывается ложное впечатление о важности результатов.

Тем временем Шайвицы были осторожны с выводами о том, что их открытие могло бы значить. В интервью журналу New York Times они заявили, что не хотят даже строить предположения на основании имеющихся данных. Салли Шайвиц сказала: «Я думаю, мы сделали качественный скачок в нашей способности задавать вопросы», подразумевая, что с изобретением аппарата функциональной МРТ мы можем исследовать вопросы, которые ранее не могли. Но, по ее словам, «эта область просто слишком молода, чтобы дать больше, чем очень интригующую закуску». «Мы должны быть очень, очень осторожны. Нам следует понять, что мы только начали».

И это было абсолютной правдой. Ученые лишь начали свой путь в этой области. Любая видимая разница или связь между явлениями может оказаться случайной. Так и произошло. Многочисленные исследования позже подтвердили, что нет существенных различий между мужчинами и женщинами, мальчиками и девочками при выполнении заданий, связанных с беглостью речи, группировкой слов по смыслу и восприятием на слух речи, рассказов или отдельных слов.

Еще один урок, который можно извлечь из истории с Шайвицами, – важность комплексной оценки, когда мы принимаем во внимание результаты целиком, а не только концентрируясь на интересных или сенсационных находках. Видя разницу, не забывайте о схожести. Ведь журналисты не только переоценили и обобщили различия между полами, но и полностью игнорировали сходства. Так, в исследовании Шайвицев 8 из 19 женщин показали «мужской» тип мышления. Более того, в двух из трех заданий мужчины и женщины не показали различий. Мы больше похожи, чем различны.

Практические рекомендации

Так как эта глава посвящена ошибкам в результатах научных исследований, почти каждое окошко с рекомендациями будет предостерегать вас о поспешной интерпретации результатов исследований.

Мы уже говорили о том, как в переводе с научного на обычный язык (как часто сейчас обещают различные авторы) могут происходить подмена понятий и искажение смысла. Обратите еще раз внимание на то, как осторожно высказывались ученые о находке и как легко ее интерпретировали журналисты. Поэтому важно заглядывать в первоисточник – важно отделять результат (факт) от его интерпретации (мнения), оценивать результаты комплексно и не торопиться с выводами на основании одного исследования.

Почему же исследование Шайвицев показало различия, которые не нашли последующие исследования?

Представьте, что у вас есть мешок, а внутри него – 100 шариков, из которых 50 черных и 50 белых. Равное сочетание. Вы закрываете глаза и выбираете наугад 10 шаров. Затем глаза открываете и смотрите, какие оказались у вас в руках.

Как думаете, сколько среди них будет белых и черных?

Здравый смысл подсказывает, что, скорее всего, у вас окажется пять черных шариков и пять белых. Действительно, статистически это наиболее вероятный результат. Но, возможно, вы выбрали шесть шаров одного цвета и четыре другого. Или даже семь одного и три другого. Маловероятно, но возможно. Возможно даже, что все 10 выбранных шариков окажутся черными. Вероятность подобного выбора меньше 6 шансов из 10 тысяч, но это может случиться.

А теперь представьте, что перед вами новый мешок. В нем тоже 100 шариков. Черных и белых. Но вы не знаете, в каком соотношении! Вытаскиваете 10 шариков, как и раньше, и на этот раз получаете семь черных и три белых. Какое предположение из этого можно сделать? Очевидно, что в мешке должно быть как минимум три белых шарика и как минимум семь черных. На этом ваша уверенность заканчивается. Можно подумать, что в мешке 70 черных и 30 белых шариков, но насколько вы в этом уверены?

Ведь соотношение выбранных шариков не обязательно отражает соотношение шариков в мешке. На самом деле, если в мешке равное количество белых и черных шариков, в 11 % случаев ваша выборка из 10 будет в соотношении 7: 3. А если вместо 10 вам предложат выбрать 50 или даже 80 шариков, сможете ли вы сделать предположение с большей уверенностью? Думаю, вы согласитесь, что да. Чем больше шариков выберете, тем увереннее будете в выводах.

Из этого эксперимента можно сделать следующий вывод. Посмотрев на выбранные шарики, вы можете предположить, какие шарики есть в мешке и, возможно, даже в каком соотношении, но не можете быть уверены на 100 %, пока не увидите все. Так и в научных исследованиях: наша уверенность в полученных результатах зависит от того, сколько человек участвовало в исследовании.

Представьте, если бы я измерила одного человека ростом 190 см, а затем заявила, что все люди в мире ростом 190 см. Конечно, интуитивно вы бы поняли, что это ошибка, – нельзя сделать такой вывод, измерив лишь одного человека. И были бы правы.

А можно ли, исследовав мозг 19 мужчин и 19 женщин – помните, именно столько людей приняло участие в исследовании Салли и Беннетта Шайвиц, – сделать вывод, что так работает мозг у всех на планете? Маловероятно. Но многие даже не обратили внимания на данный факт, когда делились шокирующими новостями о различиях мужского и женского мозга.

Так происходит и с нами, когда мы обращаем внимание на новость, но не задумываемся, какие цифры стоят за ней. Даниэль Канеман в своей книге «Думай медленно… решай быстро» объясняет, что наша склонность верить маленьким исследованиям – это «один из примеров общей иллюзии: мы обращаем больше внимания на содержание сообщений, чем на информацию об их надежности». Наше восприятие нечувствительно к размеру выборки. И нам нужны сознательные усилия, чтобы научиться обращать на это внимание. Но как и с другими эвристиками и когнитивными искажениями, способность их замечать приходит с практикой.

Практические рекомендации

После каждой чудесной истории исцеления, заявлений об эффективности авторской методики и других рассказов в интернете нужно добавлять: «Возможно, это была случайность».

Но если это не единичная история и выздоровело аж 10 человек – значит, точно помогает?

Нам кажется невероятным, но даже если бросать монетку, орел может выпасть 10 раз подряд. Да, редко, но возможно. Также возможно, что все эти люди выздоровели по счастливой случайности.

А сколько тогда шариков нужно выбрать, чтобы с уверенностью предположить соотношение белых и черных шариков в мешке?

Ответ на этот вопрос зависит от многих факторов, однако есть несколько принципов, которые следует запомнить.

Во-первых, размер выборки зависит от того, насколько редко или часто встречается событие в изучаемой популяции. Чем реже явление, тем большая выборка потребуется. Если хотите подсчитать соотношение шариков в мешке, чем меньше количество шариков одного цвета, тем больше должна быть выборка. Например, если соотношение белых и черных 10: 90, потребуется выбрать больше шариков, чем при соотношении 50: 50.

Во-вторых, если сравниваете две группы, то чем меньше разница между ними, тем больше должна быть выборка. Например, представьте, что у вас не один мешок, а два. Тогда размер выборки будет зависеть не только от частоты встречаемости признака в изучаемой популяции, но и от разницы между двумя популяциями.

С увеличением размера выборки увеличивается вероятность получить более близкий к действительности результат. Статистики называют эту зависимость законом больших чисел. Если мы посмотрели одну игру, в которой игрок одержал победу, сложно сказать, действительно ли он талантлив или ему повезло. Но с увеличением количества наблюдений за игроком становится понятно, что его хорошая игра – это закономерность, а не случайность. Например, если средний рост мужчин составляет 180 см, вероятность встретить мужчину ростом 205 см или 150 см меньше, чем вероятность встретить мужчину ростом около 180 см. Чем больше измерений, тем тенденция становится очевиднее.

Еще один пример закона больших чисел, который мы с вами наблюдали совсем недавно, – это выявление побочных эффектов в виде тромбоза после вакцинации от COVID‐19 вакциной ChAdOx1-S или Vaxzevria (зарегистрированное название), которая известна по имени разработчиков как Oxford-AstraZeneca. Вакцину впервые одобрили в Великобритании 30 декабря 2020 года на основании данных двух исследований, включавших в себя 5807 и 5829 человек. Немало, правда? Однако в течение первых месяцев применения вакцины в разных странах стали появляться доклады о необъяснимых случаях венозных тромбозов – в Австрии, в Германии, в Дании и других. В начале марта вакцинацию Oxford-AstraZeneca в Европе остановили и начали расследование.

Ученые из Дании и Норвегии, проанализировав данные уже 280 000 человек, получивших первую дозу вакцины, насчитали 59 случаев венозного тромбоза в течение первых 28 дней после инъекции [33]. Для сравнения – по средним подсчетам до начала вакцинации от коронавируса такие осложнения встречались только у 30 человек из 280 000. Сравнение с контрольной группой важно, так как позволяет оценить, насколько больше случаев в группе вакцинированных, – а их оказалось в среднем 11 дополнительных случаев на 100 000 населения. Теперь понятно, почему анализ первых испытаний не выявил редкое осложнение, – выборки из 10 000 человек оказалось недостаточно, надо было изучить данные как минимум нескольких сотен тысяч человек.

Наряду с законом больших чисел существует закон малых чисел, который гласит: маленькие выборки чаще больших страдают от выбивающихся, редких значений. В большой выборке экстремальные значения редки и не сильно влияют на среднее значение. Тогда как в маленькой выборке одно экстремальное значение способно сильно исказить результат. Например, если измерите рост не 1000, а 10 мужчин и по совершенной случайности трое из них будут выше 200 см, средний рост в этой группе будет сильно отличаться от среднего роста 1000 мужчин. Потому что даже если среди 1000 окажется несколько лиц выше 200 см, средний показатель не будет сильно отличаться от ожидаемого. Закон малых чисел применим и к исследованию Шайвицев, когда один редкий результат (различие между полами в одной области в одном задании) повлиял на интерпретацию всего исследования.

Возможно ли опросить абсолютно всех интересующих нас людей, чтобы быть на 100 % уверенными в полученных результатах?

Конечно! Например, можем опросить всех учеников в школе или всех работников организации. Но когда исследование проводится в масштабах города или страны, опросить всех жителей – непосильная задача (даже если это перепись населения, от нее кто-то да уклонится). Приходится идти на компромисс и выбирать только часть жителей для участия в исследовании. Для этого еще на этапе планирования ученые рассчитывают, какое количество наблюдений им понадобится и каковы их шансы получить правдивый результат, то есть размер выборки и статистическую мощность исследования.

Статистическая мощность исследования – это вероятность того, что исследование сможет «заметить» существующее различие между группами или взаимосвязь между явлениями.

И желаемая статистическая мощность, на которую ориентируются ученые, обычно колеблется в районе от 80 до 90 %, при этом вероятность получить ошибочный результат соответствует 10–20 %. И это тоже немало. Учитывая, как много исследований публикуется ежегодно, неудивительно, что многие ошибаются.

На деле оказывается, что даже 90 % – это весьма оптимистичная планка. Так, еще в 60‐х годах американский статистик и психолог Джейкоб Коэн утверждал, что статистическая мощность большинства исследований по психологии в среднем равняется 50 % [28]. То есть каждое второе исследование может ошибаться.

«Ну, это ж было очень давно! – скажете вы. – С того времени многое изменилось! Появились мощные компьютеры, электронные базы данных, новые статистические методы…» Все так, но проблема с недостаточной мощностью научных исследований остается актуальной и сейчас.

В 2013 году группа ученых из Университета Бристоля во главе с профессором Маркусом Мунафо подтвердили шокирующие результаты. По их подсчетам, средняя статистическая мощность научных исследований о мозге находится где-то в пределах от 8 до 31 % [27], что привело к «кризису воспроизводимости», когда многие экспериментальные данные не могут быть воспроизведены, а значит, подвергаются сомнению.

Воспроизводимость научных результатов является основополагающим принципом науки. Исследователи, изучающие одинаковые вопросы одинаковыми методами с использованием аналогичных инструментов, должны получать идентичные результаты независимо от времени и места проведения эксперимента.

Однако, согласно опросу 1576 исследователей, проведенному журналом Nature, более 70 % из них не смогли воспроизвести эксперименты другого ученого, а более 50 % не смогли воспроизвести собственные эксперименты [29].

Одна из основных причин кризиса воспроизводимости – это как раз маленькие выборки с недостаточной статистической мощностью. Во-первых, из-за нехватки ресурсов (денег, времени, оборудования, сотрудников) для изучения большего количества людей. Например, даже относительно небольшие исследования с использованием аппарата функциональной МРТ стоят несколько десятков тысяч долларов. Во-вторых, именно с маленьких исследований часто начинается проверка научных гипотез (мы еще вернемся к этому в 9-й главе, когда будем говорить об эволюции научного прогресса). Маленькие выборки – не абсолютное зло, с которым следует бороться, но нужно помнить об их недостатках и не делать поспешные выводы. Об этом следует помнить и читателям медицинских новостей.

Практические рекомендации

Не всем исследованиям можно верить – особенно маленьким. Если размер выборки меньше 100 человек, а тем более меньше 50, есть вероятность, что результаты могут быть ошибочными из-за случайности. В таких случаях важно найти другие исследования, которые могли бы подтвердить или опровергнуть находки на большей выборке.

А если большие выборки лучше и точнее маленьких, может, они решат все проблемы?