Текст книги "А мне помогло. Как ориентироваться в море информации о здоровье и осознанно принимать решения"

Итак, что такое «систематический обзор» и чем он отличается от обычного обзора литературы?

Систематический обзор, по сути, означает обзор литературы, который проводится с использованием специальной методологии или системы, включающей четко регламентированные критерии поиска источников, отбора и проверки результатов исследования. Важное отличие систематического обзора заключается в том, что он охватывает все имеющиеся исследования по данной теме с целью избежания предвзятости. Тогда как обычный литературный обзор часто включает лишь некоторые исследования по теме, отобранные автором статьи, что может привести к выборочному цитированию и субъективной интерпретации результатов.

Сравним обычный и систематический поиск на примере из обычной жизни. Представьте, что оказались на улице с разными торговыми лавочками в какой-то экзотической стране и хотите купить на память традиционный головной убор или наряд. Но вы даже не представляете, сколько он может стоить. Вы подходите к одному продавцу, может самому громкому или, наоборот, к первому попавшемуся. Потом заглядываете в соседнюю лавочку, проходите немного дальше, сворачиваете с главной туристической улицы в закоулок и заходите в еще один магазин, вокруг которого толпятся местные. Из своих наблюдений делаете вывод пределов стоимости традиционного наряда в этой стране. Наверное, вы уже догадались: подобный подход не может дать вам репрезентативную выборку, и выводы, сделанные на ее основе, довольно субъективны. Что не сказать о маркетинговом исследовании, которое заглянуло в каждую торговую лавочку города, продающую подобные наряды. Так же с литературными обзорами. Объективность обычного литературного обзора зависит от того, насколько тщательную работу провели авторы.

Кокрановское сотрудничество (Cochrane Collaboration) – одно из самых известных научных сообществ, которое проводит систематические обзоры.

Метаанализ представляет собой особый вид статистического анализа, который может объединить цифры, полученные в отдельных исследованиях, например из систематического обзора, и вывести общий количественный результат так, словно он получен из единого исследования. Метаанализы – наши главные помощники, когда нужно быстро найти ответ на вопрос, если по теме проведено множество исследований.

Отсюда вытекает третья рекомендация – ищите метаанализы по изучаемой теме.

Объем медицинской информации огромен и постоянно растет. Даже практикующему врачу в лучшем случае можно уследить только за своей узкой специальностью и часто встречающимися в его практике вопросами. А для остальных тем более. Поэтому, вбивая в поисковик ваш вопрос, обязательно попробуйте найти, есть ли метаанализ по этой теме. Например (я привожу примеры поисковых запросов на английском, так как подавляющее большинство научных исследований, в том числе метаанализов, публикуется на английском языке):

• The effectiveness of aromatherapy meta-analysis / Метаанализ эффективности ароматерапии;

• Safety of oral contraceptives meta-analysis / Метаанализ безопасности оральных контрацептивов.

Но, как и у других исследований, у метаанализов есть недостатки. Если в быту мы иногда говорим, что можно сделать конфетку из чего-то непригодного, в научных кругах мнение более непреклонное: «из мусора можно только сделать мусор» (с англ. Garbage in, garbage out). Из неправильно собранных и анализируемых данных можно получить лишь некачественное исследование. Несмотря на то что метаанализ считается самым надежным методом исследования, его надежность определяется надежностью вошедших в него исследований. Например, вернемся к метаанализу 40 исследований о пользе добавок Омега‐3 для сердечно-сосудистой системы, о которых говорили в прошлой главе. Туда вошли и открытые исследования, и исследования без плацебо-контроля, а еще в 9 из них вообще не изучались заболевания сердечно-сосудистой системы. То есть и результат метаанализа, полученный путем обобщения низкокачественных исследований, не может считаться надежным.

Много не значит хорошо. Давайте посмотрим не нескольких примерах, когда много исследований все-таки может служить показателем надежности, а когда нет.

А если исследований и ссылок много? Может ли количество проведенных исследований быть показателем надежности?

В 6-й главе мы говорили, что воспроизводимость результатов исследований, когда они подтверждаются в других аналогичных исследованиях, – один из принципов научного метода. Психологически количество экспертных сообщений и научных исследований по теме тоже часто воспринимается как подтверждение надежности. Но так происходит не всегда.

Вернемся к нашей истории с питьевым йогуртом «Актимель». Мы говорили о нем в прошлой главе, чтобы понять, как на упаковках БАДов и пищевых продуктов появляются заявления об их пользе для здоровья. Но «Актимель» также является хорошим примером, когда количество проведенных научных исследований не становится подтверждением надежности, качества или пользы объекта исследования.

В 2009 году, когда высказывания о пользе продукта для здоровья детей и пожилых людей были запрещены в Англии, компания утверждала, что эффективность «Актимель» научно доказана в 24 исследованиях. Когда я готовила материал для книги в 2021 году, официальная страничка компании уже ссылалась на 28 научных исследований. Однако, как и в примере с парацетамолом, важно найти первоисточники и посмотреть, что там проводили и что нашли на самом деле.

Например, если взглянуть внимательнее на доказательства пользы для детей, то только восемь исследований были проведены на детях в возрасте до 16 лет, два из них – на госпитализированных детях в Индии, страдавших острой диареей или принимавших лекарства от гастрита. Эти два исследования, однозначно, не могут быть применены к здоровым детям или молодежи. Два других испытания касались только маленьких детей, так как средний возраст в каждой из исследуемых групп – 6 месяцев и 15,5 месяца – был слишком мал, чтобы применять их к детям школьного возраста. А польза именно в этой возрастной группе как раз подразумевалась рекламой. В других исследования с участием детей-астматиков, детей с аллергическим ринитом и диареей польза не была доказана. А в исследованиях с участием детей в поликлиниках США и России обнаружили слишком незначительное снижение заболеваемости инфекционными заболеваниями при употреблении «Актимеля» по сравнению с контролем. Отсутствие доказательств эффективности у здоровых людей подтверждает и систематический обзор 2016 года [26]. Профессор Джереми Николсон, заведующий отделением хирургии и рака Имперского колледжа Лондона, так высказался о продукте: «Чтобы конкурировать с количеством бактерий в кишечнике, вам нужно принять 50 000 доз [ «Актимеля»] в день».

Если исследований много, но они маленькие, с участниками, не похожими на вас, с конечными точками, нас не интересующими, а тем более с результатами, которые не доказывают пользы, их нельзя считать надежными аргументами. В этом случае много не значит хорошо и порой может ввести нас в заблуждение.

Если мы не очень разбираемся в какой-то медицинской теме и считаем любую научную информацию сложной для понимания, то, вполне вероятно, нас убедит наличие большого количества доказательств и ссылок на научные статьи, какими бы слабыми они ни были. Почему так происходит, хорошо объясняет одна классическая теория в психологии под названием «Модель вероятности тщательной проработки информации».

В одном исследовании, проведенном еще в 1984 году [3], ученые сравнили, как количество аргументов влияет на выводы читателей в зависимости от их вовлеченности. 46 студентам раздали листовки с информацией об увеличении оплаты обучения в их собственном или в каком-то отдаленном университете. Каждая листовка содержала либо 3 слабых аргумента (например, что на собранные деньги университет закупит новые доски, которые будут производить хорошее впечатление на посетителей кампуса), либо 3 сильных аргумента (например, что частично собранные деньги потратят на то, чтобы уменьшить число студентов в группе, что улучшит качество обучения), либо все 6. После студентам предложили оценить, насколько вероятно они согласятся на увеличение оплаты. Как думаете, какие аргументы убедили студентов?

Если предположить, что они внимательно прочитали написанное и смогли оценить качество аргументов, то разницы между 3 сильными и 6 разными аргументами (3 сильными + 3 слабыми) быть не должно. Так и было, когда дело касалось их собственного университета. Тема оплаты всегда вызывает вовлеченность, и студенты внимательно прочитали листовки, и дополнительные слабые аргументы не увеличили вероятность согласиться на увеличение оплаты. Тем не менее, когда дело касалось какого-то другого университета, 6 аргументов показались более убедительными, чем 3 сильных.

Профессор психологии Ричард Петти, руководивший исследованием, а после посвятивший всю карьеру изучению установок, убеждений и поведения людей, сделал следующий вывод. Существуют два принципиально различных типа убеждения. Первый, прямой, или центральный, основывается на логической аргументации и систематическом анализе информации и включается, когда мы изучаем важные для нас вопросы, которые непосредственно нас касаются. В таких случаях мы способны распознать сильные и слабые аргументы и сделать логический вывод. Второй тип, косвенный, или периферический, включается, когда изучаемый вопрос либо для нас не очень важен, либо оказывается сложным для нас и выходит за пределы наших знаний и способностей. В таком случае вместо вдумчивого анализа информации мы полагаемся на дополнительные убеждающие факторы, такие как авторитет эксперта, количество аргументов, способ подачи сообщения, эмоциональный окрас и даже обстановка, в которой мы получаем информацию, например во время приятного обеда или в компании друзей.

Именно поэтому студенты смогли правильно оценить сообщения про увеличение оплаты в собственном университете, но ошибочно полагались на количество аргументов, когда речь шла о другом университете, что непосредственно их не касалось. Точно так же на восприятие сообщения про аутизм и парацетамол, о котором мы говорили ранее, могли повлиять разные факторы. Во-первых, говорил эксперт, врач. Во-вторых, он ссылался на научные доказательства. В-третьих, сообщения о рисках, связанных с лечением, всегда затрагивают наши эмоции, и мы склонны реагировать на них без раздумий.

Поэтому важно научиться вовремя распознавать, почему вы верите сказанному. И это будет четвертой рекомендацией в этой главе. Полагаетесь ли вы на объективные факты или на авторитет специалиста? Вам страшно, поскольку действительно высока вероятность осложнений или потому что кто-то пытается вас запугать?

Однако вас теперь так просто не провести, после прочтения книги вы сможете проводить свои маленькие аналитические расследования различных аргументов.

Например, если исследования приходят к одному выводу, это всегда звучит и выглядит убедительно. Чем больше исследований приходят к одному и тому же выводу, тем лучше. Например, только 1 из 24 рандомизированных испытаний, проведенных на обычных жителях, подтвердили эффективность витамина С при простуде. Поэтому его эффективность представляется весьма сомнительной.

Помните историю Ричарда Долла и Остина Брадфорда? В течение всего нескольких лет после первых шокирующих результатов провели 19 подобных исследований типа «случай – контроль». Результат оказался одинаков – рак легких чаще встречается среди курильщиков. Казалось бы, можно радоваться и считать вопрос закрытым, но есть одно важное замечание. Если все эти исследования смотрели на проблему под одним углом, значит, они все могут быть либо одинаково правы, либо одинаково неправы. Это одно из важных и правомерных замечаний, полученных Доллом и Хиллом, что сподвигло их продолжить исследования и доказать связь между курением и раком легких уже в когортном исследовании, когда наблюдение за курильщиками и некурильщиками началось задолго до появления симптомов заболевания. А позднее провели эксперименты, когда оценивался эффект отказа от курения на снижение риска рака легких в будущем.

Поэтому количество проведенных исследований, которые пришли к одинаковому результату, не всегда является критерием надежности. Бывает, несколько или даже множество исследований приходят к одному и тому же результату, только неправильному. Например, все проведенные исследования изначально неправильно спланированы и пропустили важный фактор, о котором еще не было известно. Как, например, уровень образованности матери в исследовании с зефирками из 6-й главы. Может случиться так, что все исследования публикуются в небольших журналах учеными с сомнительной репутацией, и эти случаи представляют собой тщательно подобранные редкие исключения, не отражающие действительность для большинства других людей.

В моей научной работе я тоже встречалась с такими исследованиями. В середине 2010‐х годов одной из «горячих» для изучения тем являлось положительное влияние статинов при болях в коленных суставах у пожилых людей. Ранее в книге мы говорили, что у нас нет проверенных и надежных лекарств, способных остановить разрушение хряща при остеоартрите. И вдруг одно за другим стали появляться исследования, доказывающие снижение интенсивности боли в суставах при приеме статинов, а также снижение частоты операций по замене сустава. В команде с биостатистиками и эпидемиологами мы внимательно изучили все предшествующие исследования, проанализировали их недостатки и приложили огромные усилия, чтобы избежать возможных искажений и систематических ошибок. В течение года я проанализировала более 17 млн медицинских записей в базе данных Великобритании. Вывод был неутешителен: статины не оказывают никакого эффекта при остеоартрите, а все положительные результаты предыдущих исследований были следствием ошибок в планировании [25]. После публикации результатов исследования в этом направлении прекратились, и вопрос был закрыт, поэтому вы нигде не увидите, что врач назначает статины при болях в суставе.

Возможно, в этот момент вы чувствуете возмущение: как это возможно, что ученые постоянно ошибаются? Или даже разочарование и недоверие к любым научным исследованиям – если ученые постоянно ошибаются, можно ли им вообще верить? И я вас понимаю. Но прошу не торопиться с выводами. В следующем параграфе главы мы поговорим об эволюции научных исследований и какое место в этом процессе занимают те самые некачественные и ненадежные исследования.

§ 2. Как понимание научного прогресса поможет нам в интерпретации доказательств

В прошлых главах мы говорили, что среди частых причин, почему разные исследования приходят к разным результатам, являются маленькие выборки, подверженные случайным ошибкам, ошибки отбора, из-за которых выборки становятся нерепрезентативными, а также недостатки различных дизайнов исследований.

Почему мы так часто сталкиваемся с маленькими исследованиями плохого качества, с участниками, не похожими на нас, а их результаты запутывают нас больше, чем направляют?

Если бы идеальное исследование существовало, выглядело бы оно так: чтобы узнать, будет ли лечение эффективно для вас, ученые бы создали две идентичные копии вас, с одной и той же формой и тяжестью заболевания, но только одна получила бы лекарство. А потом сравнили бы результаты и сделали выводы. К сожалению, это невозможно. Вы существуете в единственном экземпляре. И даже идентичные однояйцевые близнецы отличаются друг от друга. Об этом вам расскажет любая мама близняшек. И чем старше близнецы, тем больше появляется различий. В реальности близкие к идеальным исследования скорее редкость, чем правило.

В какой-то мере путь развития научного знания можно представить как линейное движение от маленького к большому, от простого к сложному, от известного к неизвестному или, наоборот, от неизвестного к известному.

Рисунок 30. Линейный научный прогресс

Иногда один сложный случай может сподвигнуть врача начать изучать вопрос лучше. Потом оказывается, что это не единичный случай, а серия случаев. Далее врач начинает замечать закономерности и сравнивать целые группы пациентов. Сначала одномоментно, а потом уже в течение какого-либо времени. Каждый этап дает новую информацию и позволяет лучше спланировать следующий шаг. Когда доказательств накапливается много, можно приступать не просто к наблюдению и анализу пациентов, а к эксперименту – мы вмешиваемся в ход событий и смотрим, влияют ли наши действия на результаты.

Так произошло с одним диагностическим алгоритмом из Израиля, авторов которого я знаю лично. История этого успешного стартапа как раз началась с одного клинического случая. У пациента обнаружили рак толстого кишечника, причем на достаточно серьезной стадии, когда шансов продлить жизнь не так много. Диагноз стал сюрпризом не только для пациента, но и для его участкового врача, так как пациент регулярно приходил на осмотры и сдавал анализы крови, и ничего не выбивалось из нормы. Однако, когда врач внимательно сравнила анализы крови за последние три года, она заметила тенденцию к снижению показателей гемоглобина, которая буквально перед диагнозом перешла в анемию за счет хронической кровопотери из кишечника. То есть был период, когда анализ крови был еще в норме, но можно было уже заподозрить, что что-то не так. Тогда он решил посмотреть, можно ли наблюдать подобную тенденцию у других пациентов. Оказалось, да. С группой статистиков врач провел исследование в своей больнице, и вместе они смогли найти закономерные изменения в общем анализе крови у пациентов с раком толстого кишечника, которых не было у их ровесников без рака.

Данное исследование положило начало диагностическому алгоритму под названием ColonFlag. Следующим этапом нужно было доказать, наблюдается ли подобная картина в других странах и не закралась ли в расчеты ошибка. Тогда ученые взяли несколько баз данных из США, Англии и Израиля. Результаты подтвердились: алгоритм выявлял людей, у которых в 10 раз чаще обнаруживали рак. И что важно: среди них были пациенты на ранней стадии рака и даже предраковой, как раз тогда, когда еще не поздно вмешаться и все остановить. Совсем недавно вышли результаты проспективного исследования, когда алгоритм внедрили в одну из крупных больниц в США с очень хорошим результатом [27].

Такое последовательное движение от простых к более сложным исследованиям оправдано и с финансовой точки зрения: ни одна организация не возьмется сразу спонсировать когортное исследование или клиническое испытание, требующее годы на проведение и огромные финансовые вложения, если нет достаточных предварительных данных.

Однако, если даже у ученых есть и знания, и ресурсы, и безграничное время, чтобы осуществить идеальное исследование, навряд ли они сразу бросятся их делать. Как думаете, почему?

А потому, что в реальности для большинства научных открытий процесс далек от линейного движения вперед. И выглядит примерно так.

Рисунок 31. Нелинейный научный прогресс

Каждое научное открытие распахивает дверь новым гипотезам и идеям, но не все окажутся верными. Большинство изначальных гипотез и клинических наблюдений не подтверждаются дальнейшими исследованиями. Бывает и так, что некоторые из них показывают определенный эффект в ранних исследованиях, как было в моей истории со статинами при болях в суставах, но в свете новых данных оказываются бесполезными. Поэтому мы больше не лечим инфекции кровопусканием, не обезболиваем роды маковым настоем и не едим мухоморы в попытках избавиться от рака. Как и народные средства, большинство разработок современных лекарств не доходит до реального применения, поскольку они либо небезопасны, либо неэффективны.

Другой вариант – некоторые исследования после серии успешных результатов заходят в тупик или застревают, и только новый виток научного прогресса способен пролить на них свет и обеспечить продолжение. Причем помощь часто приходит из смежных дисциплин, например химии, инженерии и компьютерных наук. Так, проект «Геном человека» (англ. The Human Genome Project, HGP), целью которого было изучение всего генома человека, начатый в 1990 году, в какой-то момент столкнулся с серьезными проблемами. В то время данные сохраняли на дисках и жестких дисках, однако информации было слишком много – 3 млрд пар нуклеотидов на каждого исследуемого. Анализировать такой объем данных было еще сложнее, чем хранить. Поэтому прорыв произошел лишь тогда, когда достижения в области вычислительной биологии и разработка высокопроизводительных технологий секвенирования позволили исследователям завершить проект в 2003 году. Это проложило путь к многочисленным открытиям в генетике, персонализированной медицине и нашему пониманию различных болезней.

Кун [4], знаменитый философ, охарактеризовал сущность научного прогресса и открытий как процесс, включающий периоды «нормальной науки» – последовательных достижений, основанных на прошлых достижениях, – перемежающихся периодами революционных изменений в научном мышлении. Эти эпизоды «меняют правила игры». Революционные открытия бросают вызов догмам и встряхивают научное сообщество. Но эти эпизоды в итоге приводят к новым парадигмам, меняющим мышление, стимулирующим дальнейшие новые открытия и тем самым способствующим прогрессу в этой области. Хотя размышления Куна относились прежде всего к физике, их легко применить к медицине.

Поэтому, чтобы сэкономить время и ресурсы, ученые сначала тестируют многие гипотезы на уже имеющихся и доступных данных, часто их называют in-house data (с англ. «домашние данные»), то есть такие данные, которые уже были собраны научно-исследовательской группой, возможно, даже для других целей. Если первичные результаты покажут положительный результат, ученые берутся планировать более масштабное исследование.

Побочным эффектом, или, как еще говорят, побочным ущербом (с англ. collateral damage), в нелинейном научном пути будет огромное количество научных публикаций, которые в последующем были или будут опровергнуты.

Стоит ли ругать ученых за ошибочные результаты?

Конечно, нет, ведь без них мы бы, возможно, никогда не продвинулись вперед. Врач-онколог и ученый Сидхартха Мукерджи в своей книге «Царь всех болезней. Биография рака» [5] так описывал важность предыдущих исследований в работе ученых: «Ученые изучают прошлое с той же одержимостью, что и историки, потому что немного других профессий так сильно зависят от него. Каждый эксперимент – это диалог с предшествующим экспериментом, каждая новая теория – опровержение старой».

Но что тогда делать со всем этим огромным массивом научных публикаций, многие из которых устарели или оказались ошибочными? Знать о них и относиться с пониманием. Многие современные эффективные методы лечения когда-то были экспериментальными. Однако не каждое экспериментальное лечение оказывается эффективным, и многие не лучше, чем существующие альтернативы. Важно собирать и анализировать доказательства, чтобы прекратить делать то, что не работает, и свести к минимуму вред для пациентов.

Недавно в одном клиническом протоколе по ведению пациентов с меланомой меня очень удивило, что одной из первых фраз стало такое предупреждение (с англ. disclaimer) – «отказ от ответственности».

«Медицина находится в процессе непрерывного развития. Поэтому все утверждения, в частности о диагностических и терапевтических процедурах, могут соответствовать только научным знаниям, существующим на момент публикации этого руководства. Лечащий врач, ссылающийся на эти рекомендации, должен учитывать научный прогресс с момента публикации руководства».

Рисунок 32. Внимание! Ведутся научные работы

О том, как быстро двигается научный прогресс и, соответственно, как быстро устаревают некоторые знания, следует помнить всем нам. И научиться объективно их оценивать.