Текст книги "Сердце. Справочник кардиопациента"

Погрешности достоверности исследования, которые не являются «слепыми»

Хотя так называемое «ослепление» участников считается краеугольным камнем высококачественного РКИ, иногда сделать это не представляется возможным. Несколько лет назад группа врачей провела исследование для оценки эффективности левожелудочкового аппарата вспомогательного кровообращения (ЛАВК) в продлении жизни у больных с прогрессирующей сердечной недостаточностью. ЛАВК – это небольшой имплантируемый насос, который берет на себя часть нагрузки на сердце у больных, чье сердце ослаблено болезнью. В этом важном исследовании ЛАВК пациенты были рандомизированы на получение медицинской терапии (препараты) или насоса ЛАВК. Совершенно очевидно, что, поскольку ЛАВК – это хирургически имплантируемое устройство, было невозможно «ослепить» ни пациентов, ни их врачей.

В этом случае исследователи пытались определить, оказывает ли ЛАВК влияние на вероятность смерти – результат, который, конечно, является свободным от предвзятости. Но в изучении ЛАВК врачи также сообщили о двух видах измерений улучшения сердечной недостаточности. Первый был относительно объективным и включал измерение работоспособности пациентов на беговой дорожке. Другой представлял собой субъективную оценку врачей того, было ли у пациентов общее улучшение функциональной способности. Не было зафиксировано никаких улучшений в измерении работоспособности пациентов на беговой дорожке, но, по словам врачей, оценка функциональной способности давала статистически значимые улучшения. Какому же результату верить?

В этом испытании ЛАВК проектировщики исследования совершили фатальную, но часто встречающуюся ошибку: они предназначили хирургу, который имплантировал ЛАВК, определять функциональное состояние пациентов с ЛАВК. Как вы полагаете, является ли хирург, который имплантировал устройство, беспристрастным наблюдателем при определении эффективности его терапии – в данном случае ЛАВК, – выражающейся в улучшении у пациентов симптомов?

Мы называем этот тип ошибок «погрешностью достоверности», так как они отражают присущие предубеждения врачей, участвующих в оценке результатов исследования. Надлежащее планирование испытаний предполагало бы участие полностью независимых наблюдателей для оценки функционального статуса как группы, принимающей медикаментозное лечение, так и группы с хирургическим вмешательством.

Систематическая ошибка, связанная с отбором участников исследования

Если РКИ призваны помогать нам принимать решения в повседневной медицинской практике, они должны включать в себя тех пациентов, которых мы принимаем в плановом порядке. Участники рандомизированного исследования должны представлять собой срез пациентов, подходящих для получения изучаемой терапии. Однако существует много примеров, когда неустранимые ошибки пациентов и врачей помешали типичным пациентам попасть в клиническое испытание, что искажало результат и ограничивало нашу возможность применять полученные результаты для широких слоев населения.

Скажем, мы хотим провести сравнительное исследование стентирования коронарных артерий и операции по шунтированию у пациентов с болью в груди, вызываемой физической нагрузкой. Врачи, которые набирают таких больных для участия в эксперименте, зачастую бывают интервенционными кардиологами (которые выполняют стентирование), поэтому они могут иметь устоявшиеся представления о том, какие пациенты, по всей вероятности, извлекут большую выгоду из шунтирования по сравнению со стентированием. Они могли бы посылать самых тяжелых больных на операцию, а более здоровых прямо на ангиопластику и стентирование, таким образом зачисляя лишь небольшой процент потенциально подходящих пациентов на участие в испытании. Таким образом, выводы не могут быть обобщены для всех пациентов со стабильной болью в груди, поскольку ни самые тяжелые больные, ни более здоровые не были привлечены к участию в эксперименте. Проблемы этого рода в РКИ известны как субъективный подбор.

Отсев

Отсев означает именно то, что вы подумали. Если РКИ предназначено для сравнения результатов лечения, проводящегося на протяжении ряда лет, то неизбежно, что некоторые пациенты либо их врачи могут решить прекратить назначенное лечение или участие в испытании. Это явление может оказывать значительное влияние на результаты РКИ. Отсев почти никогда не бывает случайным; он часто связан с побочными эффектами назначенной терапии. В долгосрочном клиническом испытании некоторые пациенты могут испытывать осложнения от терапии и прекратить принимать препарат в течение нескольких дней или недель.

Для сведения к минимуму воздействия отсева в разработанных надлежащим образом РКИ для анализа результатов используется подход, известный как анализ выборки «намеренных лечиться». Анализ выборки «намеренных лечиться» включает в себя всех пациентов в анализе результатов, независимо от того, перестали они принимать препарат или нет во время испытания. В основном исследователи включают больного в заключительный анализ эффекта лекарства, даже если он прекратил прием препарата на второй день исследования. Поскольку те пациенты, которые отменили прием препарата, не могут испытывать его лечебный эффект, анализ выборки «намеренных лечиться» – это консервативный подход, потому что он на самом деле оказывает негативное влияние на результаты исследования не в пользу активной терапии.

Это самый лучший способ представить результаты исследования. Если исследование началось с участием 10 тысяч пациентов, а в конечном счете в отчете сообщается лишь о 7 тысячах, которые завершили исследование, это тревожный сигнал. Авторы исследования неправильно проанализировали данные, и мы должны поставить под вопрос их выводы.

Отклонение от ожидаемого результата

В оценке результатов клинических испытаний исследователи должны сосредоточить внимание на ожидаемом результате, который, как они указали, им хотелось изучить, – тот самый, который они определили до начала исследования. Мы называем этот результат ожидаемым. Как правило, РКИ имеет только один ожидаемый результат, и он является единственной наиболее важной задачей в рамках проводимого испытания. Почему мы ориентируемся только на один результат? Вспомните, мы считаем, что Пи-величина должна быть на уровне 0,05 или менее, это означает, что положительный результат будет ошибочным на 5 % (или менее). Если бы мы позволили РКИ указать двадцать ожидаемых результатов, то будет высокая вероятность, что по крайней мере один из этих результатов будет положительным, так же как и случайный результат.

Учитывая эти статистические нюансы, разработчики РКИ назначают единственный результат в качестве ожидаемого, а все прочие результаты будут вторичными или третичными. Например, исследование нового препарата для лечения сердечной недостаточности может указать смерть в качестве ожидаемого результата: сколько смертей произошло у людей, принимающих этот препарат, по сравнению с количеством смертей среди людей, принимающих плацебо? Вторичный результат может включать качество жизни, госпитализацию по поводу сердечной недостаточности и расстояние, проходимое за шесть минут физической нагрузки. Если по завершении исследования нет никакого снижения риска смерти, мы считаем результат этого исследования негативным. Даже если исследование показывает улучшение вторичных результатов, производитель препарата и исследователи, проводящие испытание, не утверждают, что он имеет доказанные преимущества. Когда лекарство или устройство улучшает вторичные результаты, эти результаты являются «генерирующими гипотезу» – они должны быть подтверждены в другом испытании, где эта подразумеваемая полезность является ожидаемым результатом.

Хотя эти правила для РКИ могут показаться жесткими, подобный тип дисциплины является абсолютно необходимым, чтобы избежать объявления метода лечения «лучшим» или «превосходным», когда это не было твердо установлено. К сожалению, врачи и компании, сообщая результаты клинических испытаний, часто путают ожидаемый и вторичный результаты, зачастую намеренно. СМИ сообщают результаты исследования так, как описывают их исследователи, зачастую вводя в заблуждение общественность относительно полезности и риска такой терапии. В худшем случае авторы исследования сообщают о полезности в ожидаемом результате, которая даже не рассматривалась при составлении плана испытания. Подобный тип вводящей в заблуждение информации иногда пренебрежительно характеризуется как «извлечение полезной информации из данных», хотя его официальный термин – «ретроспективный анализ», или «процедура множественных сравнений». Когда вы слышите о результатах РКИ, всегда смотрите, являются ли описанные преимущества ожидаемыми результатами, или это какой-то другой вторичный результат.

Суррогатные конечные точки

При оценке клинических испытаний мы всегда уделяем особое внимание ожидаемому результату. Многие РКИ, имеющие отношение к сердечно-сосудистой системе, являются тем, что называется исследованиями заболеваемости и смертности, типично определяемыми как исследования, в которых используется комбинация смерти, инфаркта и инсульта в качестве ожидаемого результата. Однако ожидаемые результаты многих исследований бывают гораздо менее серьезными, например сравнение эффекта различных терапевтических средств на повышенный уровень холестерина в крови.

Основанием для таких испытаний является убеждение, что понижение уровня холестерина в конечном счете приведет к сокращению заболеваемости и смертности. Мы говорим, что снижение уровня холестерина служит в качестве суррогатной конечной точки, на самом деле мы считаем важным снижение инфарктов и инсультов. Другие общие суррогатные конечные точки включают измерения артериального давления и снижение уровня сахара в крови. Все более популярной суррогатной конечной точкой при исследованиях сердечных заболеваний является оценка степени накопления бляшек в шейных артериях. В теории от лечения, замедляющего прогресс бляшкообразования, можно было бы ожидать снижения инфарктов и инсультов. Но мы не знаем этого наверняка.

Хотя суррогатные конечные точки полезны для изучения гипотез, использование их для принятия решений относительно превосходства альтернативной терапии рискованно. Несколько лет назад одна крупная фармацевтическая компания разработала препарат, который повышает «хороший» холестерин (ЛПВП) более чем на 60 %, эффект лучше, чем у любого из существующих лекарств. Тогда эта компания провела крупное РКИ, чтобы определить, приводит ли применение этого препарата к снижению заболеваемости и смертности. Через два года клинических испытаний Совет безопасности и мониторинга данных прекратил исследование, потому что у пациентов, которые получали препарат для повышения холестерина ЛПВП, смертность увеличилась на 58 %. Лекарство поднимало уровень холестерина ЛПВП, что должно было быть полезным. Но при этом также увеличивалось и число смертей.

К сожалению, есть много столь же ярких примеров испытаний, которые вводили в заблуждение медицинское сообщество. Изучение суррогатных конечных точек может помочь исследователям лучше подобрать методы лечения или дозы лекарств для формальных исследований заболеваемости и смертности, но такие исследования никогда не смогут заменить правильно спланированных испытаний, в которых оцениваются более важные результаты.

Анализ в подгруппах: ищите, пока не получите положительный результат

Особенно раздражающая, но общая проблема связана с анализом результатов для нескольких подгрупп пациентов в РКИ. Подгруппа – это любое произвольное число людей, участвующих в испытании, так, например, мужчины (вместо того, чтобы присутствовали и мужчины и женщины), пожилые пациенты (вместо пациентов всех возрастов) или пациенты с сахарным диабетом (вместо того, чтобы были как больные сахарным диабетом, так и недиабетики). Анализ в подгруппах затрудняет интерпретирование клинических испытаний, потому что, если вы изучаете достаточно подгрупп, существует высокая вероятность того, что одна из этих групп будет давать положительный результат совершенно случайно. Анализ подгруппы – это как рыбная ловля: забрось удочку и увидишь, что выловишь. Один наш друг, всемирно известный статистик, сказал: «Дайте мне изучить достаточно подгрупп, и я покажу вам положительный результат испытания». Он не шутил.

Например, в печально известном исследовании, которое сравнивало аспирин и фибринолитическое средство – препарат для лечения инфаркта, врачи решили продемонстрировать медицинскому сообществу ненадежность анализа в подгруппах.

Они рассмотрели результаты исследования в подгруппах, классифицированных по астрологическим знакам пациентов. И что же они обнаружили? Аспирин повышал смертность на 9 % у людей, родившихся под знаком Весов и Близнецов, но снижал смертность на 28 % во всех других астрологических подгруппах.

С осторожностью относитесь к крупным исследованиям, которые сообщают о положительных результатах у пациентов с очень специфическими характеристиками (например, у мужчин-диабетиков в возрасте 70 лет); результат подобного рода, как правило, исходит от выуживания положительного результата в различных подгруппах.

Неправильное освещение клинических испытаний: проследите, откуда деньги

Хотя мы считаем РКИ наиболее надежным источником научных данных, они не всегда сообщаются в надлежащей и научно объективной манере. Основные клинические испытания лекарственных средств и медицинских устройств обычно финансируются коммерческими структурами, как правило фармацевтическими компаниями или производителями медицинского оборудования, которые имеют сильные экономические стимулы для доклада благоприятных результатов. Недавний обзор клинических испытаний показал, что финансируемые промышленниками испытания почти в два раза чаще сообщают о благоприятных результатах по сравнению с РКИ той же терапии, проведенными некоммерческими группами. Отдельное исследование показало, что статьи в медицинских журналах, представляющие результаты финансируемых промышленниками испытаний, были более чем в пять раз больше склонны рекомендовать исследуемую терапию по сравнению с исследованиями, финансируемыми за счет некоммерческих организаций.

Как же влияют на результаты клинических испытаний источники финансирования? Их влияние начинается на стадии планирования. РКИ теоретически предназначены для ответа на клинически важный научный вопрос, но спонсор исследования, инициировавший испытание, имеет возможность указать, на какой именно вопрос. Это не совсем как договорная игра в бейсбол, но это действительно означает, что те, кто планирует исследование, могут повысить шансы на благоприятный результат.

Хорошо известный пример, иллюстрирующий способ, с помощью которого план испытания может быть отклонен в пользу производителя, – это изучение препаратов, предотвращающих кислотный рефлюкс. Первый препарат из этого класса, представленный на утверждение, был эффективен, но его срок действия патента был на исходе, открывая дверь недорогим дженерикам. Поэтому производитель решил сохранить свой приток доходов путем введения «нового» препарата, который на самом деле являлся лишь слегка измененной версией исходного химического соединения. Компания начала клинические исследования, призванные определить, будет ли новый препарат более эффективным в облегчении симптомов, чем старый. Неудивительно, что исследование показало лучшие результаты у нового препарата. Но там возникла основная проблема: доза старого препарата, используемого в РКИ, была 20 миллиграммов, в то время как дозировка нового составляла 40 миллиграммов. Несмотря на такую очевидную подтасовку, новый препарат от рефлюкса быстро завоевал рынок и остается самым продаваемым препаратом в этом классе.

Метаанализ является важным типом исследования, в котором используются сложные математические формулы, чтобы объединить несколько РКИ для создания большего набора данных. Есть надежда, что это поможет исследователям ответить на вопросы, которые не могут быть решены с помощью любого иного подхода.

Ученые проводят метаанализ, потому что невозможно проводить большое рандомизированное испытание для каждого возможного вида лечения. Одной из причин может быть стоимость: в типичном РКИ, связанном с лечением заболеваний сердечно-сосудистой системы, участвуют тысячи пациентов, и оно может стоить несколько сотен миллионов долларов. Или иногда возникает серьезный вопрос безопасности широко используемого препарата и ни одно уже проведенное РКИ не может дать адекватного ответа. В сущности, метаанализ объединяет небольшие исследования для того, чтобы имитировать то, что можно было бы наблюдать, если бы все пациенты, участвующие в этих небольших исследованиях, участвовали в одном большом РКИ.

Самой важной сильной стороной этого метода является его способность объединять все имеющиеся данные РКИ по конкретному методу лечения. Его слабой стороной являются опасности сочетания исследований, в которых участвовали разные группы пациентов, находящихся на лечении в разное время или, возможно, имеющих разные первичные ожидаемые результаты. Хотя метаанализ является более надежным, чем обсервационные исследования, он может иногда привести к неверным результатам.

Из-за использования сложных методов проведение метаанализа всегда заслуживает тщательной проверки правильности результатов. Как были идентифицированы исследования? Не упустили ли авторы важные РКИ, которые внесли бы важные данные? Имеют ли авторы доступ к необработанным данным из исследований, которые они включают в метаанализ, или же они используют только те результаты, о которых сообщается в опубликованных отчетах? Использование лишь опубликованных материалов может быть искажено явлением, называемым «погрешностями публикации», также известным как «проблема картотечного ящика»[15]15
  «Проблема картотечного ящика» – тенденция не публиковать статистически незначимые результаты, сохраняя их в архивах исследователей.


[Закрыть]. Иногда исследования, которые не показали преимуществ терапии, так и не публикуются, они остаются в ящике стола авторов. Например, один метаанализ показал, что прием магния полезен для пациентов, которые перенесли сердечный приступ. Последующие крупные РКИ не показали никакой пользы. Метаанализ дал неверный ответ, потому что исследователи в предыдущих исследованиях магния опубликовали только рандомизированные контролируемые испытания с положительными результатами, в то время как исследования с отрицательным результатом, которые не показали пользу магния, лежали в картотечном ящике исследователей, недоступном для авторов метаанализа.

Из-за этих ограничений большинство авторитетных органов считает метаанализ промежуточным в надежности – более полезным, чем обсервационные исследования, но менее существенным, чем правильно спланированные РКИ. Тем не менее метаанализ может оказывать огромное влияние. В 2007 г. мы опубликовали метаанализ, в котором сообщается о 43 %-ном увеличении количества случаев инфаркта у пациентов, леченных диабетическим препаратом авандия. Хотя и спорный на момент публикации, этот метаанализ в конечном счете привел к введению полного запрета на этот препарат в Европе и жесткое ограничение на его использование в Соединенных Штатах.

ИМЕЕМ ДЕЛО С ПОГРЕШНОСТЯМИ ПУБЛИКАЦИЙ

Погрешности в публикациях, как мы видели в нашем обсуждении метаанализа, могут иметь катастрофическое влияние на достоверность медицинских исследований. В 1997 г. эта проблема наконец получила внимание конгресса, который создал онлайновый регистр для отслеживания всех рандомизированных клинических испытаний (http://clinicaltrials.gov). Концепция была проста: если всем будет известно о существовании клинического исследования, общественное давление на публикацию его результатов могло бы уменьшить вероятность публикации только положительных результатов, исследования с отрицательным результатом не будут преданы забвению.

Первоначально сайт имел ограниченный доступ. Регистрация является добровольной, не было средств принуждения обязательной регистрации. Однако ассоциация редакторов медицинских журналов впоследствии приняла политику, что ни одно клиническое испытание, которое не было зарегистрировано до начала исследования, не будет принято к публикации. И в 2007 г. конгресс добавил несколько поправок к закону, одобрившему законопроект, требующий от производителей лекарственных препаратов регистрации клинических испытаний и сообщений об их результатах на сайте. Эти требования, безусловно, помогли снизить неприятную проблему погрешностей в публикациях.