Текст книги "Гиппократ не рад. Путеводитель в мире медицинских исследований"

А как у нас?

В России существуют аналоги всех указанных протоколов. Основное их отличие – язык. Да, действительно, производство лекарственных препаратов – это слишком серьёзная штука. Для того чтобы этим заниматься, необходимо получать специальную лицензию. Согласно Федеральному закону «Об обращении лекарственных средств» «обязательным условием предоставления лицензии на производство лекарственных средств является приложение к заявлению соискателя лицензии лекарственных форм и (или) видов фармацевтических субстанций, которые производитель лекарственных средств намерен производить». То есть если вы внезапно соберётесь открывать свою фармкомпанию, надо иметь чёткое представление о том, что же вы собираетесь производить, иначе лицензию вам не дадут. Также в законе указывается, что если вы соберётесь производить что-то новенькое, расширить своё производство и добавить туда пару новых веществ, то вам придётся получать новую лицензию. Такого рода лицензию получают в Министерстве промышленности и торговли, а действует она только в том субъекте России, где было получено, хотя и с несколькими оговорками. Этот же Федеральный закон подразумевает получение иных необходимых документов и сертификатов, а также наличие у работников специального образования.

В России аналогами являются различные ГОСТы, инструкции, стандартные операционные действия (это поэтапные инструкции, которым обязательно и без нареканий должны следовать все работники лаборатории). Но возьмём, например, ГОСТ 33044-2014p^[27]. Данный ГОСТ действует с 2015 года на территории не только России, но и других стран Евразийского экономического союза. В самом документе на второй странице указывается, что «настоящий стандарт идентичен международному документу…», представляющему собой не что иное, как принципы надлежащей лабораторной практики.

Аналогично и с правилами клинических испытаний, и производства лекарств, и других протоколов: практически сразу указывается, что они были подготовлены на основе соответствующих зарубежных протоколов. Все эти документы являются обязательными для выполнения. В некоторых случаях, как, например, с ГОСТ Р 52249-2009^[28], указывается, что стандарт идентичен какому-то документу Европейского союза, за исключением определённого приложения.

Медицинская статистика

Моя мама – бухгалтер. Когда я была маленькой, компьютеры ещё не вошли в обиход, и поэтому считать «дебет и кредит» приходилось от руки. Именно от мамы я в первый раз услышала о том, что такое статистика. Долгое время это слово ассоциировалось у меня исключительно с экономическими вопросами. Затем в школе у меня началась физика, и я поняла, что статистика-то не только для экономики важна. После на биологии мы начали проходить темы, связанные с популяциями, распространённостью различных заболеваний. Именно тогда я в первый раз познакомилась с биомедицинской статистикой.

Статистика – это инструмент, который можно применять в разных областях науки. Без знаний о ней учёный не может делать верные выводы о результатах своего исследования. В некоторых университетах по медицинской статистике можно даже получить учёную степень! В этом разделе мы обсудим базовые статистические понятия, которыми наиболее часто оперируют в медицинской статистике, ведь без них в мире доказательной медицины никуда.

Статистические критерии и заветный p-value

Перед тем как проводить какое-то исследование, нужно чётко определить его цель. Именно она задаёт тон всей остальной работе, ведь, исходя из неё, исследователь сможет представить достижение цели в виде шагов. Эти шаги называются задачами. Допустим, вы хотите исследовать распространённость гриппа типа А среди школьников начальных классов школы № 1. Для этого нужно собрать все школьников, взять у них биологические образцы на анализы, провести эти анализы, а дальше уже сделать какие-то выводы. Всё это – последовательность шагов. Исходя из этой последовательности шагов и того, какие результаты мы хотим получить, выбираются соответствующие статистические методы обработки данных. Все школьники вместе образуют выборку, то есть это люди, которые были выбраны для проведения нашего эксперимента, наблюдения, опроса. Например, в этом случае нам будет вполне достаточно данных о том, сколько всего учеников учится в начальных классах и сколько из них заражены гриппом А.

Ситуация немного усложняется, если мы хотим проверить: кто же болеет гриппом чаще? Мальчики или девочки? Второклассники или третьеклассники? То есть теперь нам нужно ещё и сравнить результаты между группами испытуемых. Для того, чтобы тому, кто потом будет читать наш отчёт, было понятно, по какому признаку мы разделяли учеников, мы должны как-то охарактеризовать всю выборку школьников. Нужно будет указать информацию о том, сколько девочек, сколько мальчиков, сколько учеников какого класса вошло в итоговый статистический анализ. Тут важно помнить, что изначально мы принимаем, что никаких различий между группами не существует. Такое утверждение иначе называется нулевой гипотезой, Н₀. В зависимости от цели исследования мы можем пытаться или доказать нулевую гипотезу, или опровергнуть её. Если окажется, что разница в заболеваемости гриппом между мальчиками и девочками всё же существует, мы напишем в отчёте, что нулевая гипотеза была отвергнута. Если же разницы в результатах не будет наблюдаться, мы напишем, что нулевая гипотеза была принята.

Но и это ещё не всё. Согласитесь, будет странно делать выводы о различиях в распространённости гриппа А в разных группах, если в одну группу входит только один человек, а в другую – двадцать. То есть наши группы должны быть каким-то образом сопоставимы. В них необязательно должно быть одинаковое количество человек. Допустимая разница в группах рассчитывается отдельно. Но если в одну группу войдёт 25 человек, а в другую – 26, мы всё равно сможем обработать такую информацию.

Сколько же человек должно вообще нужно исследовать для того, чтобы наши выводы стали корректными и могли применяться повсеместно? По данным сайта Statdata на 1 января 2017 года в России проживает около 8.5 млн детей в возрасте от 5 до 9 лет. Можно ли будет распространить наши результаты на все эти 8.5 млн детей? Нет, ведь наша выборка неидеальна. Мы выбрали только учеников из одной школы. Ситуация улучшится, если мы выберем для анализа данные об учениках из школы № 2? Совсем немного, ведь мы всё ещё находимся в одном городе. Мы хотим получить результаты, которые можно будет распространить на всю страну целиком, значит, нам надо подключить и другие города к нашему анализу.

То, что мы сейчас с вами проговорили, – это мысленная часть эксперимента, всего лишь подготовка к нему. Несмотря на то, что наше исследование казалось совсем простым, в итоге оказалось, что и в этом случае надо аккуратно подходить к делу. Анализ объёма выборки, который необходим для получения результатов исследования, – это крайне важный этап планирования эксперимента. Без проведения вычислений на этапе планирования исследователь может получить слишком маленький объём данных на выходе. В результате наше исследование будет ненадёжным. Если же исследователь, напротив, проводит исследование на очень большой выборке, то он рискует получить слишком много данных. Избыточность данных для статистического анализа не беда, но вот потраченное время и ресурсы могут быть очень ценными. Если речь идёт о клинических испытаниях, то здесь к вопросу о высчитывании необходимой выборки подходят со всем тщанием (конечно, если речь идёт о добросовестных исследователях).

Кроме того, планирование эксперимента позволяет исследователю определить, какова вероятность того, что выбранные им статистические методы будут обнаруживать различия? Насколько велика вероятность ошибки? К сожалению, полностью избавиться от ошибок не удаётся. Как известно, всегда существует вероятность того, что что-то пошло не так. В нашем случае с исследованием распространённости гриппа А добавляется ещё один элемент ошибки. Действительно ли мы можем распространить наши результаты на всех учеников начальных классов в стране? Экономически провести интересующие нас анализы у 8.5 млн детей совершенно невыгодно. То есть мы изначально принимаем, что какая-то вероятность ошибки наших суждений всё же будет существовать. С этим, к сожалению, надо смириться. Но вот второй вопрос более важен: какова величина той ошибки, с которой мы готовы смириться? Пусть мы получили данные о том, что третьеклассники болеют чаще, чем второклассники. Готовы ли мы смириться с тем, что мы ошибаемся в некоторых случаях?

Если вы начнёте читать какие-то биомедицинские исследования, вы практически в любой статье наткнётесь на такой параметр, как p. В английской литературе он называется p-value, в русской – уровень значимости, p-критерий, p-значение. Суть его заключается в том, что он показывает вероятность того, что мы ошиблись. Говоря совсем точно и сухими определениями: это вероятность того, что нулевая гипотеза верна, а мы её отвергли, получив данные, которые мы сочли отличающимися.

В зависимости от типа исследования выбирается определённое значение p. Например, в биоинформатических исследованиях работают с большими объёмами данных. Если выборка составляет 10 000 000, то 1 % ошибки будет для нас слишком велик, ведь 1 % от 10 000 000 равен 100 000. Именно столько раз мы ошибёмся. Поэтому в биоинформатике, как правило, значение p устанавливается совсем маленьким. Если в сравнении в каких-то статистических тестах программа ругается и говорит, что значение p больше установленного числа, означает, что нулевая гипотеза принимается, то есть отличий нет.

В биомедицинских исследованиях критическое значение р, как правило, равно 0.01 или 0.05, что означает 1 % и 5 % ошибок соответственно. Если при сравнении мы обнаружим, что p больше или равно установленному нами порогу, мы смело принимают нулевую гипотезу. На самом деле многими исследователями сейчас критикуется такой подход к оценке полученных результатов. Это связано с тем, что иногда самое по себе значение меньше 0.01 или 0.05 может ни о чём не говорить. Грубое принятие альтернативной гипотезы без каких-то других подтверждающих данных в клинических исследованиях подвергается критике. То есть необходимо учитывать «контекст», а именно остальные данные об исследовании: выборка, используемые методы, качество данных, обоснованность гипотез и выводов. Таким образом, посмотреть в результаты, увидеть заветное «p<0.01», далеко не всегда достаточно для того, чтобы делать выводы о результатах исследования. Более того, в некоторых случаях на одинаковых выборках разные статистические тесты могут давать разные данные, поэтому обычно часть статьи посвящают описанию статистической обработки данных.

О статистических тестах и о том, какие они бывают, мы поговорим немного позднее, а сейчас давайте вспомним, что нам ещё надо для того, чтобы охарактеризовать нашу выборку детей? Допустим, мы всё же заморочились и напрягли коллег из других городов. Коллеги собрали данные, прислали их нам. Теперь мы хотим понять, какая же у нас получилась выборка. Для этого её надо описать: распределение по полу, возрасту, классу, месту проживания, возможно, мы захотим узнать какого роста дети, что они едят, какие секции дополнительно посещают. Для этого нам надо будет вычислять процентные соотношения, средние значения, возможно, строить специальные графики и определять, что же у нас получились за наборы данных. Всё это – описательные статистики. С их помощью мы можем легко донести до читателя все данные о выборке.

После того, как мы всё это проделали, необходимо понять, какой статистический тест надо применять в нашем случае. Для этого надо провести так называемую проверку на нормальность. Суть тут вовсе не в том, что выборка у нас хорошая или плохая, нормальность в статистике обозначает кое-что другое.

Наверняка вам знакома изображённая выше кривая. По вертикальной оси в нашем случае отложена вероятность какого-то исхода, а по горизонтальной – значение или количество наблюдений, которым соответствует данная вероятность. Кривая такого вида представляет из себя изображение распределения Гаусса, или нормального распределения. Она задаётся определённой функцией, которая нам для рутинной работы не особо важна (хотя как исследователям нам не следует про неё забывать).

Зачем же нам эта кривая? После того, как мы получили результаты, мы оперируем какими-то наборами данных. Мы не можем сравнивать между собой рост и массу тела, потому что это разные категории данных. Но мы хотим сравнить, отличаются ли группы школьников по интересующим нас параметрам, поэтому все эти данные мы должны проверить на нормальность.

Возьмём небольшую выборку из десяти школьников, у которых следующие значения массы тела:

42, 43, 43, 42, 45, 46, 40, 41, 41, 42.

Теперь мы можем построить график по нашей таблице. По горизонтальной оси отложим массу тела, а по вертикальной – частоту встречаемости той или иной массы тела.

С помощью определённых статистических тестов (как правило, никто, кроме студентов, не делает это вручную, все считают на компьютере) можно определить, насколько получившаяся картина близка к виду нормального распределения. Чем больше точек поставлено на график, тем он, соответственно, будет точнее.

Если результат статистического теста говорит о том, что распределение близко к нормальному, мы должны применять группу статистических тестов, названных параметрическими. Если же распределение отличается от нормального, следует применять непараметрические методы.

Что же это за параметры, на которых будет базироваться обработка наших данных? Нашу выборку мы можем описать определённым образом, используя для этого ряд характеристик. Самое простое, что проходят даже в школе, – это среднее. Из нашей выборки 42, 43, 43, 42, 45, 46, 40, 41, 41, 42 мы можем легко найти среднее, просто сложив все числа и поделив их на количество элементов в выборке: 42+43+43+42+45+46+40+41+41+42 = 425, 425: 10 = 42.5. Чуть сложнее находится среднеквардратическое отклонение и ряд других параметров. Параметрические методы названы параметрическими, так как они основываются на оценке полученного распределения.

Однако иногда среднее может нам ничего не сказать. Самая простая ситуация – средняя температура по больнице. Если выборка будет достаточно большой, то средняя температура в любом отделении больницы может оказаться в норме, но это вовсе не будет говорить о том, что пациенты здоровы. Однако температура человека находится в строго определённых пределах и, безусловно, будет подчиняться закону нормального распределения. Что же мы тогда сможем узнать, найдя среднюю температуру в больнице? Мы только опишем наше распределение: температура человека, как правило, будет близка к 37 °C.

Среднеквадратическое отклонение (СКО) в статистике показывает, насколько широк разброс в нашей выборке. Например, для нашей выборки оно будет равно примерно 1.75. Как правило, СКО записывается через знак ±. Тогда мы получаем, что нашу выборку можно описать как минимум так: 42.50±1.75. Это означает, что большая часть элементов выборки находится в пределах от 42.50-1.75 = 40.75 до 42.50+1.75=44.25. В данном случае мы записываем именно 42.50, а не 42.5, так как этого требуют правила математической записи: в СКО у нас получилось 2 знака после запятой.

Среднее и СКО не всегда хорошо описывают выборку, об этом надо помнить. Если распределение асимметрично, данные будут искажены. Для описания таких выборок есть медиана. Если вновь провести аналогию с геометрией, как мы делали ранее для доказательств, то медиана – это отрезок, соединяющий вершину треугольника с серединой противоположной стороны (рис. 6).

Рис. 6. В треугольнике ABC отрезок AM является медианой, то есть разделяет сторону BC пополам

Аналогичную функцию медиана выполняет в статистике применительно к распределению величин. Медиана в статистике – это такое значение, которое разделяет распределение пополам, то есть половина значений распределения больше медианы, а половина – меньше (рис. 7). Мода – ещё один статистический параметр, обозначающий значение, которое встречается наиболее часто в нашей выборке.

Рис. 7. Среднее, медиана и мода. Слева направо: ассимметричное распределение, нормальное распределение и ассимметричное распределение

Как видно из рис. 7, для идеального нормального распределения среднее и медиана должны совпасть (как и в случае с равнобедренным треугольником), однако если нам нужна информация о том, какое именно значение находится в середине асимметричного распределения, медиана будет гораздо предпочтительнее. Кроме медианы, существуют так называемые процентили, наиболее часто из них используются квартили, то есть 25-й и 75-й процентили. Эти показатели показывают четверть наибольших и наименьших показателей в распределении. Сама медиана считается 50-м процентилем (рис. 8).

Рис. 8. Распределение с обозначенными минимальным и максимальным значениями, а также медианой и 25-м и 75-м процентилями

Итак, получается, что если наше распределение имеет вид идеальной гауссианы, мы легко можем оперировать параметрами распределения, но если распределение отличается от нормального, нам начинает не хватать среднего и СКО, необходимо вводить другие характеристики, такие как процентили и медиана.

Так как эти статистические характеристики наиболее понятны и просты, параметрические методы в статистике получили большую популярность. Практически ни одно исследование не обходится без их применения. Возраст, масса тела, рост, некоторые биохимические показатели – эти характеристики вполне соответствуют нормальному распределению, а значит, данные можно обрабатывать параметрикой. К параметрическим методам относятся, например, t-критерий Стьюдента, знакомый многим студентам, например по выполнению лабораторных по физике.

Критерий Стьюдента. Самый любимый и самый понятный! По сути он является частным случаем более сложного метода анализа, однако при изучении статистики рациональнее всегда начинать с изучения именно критерия Стьюдента. Данный метод позволяет нам сравнить, насколько отличаются две выборки друг от друга. В англоязычной литературе чаще называется просто t test (подозреваю, что это из-за сходства в написании Student [Стьюдент] и student [студент], что значительно усложняет поиск в Интернете).

Существует два типа t-теста:

• для независимых выборок, когда две сравниваемые группы никак друг от друга не зависят;

• парный (paired) для зависимых выборок, когда две сравниваемые группы зависят друг от друга.

Как правило, критерий применяется в тех случаях, когда испытуемых разделяют на две независимые группы, именно об этом мы и поговорим. Например, пациентов могут разделить на две группы: контрольную, которой дают плацебо, и ту, на которой испытывают реальные лекарства (экспериментальная группа). Таким образом, мы можем получить сразу много данных о каждой группе: какими были интересующие нас показатели (например уровень глюкозы в плазме крови) в группе плацебо до «лечения» и после? А в экспериментальной? Можно сравнить результаты исследований до начала активной фазы исследований и после. Тогда мы поймём, влияет ли как-то наше вмешательство на исследуемые параметры или нет.

Например, наше лекарство должно снижать уровень глюкозы в плазме крови. Если мы честные исследователи, то пациентов в каждую из групп, контрольную и экспериментальную, мы выбирали одинаково по тем же самым параметрам. Значит, и различий между группами по показателю содержания глюкозы в плазме крови до приёма плацебо и лекарства соответственно быть не должно. Но если наше лекарство действует лучше, чем ничего (пустышка-плацебо), значит, после лечения уровень глюкозы должен будет отличаться между группами. Так как глюкоза у нас в организме содержится в строго определённых пределах (меньше и больше определённых значений, к сожалению, означает смерть), а в норме натощак встречается в пределах примерно от 3.5 до 5.5 ммоль/л, можно заранее предположить нормальное распределение. Конечно, наше предположение никак не освобождает нас от необходимости проверки на нормальность: вдруг мы какие-то аномалии получили? Но если нормальность распределения подтверждается, можно использовать t-критерий Стьюдента.

Парный t-тест используется в тех случаях, когда исследователь не разделяет испытуемых на две группы. Они все изначально принадлежат сначала одной группе и проходят через одни и те же процедуры. Исследователь документирует все изменения, которые происходили до и после этих процедур с пациентами. После того, как все эффекты пропадают, пациентов начинают лечить по второй схеме. Все изменения фиксируются и на этом этапе. Парный критерий Стьюдента используется для перекрёстного сравнения таких двух подходов на одних и тех же пациентов, при этом оцениваются одни и те же величины.

Благодаря своей простоте и возможности применения даже на смартфоне при помощи калькулятора этот метод является одним из самых популярных в научной среде. Более того, повсеместность использования t-критерия позволяет вам как исследователю не только сравнивать что-то там у себя в больнице, но и обмениваться данными с коллегами по всему миру. Ведь если вы используете одни и те же методы для обработки данных, которые были собраны одинаково, вы имеете полное право сравнивать их между собой (а потом хвастаться, что у ваших пациентов, мол, показатели куда лучше, чем в соседней поликлинике). Однако не следует забывать, что верные данные и представления о результатах проведённого исследования можно получить тогда и только тогда, когда была правильно проведена вся подготовительная работа.

Для тех, кто захочет самостоятельно что-то вычислить, рекомендую начать с обыкновенных вычислений в Microsoft Excel. Все необходимые формулы легко можно найти в Гугле, только не забудьте заранее найти критические значения t по таблице. Для этого вам необходимо будет выбрать уровень значимости α и знать размер выборки. Этот случай – один из тех, когда первым ссылкам в поиске можно с лёгкостью доверять (рис. 9).

Рис. 9. Фрагмент таблицы со значениями t-критерия для разных уровней значимости и размеров выборки (n)

Множественные сравнения. Наверное, это самая больная мозоль многих исследований, к сожалению, чаще отечественных. Очень часто критерий Стьюдента неверно используется для того, чтобы оценить различия в большем числе групп. Напоминаю, что с помощью t-теста мы можем сравнить только две группы. Некоторые неопытные исследователи (ну или недобросовестные, чего уж греха таить) начинают сравнивать группы попарно. Например, всего было 3 группы, значит, можно сравнить 1 с 2, 2 с 3 и 1 с 3, после чего радостно публиковаться в не самом лучшем журнале (потому что в хороший не возьмут). Если в каких-то сравнениях такой исследователь получает заветное p < 0.05, он с уверенностью заверяет читателей в отличиях между группами, однако не учитывает факта множественных сравнений. По сути-то мы наши выборки использовали не в одном сравнении, а сразу в трёх! Для одного сравнения мы принимали вероятность ошибки в 5 %, но если количество сравнений увеличивается, на том же уровне значимости необходимое значение p также изменяется. Если прикидывать грубо, то в случае горе-исследователя вероятность ошибиться хотя бы в одном сравнении будет примерно 15 %.

Для избегания таких ошибок нужно применять специальные поправки на множественные сравнения. Их существует большое количество, для каждого конкретного случая лучше выбирать определённые поправки вручную с учётом целей исследования и полученных выборок. Самой грубой и простой является поправка Бонферрони, когда новый уровень значимости вычисляется простым делением начального уровня значимости на количество сравнений. То есть в случае с тремя группами (и тремя сравнениями) при уровне значимости 0.05 мы получим: 0.05: 3 = 0.017. Значит, значение p должно быть меньше, чем 0.017, чтобы отличия между группами считались значимыми, иначе вероятность ошибки слишком велика. Поправка Бонферрони применяется не всегда, так как является простейшей и довольно грубой, она довольно резко отсекает верные ненулевые гипотезы. Считается, что она неплохо работает тогда, когда мы проводим небольшое количество попарных сравнений.

Корреляция. Существует такое понятие как корреляция, по-простому это как один параметр зависит от другого, и зависит ли вообще, если да, то в какой степени. Например, с увеличением роста, как правило, увеличивается масса тела, следовательно, эти две характеристики коррелируют между собой. Коэффициент корреляции Пирсона используют для того, чтобы описывать количественные признаки, которые подчиняются нормальному распределению. Существует также коэффициент корреляции Спирмена, который используют в тех случаях, когда о распределении ничего неизвестно.

Тут только нужно особенно отметить тот факт, что «correlation does not imply causation» – корреляция не подразумевает причинно-следственную связь. Самый, к слову, простой пример может показаться довольно банальным. Некоторые дети, которые совершали жестокие преступления, много смотрели телевизор, очевидно, что телевизионные программы делают детей более жестокими. Но на самом деле всё может быть совсем не так, а может и с точностью до наоборот: возможно, жестоким детям просто нравится смотреть телевизор больше, чем нежестоким.

Ещё один пример – вши^[29]. Сейчас мы осознаём, что вши – это опасные существа, разносящие опасные заболевания, но наши предки из средневековой Европы очень удивились бы такому повороту событий. Европейские аристократы наряду с прочими правилами этикета изучали также правильные по этикету способы избавления от вшей. Многие считали, что вши и вовсе оказывают положительное влияние на здоровье человека, так как у больных людей этих паразитов обнаруживали реже. Предполагали, что болезнь приходила тогда, когда человек избавлялся от вшей, но на самом же деле эти членистоногие просто очень чувствительны к температуре. Таким образом, корреляция «больше вшей – здоровее человек» никак не поможет нам установить причинно-следственную связь, а, может, даже и натолкнёт на неправильные выводы о том, что вши полезны для здоровья.