Текст книги "Полевое руководство для научных журналистов"

3. Понимание и использование статистики
Льюис Коуп

Льюис Коуп 29 лет проработал научным журналистом в газете Minneapolis – St. Paul Star Tribune. Он член правления Совета по развитию научной журналистики и экс-президент Национальной ассоциации научных журналистов. Коуп стал соавтором Виктора Кона из Washington Post, скончавшегося в 2000 г., во втором издании книги «Новости и цифры: Как писать о статистике и спорных вопросах в медицине и других областях» (News & Numbers: A Guide to Reporting Statistical Claims and Controversies in Health and Other Fields, 1989, 2001).

Врач заявляет о «многообещающем» новом лекарстве. Можно ли верить его заявлению или же оно основано на искаженной или ненадежной информации? Экоактивист утверждает, что свалка вызывает рак, а промышленник гневно это отрицает. Кто прав?

В это время эксперты то и дело меняют свои мнения, что нужно есть, чтобы оставаться здоровым. Другие эксперты никак не придут к согласию, что погубило динозавров. Каким научным исследованиям верить?

В этой главе мы поговорим о правильном (а иногда и неправильном) использовании статистики. Но не пугайтесь этого слова на букву «с»: хорошему научному журналисту не требуется заумная математика. А понадобится доля здорового скептицизма и умение задать хорошие вопросы о вещах, которые могли повлиять на качество научных исследований и другие заявления. Чтобы отделить вероятную правду от вероятного мусора, нужно получить ответы на следующие вопросы:

1. Проводилось ли научное исследование или же заявление сделано только на основе ограниченного количества наблюдений? Если исследование было, как оно было спланировано и проведено?

2. Что насчет цифр? Было ли исследование достаточно масштабным (включало ли достаточно много пациентов, экспериментов и т. д.), чтобы сделать убедительные выводы? Являются ли статистически значимыми его результаты? Эта фраза означает всего-навсего, что, согласно научным стандартам, маловероятно, что такие статистические результаты получились просто случайно.

3. Есть ли другие возможные объяснения выводов исследования?

4. Могли ли повлиять на выводы исследования какие-либо искажения, преднамеренные или нет?

5. Проверялись ли результаты другими экспертами? И как они соотносятся с другой научной информацией и представлениями?

Чтобы получить ответы на эти вопросы, следует знать пять принципов научного анализа.

1. Определенность некоторой неопределенности

Эксперты постоянно меняют взгляды не только на то, что нужно есть, чтобы оставаться здоровым, но и на то, что нужно делать, если человек заболел. Все больше лекарственных препаратов и методов лечения оказываются дискредитированными после того, как новые исследования поднимают вопросы об их эффективности или безопасности. Даже форма Вселенной (точнее, форма Вселенной, по мнению ученых) меняется от статьи к статье.

Некоторые считают, что такие резкие перемены позорят науку. Но это просто часть нормального научного процесса, идущего как и положено.

Наука изучает статистическую вероятность истины. Выводы делаются на основе убедительных свидетельств, никто не дожидается недостижимых неопровержимых доказательств. Сложности окружающего мира и научного процесса только усиливают неопределенность.

Однако наука может двигаться вперед именно потому, что это всегда развивающаяся история, продолжающийся путь, в котором возможны корректировки. Везде – от медицины до астрономии, от геологии до психологии – прежние выводы постоянно перепроверяются и, если нужно, уточняются (а иногда и отбрасываются в сторону).

Необходимо объяснить это редакторам и начальству, а также читателям и зрителям. Некоторая неопределенность не должна мешать важным действиям, если общество понимает, почему в лучшем случае ученый может сказать так: «Вот убедительные свидетельства в пользу того, что это, скорее всего, правда. Пожалуйста, оставайтесь с нами, пока мы пытаемся узнать больше».

Теперь, когда мы переходим к деталям, помните, что не все исследования равнозначны.

2. Вероятность, мощность и большие числа

Вы слышали о новом лекарстве, прошедшем испытание на мышах? 33 % удалось вылечить, 33 % умерло, а третья мышь убежала. Эта старая шутка показывает, насколько важны численные показатели в оценке качества исследования.

Чем больше пациентов участвовало в исследовании, тем лучше. Чем значительнее доля успешного результата в испытаниях лекарства, тем лучше. Чем больше наблюдений за погодой сделают метеорологи, тем лучше они смогут предсказать, пойдет ли на следующей неделе дождь. Вот как числа влияют на статистическую вероятность того, что что-то является истиной.

Общепринятое численное выражение этого – значение P, которое определяется формулой, учитывающей количество анализируемых пациентов или событий. Значение P, равное или меньшее 0,05, обычно считается показателем статистически значимого результата. Это означает, что результаты могут быть простой случайностью в пяти или менее случаях из 100. Чем меньше значение P, тем ниже вероятность, что все это дело случая.

Другими словами, чем больше пациентов (или чего-то другого), тем надежнее показатель P.

Есть два связанных с этим понятия. Первое носит название мощность. Это вероятность обнаружить что-то, если оно на самом деле существует: например, рост числа заболеваний раком у людей, работающих с подозрительным химикатом. Чем больше число наблюдений или охваченных людей, тем выше мощность. Риск редкого, но опасного побочного эффекта у нового лекарства может не проявиться, пока оно не попало на рынок и им не воспользовались десятки тысяч или даже миллионы человек.

Второе – статистическая значимость. Если кажется, что загрязнитель вызывает прирост числа случаев заболевания по сравнению с фоновым уровнем на 10 %, это может действительно означать взаимосвязь, а может, и нет. Если показатель увеличивается в десять раз (как, например, риск рака легких у курильщиков по сравнению с теми, кто не курит), шанс, что такая взаимосвязь на самом деле существует, очень велик.

Научным журналистам нет нужды ничего считать самостоятельно – они должны просто сказать ученым: покажите свои цифры.

Ключевые вопросы, которые нужно задать: все ли ваши выводы основываются на статистически значимых результатах? (Насторожитесь, если не все, и предупредите своих читателей или зрителей.) Каково значение P – вероятности того, что ключевые результаты случайны? Было ли исследование достаточно обширным, чтобы обнаружить эффект, если он действительно существует? Есть ли другие статистические причины сомневаться в ваших выводах? Планируются ли более масштабные исследования?

Но то, что результаты статистически значимы, имеют достаточную мощность и т. д., еще не означает, что они верны или значимы. Так что наш список продолжается.

3. Существует ли другое объяснение?

То, что явления как-то связаны, еще не означает, что одно является причиной другого. Не крик петуха заставляет солнце вставать по утрам, а вирус в организме пациента может быть невинным прохожим, а не причиной болезни. Химическое вещество в городском водопроводе может не оказаться причиной болезней в этом городе. Чтобы выявить причинно-следственную связь, нужно проводить детальные исследования в лабораториях.

Вот пример: несколько ученых (и гораздо больше журналистов) полагают, что детская вакцинация могла послужить триггером для многих случаев аутизма. Но большинство экспертов считают, что это совпадение, а не причинно-следственная связь. «Связь» здесь только в том, что аутизм обычно проявляется в том же возрасте, когда детям делают многие прививки, утверждают эти эксперты. Но теперь проблема в том, что немало обеспокоенных родителей откладывают прививки от кори и других опасных заболеваний из ложного страха перед аутизмом. А во множестве материалов СМИ на эту тему не хватает статистики по смертности от этих детских заболеваний в те времена, когда вакцин еще не было.

Огромную роль может играть и временной охват исследования. Климатические исследования должны анализировать данные за многие годы, чтобы их не искажали обычные погодные циклы. Лекарство или метод лечения может вызвать ремиссию у онкобольного, но лишь время покажет, действительно ли это приводит к излечению или хотя бы просто увеличивает продолжительность жизни. Многие пациенты могут «выпасть» из долгосрочного исследования, и если это произошло потому, что их дела идут не очень хорошо, это повлияет на результаты.

Кроме того, существует эффект здорового работника. Ученый изучает рабочих, которые подверглись воздействию какого-то вещества, и выясняет, что в среднем они здоровее, чем население в целом. Но рано оправдывать это вещество: рабочие вообще, как правило, довольно здоровые люди – они должны быть здоровыми, чтобы получать и сохранять работу.

Некоторые колебания ожидаемы – это нормально: люди – сложные существа. Ежедневные биологические изменения возможны и у одного и того же человека и уж тем более между разными группами людей. Из-за такой изменчивости или иных экспериментальных ограничений в похожих исследованиях результаты могут незначительно, а иногда и значительно отличаться.

Список можно продолжать, но общие вопросы помогут вам не сбиться с курса. Спросите ученого (да и себя самого): «Можно ли предложить альтернативные объяснения полученных данных и результатов исследования? Достаточно ли долго длилось исследование, чтобы можно было сделать такие выводы?»

Чтобы обозначить широкий спектр причин, почему альтернативные объяснения могли быть проигнорированы, в науке обычно используется термин «предубеждение» или «искажение». Но научным журналистам стоит иметь в виду возможность влияния и других факторов и поинтересоваться у ученых: «Кто финансировал исследование?» Многие добросовестные ученые получают деньги от компаний, заинтересованных в объекте исследования. О таких вещах следует спросить и затем рассказать читателям или зрителям.

4. Иерархия исследований

По экономическим и иным причинам не все исследования равнозначны. В итоге некоторым можно доверять больше, чем другим.

В биомедицине особенно осторожно следует относиться к лабораторным исследованиям и исследованиям на животных (даже к тем, в которых было задействовано больше трех мышей), хотя они могут давать крайне важную информацию для исследований на людях. Многие эпидемиологические и медицинские исследования ретроспективны, т. е. изучают старые данные, статистику или воспоминания. Нередко это необходимо, но при этом слишком ненадежно: воспоминания меркнут, а исторические данные часто неполные. Гораздо лучше перспективные исследования, длительное время изучающие конкретную группу людей, иногда десятилетиями.

«Золотой стандарт» клинических исследований – двойное слепое исследование, когда пациентов методом случайного отбора определяют в экспериментальную или контрольную (сравнительную) группу. В контрольной группе пациенты обычно получают плацебо. «Слепота» в данном случае означает, что ни ученые, ни пациенты до самого конца исследования не знают, кто в какую группу попал. Так ни ожидания, ни надежды не могут исказить результаты исследования. Пациентов распределяют в группы случайным образом, чтобы ученый не мог подсознательно поместить в экспериментальную группу тех, кому, скорее всего, станет лучше.

Менее строгие исследования все же могут быть важны, а иногда даже необходимы. Но доверяйте строгим исследованиям. Спрашивайте ученых во всех областях: «Почему вы разработали именно такой план исследования? К каким из ваших выводов стоило бы отнестись с осторожностью?» И как можно чаще: «Требуется ли теперь более точное исследование?»

5. Сила рецензирования

Вы можете поставить большой плюс исследованиям, опубликованным в рецензируемых журналах, что означает, что перед публикацией они прошли оценку другими экспертами. Но это не гарантия: рецензенты – тоже люди. Кроме того, хорошие научные сюжеты могут обнаружиться на научных конференциях еще до того, как они появятся в рецензируемых журналах, и даже у ученых, которые только начинают исследования. Но такие истории требуют более осторожной работы и более серьезной проверки другими экспертами.

Спросите ученых: «Кто с вами не согласен? Почему? Как ваши результаты и выводы соотносятся с другими исследованиями и тем, что мы уже знаем?»

Бремя доказательств всегда лежит на ученых, которые идут против научной догмы. И в науке всегда любят подтверждающие исследования. Научные журналисты должны искать консенсус лучших исследований.

В книге «Новости и числа» мы даем такой итоговый совет: «Мудрые журналисты часто используют слова вроде "может" и "данные указывают" и редко – "доказательство"». Подчеркивайте степень неопределенности результатов, о которых вы пишете. Для большей уверенности не скупитесь на необходимые предостережения и оговорки.

Спрашивайте о затратах. Забавно писать или говорить о футуристической схеме, как сбить какой-нибудь астероид с курса на возможное столкновение с Землей, но сколько это стоит? Сможем ли мы себе это позволить? Особенно публику интересует стоимость любых новых медицинских процедур или препаратов. Спросите: «Будет ли лечение настолько дорогим, что вряд ли получит широкое распространение?» Если у ученых нет оценок затрат, в этом тоже есть новость.

Не давайте средним величинам сбить себя с толку. Люди могут утонуть в озере со средней глубиной чуть больше метра, если в центре его глубина – почти три. Средний участник исследования занимается физическими упражнениями три часа в неделю, но никто не упоминает, что большинство участников вообще этим не занимаются, а несколько просто одержимы физкультурой. Спрашивайте: «Какие цифры скрываются за средними величинами?» По радио говорят, «вы проживете дольше», если будете делать упражнения и правильно питаться. Данные показывают лишь то, что люди будут жить дольше в среднем – «вы» просто увеличиваете свои шансы на это.

Не путайтесь с относительными показателями. В Washington Post вышла статья под заголовком «Уровень авиационных аварий достиг максимума за 13 лет». В статье, как и во многих других материалах, где неправильно используется понятие «уровень» или «темп», не было ни слова об уровнях, только общее количество смертей и катастроф. Пришлось публиковать опровержение, в котором указывалось, что число аварий на 100 000 вылетов – а это и есть уровень, т. е. относительный показатель «столько-то на столько-то» – год за годом снижалось. (Заголовок был бы корректным, если бы звучал так: «Число аварий на авиатранспорте достигло максимума за 13 лет». В этом, как и во множестве других случаев, на мой взгляд, судить о том, что происходит на самом деле, честнее всего по относительным показателям.)

Следите за тем, как описываются риски. Кто-то приводит число смертей на тонну вещества, выброшенного в атмосферу, или смертей на 10 000 человек, подвергшихся воздействию. Другие упоминают ежегодное количество смертей или общий показатель за 10 лет. Есть много способов сделать так, чтобы что-то выглядело лучше или хуже. Убедитесь, что у вас полная и объективная картина.

Кроме того, обращайте внимание на разницу между относительным и абсолютным риском. Относительный риск – это степень увеличения риска развития заболевания. Например: исследование показало, что люди, подвергшиеся воздействию некого вещества (условный «агент пурпур»), вдвое больше рискуют заболеть определенным видом рака, чем те, кто с этим веществом не контактировал. Относительный риск равен двум.

Но, если смотреть на общее количество жизней, даже высокий относительный риск для редкого заболевания не так важен, как низкий относительный риск для распространенной болезни. Это учитывает показатель абсолютного риска. Он рассчитывается как «число случаев на х тысяч человек в год». Относительный риск может быть важен для оценки угрозы, тогда как абсолютные риски помогают оценить влияние какого-либо фактора на общественное здоровье или здравоохранение.

С осторожностью относитесь к кластерам. Когда вы слышите об очень большом числе случаев заболевания раком в каком-то районе или городе, это заслуживает дополнительного изучения, а вовсе не паники. При огромном числе населенных пунктов в нашей стране по чистой случайности в некоторых окажется существенно больше онкологических заболеваний (или врожденных дефектов, или чего-то еще). Это закон малых вероятностей.

Всегда помните, кто должен обосновывать свои утверждения. Допустим, кто-то говорит: «Откуда они знают, что это не вредит людям?» Наука не может доказать отрицательный факт. Бремя предоставления каких бы то ни было свидетельств лежит на том, кто заявляет о вреде.

Опросы – это не только политика. Они помогают понять, что люди делают (или не делают), чтобы оставаться здоровыми, и считает ли общество, что мы должны больше тратить на исследование космоса или что-то еще. Но, чтобы им можно было доверять, опросы должны подвергаться научному анализу.

Опрошенные должны быть случайной выборкой из популяции, о который мы хотим что-то узнать (например, зарегистрированные избиратели на Среднем Западе или подростки, которые курят). Внимание: телевизионные шоу часто предлагают людям позвонить по телефону и выразить свое мнение. Но узнают об этой возможности только те, кто смотрит шоу, а позвонят – лишь те, у кого есть на этот счет твердые убеждения. Это не случайная выборка, и такой опрос не будет научным.

Чем больше людей опросили, тем меньше ошибка выборки. Ошибка, например, может быть равной «плюс-минус три процентных пункта». Это означает, что в 19 из 20 случаев (стандарт статистической значимости) результаты опроса будут точными в пределах трех процентных пунктов, если все остальное в нем сделано правильно.

Вопросы в социологическом исследовании должны быть составлены так, чтобы избежать любых искажений, которые могут подтолкнуть респондентов к тому или иному ответу. Спросите: «Как именно задавались вопросы? Кто финансировал опрос?»

И, наконец, опросы – это просто срез того, что люди говорят в определенный момент времени. Это может поменяться.

Главные выводы для опросов и вообще любых научных исследований: изучайте цифры, имея в виду, что «больше» обычно значит «лучше». Спросите себя, есть ли альтернативные объяснения для результатов опроса или исследования. Подумайте о любых возможных искажениях – намеренных или нет. И не забывайте, что некоторая неопределенность обязательно будет.

Эта глава основана на идеях, которые подробно рассмотрены в книге «Новости и цифры: Как писать о статистике и спорных вопросах в медицине и других областях» (издательство Университета штата Айовы; первое издание – Виктор Кон, 1989; второе издание – Виктор Кон и Льюис Коуп, 2001).

4. Как писать о науке: техники от преподавателей научной журналистики

Остальная часть этой книги посвящена тому, как выполнять разную журналистскую работу, освещать некоторые темы и использовать конкретные инструменты, а в этой главе мы заглянем в кабинеты нескольких преподавателей научной журналистики. Их техники помогут решить распространенные проблемы и покажут, как писать хорошо и понятно.

Дебора Блюм – профессор журналистики Университета Висконсин – Мэдисон (и с 2015 г. руководитель программы Knight Science Journalism Fellowship в MIT. – Прим. пер.). Мэри Кнудсон преподает научную журналистику в магистерской программе по журналистике и писательскому ремеслу в Университете Джонса Хопкинса в Вашингтоне. Рут Леви Гайер преподает в той же программе, а также в Хэверфорд-колледже в Пенсильвании и на медицинском факультете Калифорнийского университета в Лос-Анджелесе. Шэрон Данвуди – профессор журналистики и массовых коммуникаций в Университете Висконсин – Мэдисон. Энн Финкбейнер руководит магистерской программой по научной журналистике на писательских семинарах в Университете Джонса Хопкинса в Балтиморе. А Джон Уилкс возглавляет программу по научной журналистике в Калифорнийском университете в Санта-Круз.

1. Прочтите свой текст вслух. Так вы сможете расслышать ритм и пластику текста – читая про себя, сделать это трудно.

2. Не скромничайте. Попросите коллег прочесть черновик вашего текста. Мы все стоим слишком «близко» к собственному тексту, чтобы заметить проблемы в нем, и лучший друг любого писателя – беспристрастный читатель. Хорошие авторы привлекают таких читателей для всего подряд – от газетных заметок до целых книг (для последнего требуются очень хорошие друзья).

3. Воспринимайте лид как способ привлечь. Как вы заманите недоверчивого, а может, и незаинтересованного читателя «на чашечку чая»? Историю нужно начинать так, чтобы читателя захватило. Мой излюбленный базовый подход – соблазнительный лид, разделы «ну так что» (зачем я это читаю), «карта» (вот главные моменты истории). Такой подход подводит к следующему совету:

4. Как следует разберитесь с сутью своей истории и ее структурой, прежде чем начнете писать. Если представить текст как дугу или радугу, полезно знать, где она начинается и где закончится, чтобы заранее понимать, как выстроить эту дугу.

5. Не пренебрегайте связностью. История должна развиваться плавно. Если вы будете перескакивать с места на место, точно водомерка на пруду, воспринимать текст будет нелегко.

6. Используйте аналогии. Это прекрасный способ сделать науку яркой и осязаемой – только не переборщите.

7. И вообще, не переусердствуйте с украшательством. И никогда, никогда, никогда не используйте клише. Если вы хотите писать в своем стиле, общие слова не годятся. На моих занятиях нет никакого худа без добра, никаких котов в мешке и никаких ночей, черных, как смоль. Студент, который использовал в тексте три клише, у меня автоматически получает тройку.

8. Пишите по-человечески. Это касается не только научной журналистики, но и вообще любой темы, где хороший сюжет легко может утонуть в море жаргона.

9. Представляйте себе своего читателя. Мне помогает образ конкретной читательницы, которую наука вообще нервирует и которая бросит читать мой текст, как только я подсуну ей многосложный медицинский термин. Да, ей. Моя читательница – пожилая женщина в бигуди, которая засыпает над газетой. Если уж я смогу захватить ее, поймать знающего толк в науке читателя проще простого.

10. Получайте удовольствие. Наука – волнующее, приятное и важнейшее для обычной жизни дело. Если мы будем писать слишком напыщенно, то потеряем лучшие сюжеты, которые интереснее всего нашим читателям.

Дебора Блюм