Текст книги "Цифры врут. Как не дать статистике обмануть себя"

Глава 3
Размеры выборки

Легче ли поднимать тяжести, когда бранишься? Несомненно, если судить по статье из газеты The Guardian. И в это нетрудно поверить: кто из нас не ругался на чем свет стоит, пытаясь поднять по лестнице икеевский шкаф, опрометчиво собранный не там, где надо. Возможно, это и помогало.

В той статье ссылались на исследование, проведенное в Кильском университете. В предыдущей главе мы говорили о том, как могут вводить в заблуждение новости, основанные на отдельных случаях. Лучше опираться на научные работы, не так ли?

Отчасти. Но не все научные исследования устроены одинаково.

Если вас не убеждает опыт одного человека, то опыт скольких людей убедит? Жесткого правила тут нет. Представим: вы хотите что-то узнать – например, рост британских мужчин. Вы – инопланетянин, британцев в глаза не видели и не имеете о них ни малейшего представления. Может, их рост – всего несколько микронов, а может – со звездное скопление. Откуда вам знать?

Если выстроить по росту всех британских мужчин до единого и измерить их, то вы увидите полную картину: очень высоких и очень низких людей мало и чаще встречаются люди среднего роста. Но чтобы узнать это, придется изрядно постараться, и даже размахивание гауссовым бластером не поможет. Вместо этого можно ограничиться выборкой.[5]5
  Гаусс-бластер – мощное оружие в игре Warhammer. – Прим. ред.


[Закрыть]

Выборка – это небольшая часть чего-то, отражающая, как вы надеетесь, часть целого. Бесплатная выпечка, выставленная у местной булочной, дает представление обо всем ассортименте; ознакомительный фрагмент электронной книги дает представление о книге в целом. Статистическая выборка делает то же самое.

И вот вы начинаете измерять рост случайных прохожих, создавая выборку населения. Если не повезет, то первым вам попадется человек ростом аж в 2 м 13 см. Это даст вам хоть какую-то информацию: гипотеза о том, что британские мужчины ростом со звездные скопления, становится гораздо менее правдоподобной. Но если вы сделаете вывод, у всех них рост 2 м 13 см, то сильно ошибетесь. (Еще одна иллюстрация того, что отдельные случаи не могут служить доказательством.)

Все это вы знаете, поэтому продолжаете измерять прохожих. Вы чертите простой график: каждый раз, когда вам встречается мужчина ростом 1 м 56 см, вы добавляете штрих в колонку «1 м 56 см»; если же рост прохожего составляет 1 м 85 см, вы добавляете штрих в колонку «1 м 85 см», и так далее.

Вы заметите, что по мере увеличения числа измерений график приобретает определенную форму. У вас окажется много отметок возле середины и меньше по краям. Получится что-то вроде арки старинного каменного моста. Самое большое число отметок окажется возле значения 1 м 78 см, почти столько же – около 1 м 73 см и 1 м 85 см, и совсем мало – по краям. Это будет кривая, напоминающая нормальное распределение – знаменитый «колокол», – с осью симметрии на значении роста среднего британского мужчины.[6]6
  Нормальное распределение, или распределение Гаусса – распределение вероятностей для случайно величины, где наиболее частотно среднее значение; имеет колоколообразную кривую. – Прим. ред.


[Закрыть]

Полностью колокол сформируется, когда вы измерите рост тысяч людей, а поначалу он будет неровным. Если не повезет и вам попадется несколько слишком высоких или слишком низких людей, то кривая выйдет искаженной. Но если вы измеряете рост действительно случайных прохожих, то в среднем чем больше людей вы измерите, тем ближе окажетесь к среднему значению всего населения. (Если ваша выборка не случайна, то возникнут другие проблемы – см. главу 4 «Смещенные выборки».)

Необходимо также учесть, насколько рост людей отклоняется от среднего. Предположим, что средний рост составляет 1 м 78 см. Если почти все люди такого роста и лишь некоторые – 1 м 83 см и 1 м 73 см, то ваш колокол окажется высоким и узким. Если же многие люди ростом 1 м 47 см а многие – 2 м 8 см и любое значение из этого промежутка тоже встречается часто, то колокол будет более широким и плоским. Такую вариативность данных описывает переменная, называемая дисперсией (см. график на следующей странице).

Если дисперсия невелика, то вероятность встретить значения, сильно отличающиеся от среднего, мала, и наоборот.

Эту врезку читать необязательно, но, если вы хотите узнать, как работают размер выборки и нормальное распределение, не пропускайте ее.

Роль выборки удобно демонстрировать на примере игры в кости. Она сводится к тому, что бросаются два кубика, а очки на них суммируются.

Таким образом можно получить 11 различных результатов – от 2 до 12. Но вероятности их выпадения разные.

Представим, что мы сначала бросаем одну кость, а потом – другую. Если на первой выпало 1, то, что бы ни было на второй, 12 в сумме не получить. А если выпало не 1, то в сумме не выйдет 2. Число X на первой кости ограничивает сумму значениями от X + 1 до X + 6.

При этом сумму 7 можно получить всегда, независимо от того, что выпало при первом броске. Если 6, то 7 выйдет, если на второй кости выпала единица. Если на первой выпало 2, а на второй 5, в сумме получится 7. И так далее, вплоть до 6 на первой кости и 1 на второй. Поэтому независимо от значения первой кости вы получите в сумме 7 с вероятностью 1/6.

Кости могут выпасть в общей сложности 36 комбинациями. В шести случаях сумма равна 7, так что вероятность получить 7 равняется 6/36, или 1/6. В пяти случаях сумма равна 8, и в пяти – 6. В четырех – 9 и в четырех – 5. И так далее. А вот 2 можно получить только одним способом, и 12 – тоже одним.

Это можно доказать математически, как мы только что сделали, но в этом можно убедиться и на практике, бросая кости. Бросив их 36 раз, вы вряд ли получите в точности шесть раз 7, пять – 6 и т. п. Но если сделать это миллион раз, то сумма 7 выпадет практически в точности в 1/6 части случаев, а 2 – один раз из 36.

Предположим, вы хотите эмпирически определить, как часто на двух костях в сумме выпадает 7. Основной принцип тут такой: чем больше раз вы бросите кости, тем больше размер выборки и тем точнее окажется ваш прогноз, сколько раз сумма будет равна 7.

Если бросить кости 20 раз, то с вероятностью 95 % количество 7 будет в интервале от 1 до 6. Это 6 возможных вариантов – более 25 % от общего числа вариантов.

Если бросить кости 100 раз, то с вероятностью 95 % количество семерок будет в интервале от 11 до 25: всего 15 % от возможного числа вариантов.

Если бросить кости 1000 раз, то с вероятностью 95 % количество семерок будет в интервале от 140 до 190. Число вариантов сузилось до 4,6 % от общего числа.

То же самое произойдет для любой другой суммы: число двоек будет все больше приближаться к 1/36, как и две шестерки; такая закономерность сохранится и для всех промежуточных чисел.

Включая в свою выборку все большее число бросков, вы будете все ближе к «правильному» распределению.

* Тех, кто дочитал до этого места, ждет небольшой приз. Вас могут позабавить проблемы, возникшие у Джо Уикса (этот доброхот помогал Великобритании пережить локдаун физкультурными занятиями на ютубе, которые он проводил ежедневно из своей гостиной). Он пытался внести в выпуски элемент случайности – присвоил упражнениям номера от 2 до 12 и бросал кости, но был неприятно удивлен, что упражнение № 7 («бёрпи») приходилось делать намного чаще, чем № 2 (прыжок звездой). Поняв свою ошибку, Уикс заменил кости рулеткой.

С ростом мужчин у вас получилось простое распределение вокруг среднего значения. Если вы действительно выбираете мужчин случайным образом, то чем больше вы их измерите, тем больше ваша выборка будет напоминать популяцию в целом, точно так же как в примере с костями из врезки.

Но, предположим, вы хотите выяснить что-то другое – например, выздоравливают ли пациенты, принимающие определенное лекарство, быстрее не принимающих. В этом случае вы измеряете не одну величину, а две: насколько быстро выздоравливают те, кто принимает лекарство, и те, кто его не принимает.

Вы хотите узнать, есть ли различия между этими группами. Однако тут, как и в случае с измерением роста, бывают случайные отклонения. Если взять двух пациентов и одному давать лекарство, а другому – нет, то принимающий лекарство может выздороветь быстрее просто за счет более крепкого здоровья.

Поэтому вы берете целый коллектив больных и случайным образом разделяете его на две группы: одной даете лекарство, а другой – плацебо. Затем вычисляете среднее время, за которое идет на поправку каждая из них, точно так же как вы вычисляли средний рост мужчин. По сути, вы делаете то же самое: изучаете выборку из одной популяции (тех, кто принимал лекарство) и другой (тех, кто не принимал). Если окажется, что первая в среднем выздоравливает быстрее, то логично предположить, что лекарство ускоряет выздоровление.

Беда в том, что здесь, как и при измерении роста, притаилась опасность: в первой группе случайно окажутся все более здоровые люди или по крайней мере значительная их часть. Тогда создастся впечатление, что лекарство ускоряет выздоровление, хотя на самом деле эти пациенты и так поправились бы быстрее.

Конечно, чем больше будет ваша выборка, тем меньше вероятность, что такие случайные вариации повлияют на результат. Вопрос: сколько нужно изучить пациентов для надежной оценки? Ответ: бывает по-разному.

Это зависит от множества факторов, но один из самых главных – величина изучаемого эффекта. Чем она меньше, тем больше людей нужно обследовать – по-научному, тем большая «статистическая мощность» требуется. Если вдуматься, это совершенно очевидно. Для ответа на вопрос «Вреден ли для здоровья выстрел в голову?» не нужна выборка из десяти тысяч человек.

Возвращаясь к исследованию о ругани: можно предположить, что если ругань и придает сил, то лишь самую малость. Иначе мы бы это заметили, а финал Олимпийских игр по тяжелой атлетике приходилось бы транслировать в вечернее время (когда в эфире допустимы бранные выражения).

То исследование включало два эксперимента по измерению силы. В одном было 52 участника, а во втором – 29. Стоит отметить, что схема этих экспериментов слегка отличалась от описанной выше. Некоторых людей просили поднимать тяжести и ругаться, а других – выкрикивать небранное слово, как в описанном нами исследовании про лекарство. Потом группы поменяли местами: тех, кто не бранился, просили браниться, и наоборот. В обоих случаях измеряли силу в обеих группах. Такие исследования называются внутрисубъектными – они позволяют снизить проблемы с небольшими выборками.

Как уже говорилось, нужный размер выборки зависит от разных факторов, включая величину изучаемого эффекта. И существуют статистические хитрости, позволяющие снизить вероятность получения случайного результата.

Однако опыт показывает, что следует с осторожностью относиться к исследованиям с менее чем сотней участников, особенно если получаются какие-то удивительные или малозаметные результаты. По мере роста числа участников исследования – при прочих равных – доверие к его результатам повышается. Не исключено, что, бранясь, становишься сильнее, но нас бы это до чертиков удивило.

Опять же – это все развлечение и игра: кому реально важно знать, прибавляет ли ругань сил? Если так и есть, то это удивительный, но вряд ли жизненно важный факт.

Во многих других случаях дело обстоит иначе. В первой половине 2020-го, когда мир судорожно искал средство – какое угодно – для лечения или профилактики ковида, научные статьи и препринты (ранние версии научных статей, еще не одобренные рецензентами) заполонили интернет. В одной из них рассматривалось влияние на коронавирус антималярийного препарата гидроксихлорохина. Как и в случае исследования брани, оно было контролируемым (хотя и не рандомизированным). Оно привлекло такое внимание, что некий Дональд Трамп упомянул о нем в своем твите. В исследовании утверждалось, что «лечение гидроксихлорохином достоверно приводило к снижению вирусной нагрузки или полной элиминации вируса COVID-19 у пациентов с коронавирусной инфекцией».

В эксперименте задействовали 42 человек: экспериментальной группе (26 пациентов) давали гидроксихлорохин, контрольной (16 испытуемых) – нет. Даже если бы это исследование было идеально проведено со всех остальных точек зрения (а это не так), оно все равно являлось бы сомнительным из-за небольших размеров выборки. Точно так же как брань может придавать сил, так и гидроксихлорохин может как-то влиять на ковид. Но так же вероятно, что он не оказывает никакого влияния, а возможно, и наносит серьезный вред. Исследование не дает уверенных оснований для вывода. Тем не менее СМИ раструбили о нем всему миру.

Глава 4
Смещенные выборки

В апреле 2020-го The Sun и Daily Mail опубликовали сенсационную новость: любимый локдаунский перекус британцев – барабанная дробь! – тосты с сыром. Это горячее молочно-цельнозерновое блюдо получило 22 % голосов и опередило чипсы с сыром и луком всего на 1 %, отбросив конкурента с его 21 % на близкое, но все равно обидное второе место. Также в группу лидеров вошли сэндвичи с беконом (19 %), шоколадные кексы (19 %) и крекеры с сыром (18 %).

В предыдущей главе мы видели, как выборки небольшого объема, случайно оказавшись неудачными, искажают результаты. Вывод же о перекусах делался на основе опроса онлайн-банка Raisin, в котором участвовало две тысячи человек. Звучит убедительно?

Только вот исследование может оказаться недостоверным и по другим причинам. Самая очевидная – выборка не представляет население в целом.

Ранее мы проводили мысленный эксперимент – вычисляли средний рост населения, измеряя случайных прохожих. А теперь представьте, что вы делаете это на съезде баскетболистов, – и мимо вас – внезапно – дефилируют толпы двухметровых людей. Средний рост в вашей выборке резко подскочит, хотя для населения в целом останется неизменным.

Такая выборка называется смещенной, или предвзятой. Обычно так говорят о людях: судья предвзято относится к моей команде; СМИ предвзято подходят к моей любимой политической партии. Статистическая предвзятость – про то же самое. Представьте, что вы проводите опрос – «Назовите лучший футбольный клуб за всю историю Англии?» – сначала на Энфилд-Роуд, а потом на Сэр Мэтт Басби-Уэй. Вы получите совершенно разные результаты, потому что у вас будут совершенно разные выборки. [7]7
  Улица, на которой находится домашний стадион футбольного клуба «Ливерпуль». – Прим. пер.


[Закрыть][8]8
  На этой улице располагается домашний стадион футбольного клуба «Манчестер Юнайтед». – Прим. пер.


[Закрыть]

Вред от смещенных выборок отличается от вреда маленьких. При выборе небольших групп случайным образом вы, по крайней мере, при увеличении размеров выборки приближаетесь к точному результату. А при смещенных выборках этого не происходит – будет расти лишь ваша уверенность в неверном результате.

Например, в преддверии общенациональных выборов 2019 года Джереми Корбин, тогдашний лидер лейбористской партии, и Борис Джонсон, премьер-министр и лидер тори, провели теледебаты.

После этого компания YouGov, специалист по политопросам, выяснила, что среди телезрителей мнения о том, кто же был убедительнее, разделились почти поровну: 48 % считали, что Джонсон, 46 % – Корбин и еще 7 % не могли определить победителя. (Да, в сумме получается 101 %. Так бывает, если округлять числа до ближайшего целого.)

Это вызвало споры в интернете. В одном вирусном твите (более 15 000 лайков на настоящий момент) упоминалось, что результаты других опросов резко отличались от данных YouGov[9]9
  По состоянию на 17 января 2022 года у этого твита 8709 ретвитов и 15,3 тысячи отметок «Нравится». – Прим. ред.


[Закрыть] (см. рисунок на следующей странице).

Четыре из пяти опросов показали, что Корбин явно выиграл дебаты. У единственного, давшего иной результат, объем выборки был в несколько раз меньше, чем у каждого из остальных. Тем не менее только его и цитировали на всех новостных каналах. Говорит ли это о предвзятом отношении СМИ к Корбину?

Скорее, это пример смещенных выборок. Те четыре опроса проводились в твиттере. Обычно это – просто безобидное развлечение (полуфинал мировой лиги чипсов: Monster Munch Pickled Onion против Walkers Cheese & Onion и т. д.). Но иногда вопросы бывают политическими.[10]10
  World Cup of Crisps – неофициальный конкурс, организованный в 2012 году британским комиком и телеведущим Ричардом Османом. Проводился в твиттере: пользователи голосовали за любимые чипсы. В 2012-м победу одержали Frazzles, а в 2016-м – Monster Munch Pickled Onion. – Прим. ред.


[Закрыть]

Беда в том, что твиттер не представляет всего населения. Соцсетью пользуется 17 % британцев, и среди них, согласно опросу 2017 года, больше молодежи, женщин и представителей среднего класса, чем в целом по стране. А молодежь, женщины и средний класс чаще голосуют за лейбористов. (Ну и, конечно, те, кто увидел эти опросы и поучаствовал в них, не представляют твиттер в целом.)

Большее число опрошенных делу не помогло бы. Проблема сохранилась бы, ведь выборка оставалась бы нерепрезентативной. Даже миллион человек – это все равно опрос пользователей твиттера, а не населения страны. Вы бы получили только более точное значение неверного ответа.

Репрезентативную выборку вообще получить очень трудно. Опрашивая людей в твиттере, вы не узнаете мнения тех, кто им не пользуется. То же самое верно и во всех других случаях. Если проводить опрос в интернете, вы упустите из виду тех, у кого его нет; если на улице, то не охватите тех, кто сидит дома. Раньше при проведении политических опросов было принято обзванивать респондентов, потому что стационарные телефоны стояли почти у каждого и так можно было без труда получить случайную выборку – просто выбирая номера случайным образом. Но в наше время этот способ даст сильно смещенную выборку, потому что те, у кого есть домашние телефоны (и кто отвечает на звонки с неизвестных номеров), отличаются от тех, у кого их нет.[11]11
  Забавно, что теперь ситуацию можно считать в каком-то смысле обратной той, что была во времена американской избирательной кампании 1936 года. Тогда журнал The Literary Digest провел телефонный опрос избирателей перед дебатами Альфреда Лэндона, республиканца и губернатора Канзаса, и Франклина Рузвельта. По результатам опроса 2,4 млн избирателей была предсказана уверенная победа Лэндона (57 % против 43 %). Но Лэндон получил 38 %, а Рузвельт – 62 %. А все потому, что тогда телефоны были дорогостоящей новинкой, которой обладали в основном богачи. И это существенно исказило результаты. Джордж Гэллап, основатель аналитической компании Gallup, опросил всего 50 тысяч человек и получил гораздо более точный результат, предсказав победу Рузвельта. – Прим. авт.


[Закрыть]

Есть способы, которые отчасти помогают обходить подобные трудности при выборе респондентов. Но идеала достичь невозможно: никого нельзя заставить участвовать в опросе, поэтому вам никогда не удастся полноценно представить тех, кто их ненавидит. Так что приходится идти обходным путем – снабжать результаты весами.

Представьте, что, согласно переписи, и мужчины, и женщины составляют по 50 % населения. Вы проводите опрос, стараясь получить максимально репрезентативную выборку. Из вашей тысячи респондентов 400 – женщины и 600 – мужчины. Вы задаете вопрос: «Нравится ли вам сериал „Анатомия страсти“?» Оказывается, что 400 человек его любят, а 600 – нет. Можно было бы решить, что «Анатомии страсти» симпатизирует 40 % населения. Но, уточнив данные, вы обнаруживаете гендерный перекос: сериал нравится 100 % женщин и 0 % мужчин.

Вы получили 40 % потому, что ваша выборка не репрезентативна для населения страны в целом. К счастью, это легко исправить. Достаточно присвоить результатам веса. Вы знаете, что в вашей выборке женщин всего 40 %, хотя должно быть 50 %. И поскольку 50 на 25 % больше 40, увеличиваете 400 ответов «да» на 25 % и получаете 500.

С мужчинами делаете то же самое. В вашей выборке их 60 %, а в несмещенной должно быть 50 %. 50 составляет 0,833… от 60, следовательно, здесь вес составит 0,833…

Поэтому полученный вами результат 600 вы умножаете на 0,833… и получаете 500. Теперь взвешенные результаты показывают, что 50 % населения нравится сериал «Анатомия страсти».

Можно действовать более тонко. Например, если оказалось, что 50 % ваших респондентов на последних выборах голосовали за консерваторов, а вы знаете, что страна в целом отдала за них 40 % голосов, а за лейбористов – 35 %, то можете снабдить свою выборку соответствующими весами. Или, если в выборке преобладают люди старшего возраста, потому что вы со своими расспросами звонили на домашние телефоны, но вы знаете распределение населения по возрастам, то у вас тоже получится скорректировать это с помощью весов.

Конечно, это можно использовать, только когда вам известны точные статистические сведения. Если же вы думаете, что женщин и мужчин поровну, а на самом деле их 60 % и 40 %, то введение весов только ухудшит результаты. Но реальные цифры часто известны из результатов переписи или голосования.

Есть и другие способы смещения выборки. Первой приходит на ум формулировка вопроса. Например, если вы спрашиваете, дать ли лекарство 600 пациентам, ответ будет разным в зависимости от того, скажете ли вы, что «200 человек будет спасено» или что «400 человек умрут», хотя с точки зрения логики эти формулировки равноправны. Этот эффект обрамления (фрейминга) проявляет себя при опросах. На односложные вопросы (типа: должно ли государство оплачивать лечение?) чаще отвечают «да».

Ну и как? Правда ли, что британцы больше всего любят перекусывать тостами с сыром? Не исключено, что raisin.co.uk серьезно озаботилась репрезентативностью выборки и даже ввела веса для учета возрастных, гендерных и электоральных особенностей населения, но так ли это, мы просто не знаем. (Мы спрашивали! И если нам ответят, мы учтем это при переиздании, честное слово.)

Но тратить столько сил на чисто развлекательный опрос было бы довольно странно – мы бы удивились, если б они это сделали. Скорее всего, они просто разместили в сети анкету и получили ответы преимущественно от тех, кто участвует в интернет-опросах.

Вопрос в том, совпадают ли вкусы отвечавших и населения в целом. Могут и совпадать. Но этого мы не знаем. Знаем только, что из двух тысяч опрошенных ими людей 22 % выбрали тосты с сыром. Ну да, факт интересный сам по себе – из него следуют некоторые выводы в отношении этих двух тысяч. Но скорее всего, это мало что говорит обо всех британцах.