Текст книги "Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных"

Наборы данных всегда конечны. Это, безусловно, верно с точки зрения количества случаев – конечного числа людей в популяции или конечного числа измеряемых событий. Но это верно и с позиции того, что измеряется или какие данные собираются. Изучая людей, мы можем определять их возраст, вес, рост, квалификацию, любимую еду, доход и множество других вещей. Однако всегда будет оставаться бесчисленное множество характеристик, не включенных в наши определения. Эти характеристики неизбежно становятся темными данными со всеми вытекающими последствиями.

Причинность

Когда демографические исследования показали связь между раком легких и курением, выдающийся статистик Рональд Фишер отметил, что это необязательно означает, что курение вызывает рак. Он привел несколько возможных причин возникновения такой связи явлений, в том числе вероятность того, что и рак легких, и предрасположенность к курению могут быть вызваны каким-то третьим общим фактором, например на генетическом уровне. Здесь мы имеем дело с классическим примером темных данных DD-тип 5: неизвестный определяющий фактор – некоторой неизмеренной переменной, которая служит причиной и того и другого и даже приводит к корреляции между ними, при этом сами по себе изучаемые явления непосредственно не влияют друг на друга. Этот пример показывает, насколько сложно бывает обнаружить темные данные.

Мы уже сталкивались с подобной ситуацией в начале книги. В главе 1 я говорил, что в раннем школьном возрасте рост детей соотносится с их лексическим запасом. Если вы проведете исследование выборки детей в возрасте от 5 до 10 лет, измеряя их рост и объем словаря, то обнаружите, что у тех, кто повыше, в среднем и словарный запас больше. Из этого напрашивается вывод: если давать детям больше новых слов, они лучше растут. Можно пойти еще дальше и провести второе исследование, измеряя рост детей в начале и в конце года, в течение которого они интенсивно осваивают новые слова. Результаты будут впечатляющими – рост детей увеличится.

Конечно, это шутка, и вы понимаете абсурдность подобных выводов. Хотя рост и словарный запас детей в указанном возрастном диапазоне, безусловно, взаимосвязаны, эта связь не носит причинно-следственного характера. Дело в том, что оба параметра зависят от третьей переменной – той, которую мы не планировали измерять в нашем исследовании, а именно от возраста детей. Возраст в этом примере является темными данными, его незнание может привести к ложным выводам.

Эта ситуация отличается от той, в которой отсутствуют значения некоторых атрибутов для отдельных объектов, и от той, когда для отдельных объектов отсутствуют значения всех атрибутов. Здесь значения для определенного атрибута (или атрибутов) отсутствуют для всех объектов в базе данных. Все записи для такой переменной будут обозначены пробелами или словом «неизвестно», если вообще эта переменная была включена в исследование. Например, в предыдущем примере мы могли просто забыть спросить о том, сколько лет респондентам, поэтому у нас нет информации о точном возрасте ни одного из них. Или, возможно, мы не подумали о том, что возраст будет иметь значение, поэтому нам не пришло в голову задавать соответствующий вопрос. И для того и для другого имеются естественные причины: если исследование будет перегружено вопросами, это отрицательно скажется на уровне отклика, поэтому отбирать их приходится тщательно.

Парадокс!

Иногда последствия влияния темных данных DD-тип 5: неизвестный определяющий фактор могут буквально ставить в тупик.

Трагедия «Титаника» – затонувшего океанского лайнера – известна всем. Но мало кто знает, что тщательное изучение показателей выживаемости среди пассажиров и членов экипажа выявило нечто любопытное[46]46
  Titanic Disaster: Official Casualty Figures, 1997, http://www.anesi.com/titanic.htm, accessed 2 October 2018.


[Закрыть]. Как видно из табл. 2, а, на судне было 908 членов экипажа, из которых выжило только 212 человек, то есть 23,3 %, а из 627 пассажиров третьего класса – тех, чьи каюты находились на нижних палубах корабля и кому было труднее выбраться, – выжил только 151 человек, то есть 24,1 %. Хотя показатели выживаемости в этих двух группах не сильно отличаются, тем не менее мы видим, что вероятность выживания пассажиров была несколько выше.

Но давайте взглянем на показатели выживаемости мужчин и женщин по отдельности, приведенные в табл. 2, б.

В экипаже насчитывалось 885 мужчин, из которых 192 выжили, показатель выживаемости составил 21,7 %. Среди пассажиров третьего класса 462 были мужчинами, 75 выжили, показатель составил 16,2 %. У членов экипажа мужского пола более высокая выживаемость, чем у мужчин из третьего класса.

Из 23 членов экипажа женского пола выжили 20, что составляет 87,0 %. Среди пассажиров третьего класса было 165 женщин, 76 выжили, показатель выживаемости составил 46,1 %. Представительницы экипажа имеют более высокую выживаемость, чем пассажирки третьего класса.

Минуточку, что происходит? В расчете для мужчин и женщин по отдельности экипаж имеет более высокий показатель выживаемости, чем пассажиры третьего класса. Однако в целом его выживаемость ниже.

Здесь нет никакого трюка – цифры соответствуют действительности. Мы имеем дело с явлением, которое иногда так и называют парадоксом Симпсона, в честь Эдварда Симпсона, описавшего его в статье в 1951 г. (хотя это явление уже было описано как минимум на полвека раньше).

Последствия парадокса Симпсона могут быть очень серьезными. Если бы мы не учитывали пол людей на «Титанике», то есть если бы эти данные отсутствовали, результаты нашего анализа показали бы, что пассажиры третьего класса с большей вероятностью выживут, чем члены экипажа. Но это утверждение было бы ложным в отношении мужчин или женщин в отдельности. Это означает, что если бы мы решили определить вероятность выживания человека вообще на борту лайнера, то получили бы неверную картину, поскольку он мог быть мужчиной или женщиной.

Далее мы подробно рассмотрим, почему возникают подобные ситуации, но, думаю, уже вполне понятно, что их возможные последствия выглядят устрашающе. Конечно, никто и не думал регистрировать необъятное число характеристик всех, кто плыл на корабле. В то же время если любая из этих характеристик может повлиять на наши выводы, то пренебрегая ею, мы создаем отсутствующие данные, способные вводить в заблуждение. Возможно, это не так критично в случае с «Титаником», поскольку речь идет об исторических данных, но давайте рассмотрим другой пример.

Предположим, мы проводим клиническое испытание, которое обсуждалось в предыдущей главе, сравнивая препарат А с препаратом Б. Для этого мы даем препарат А одной группе людей, а препарат Б – другой. Обе группы включают людей разных возрастов, и для удобства мы будем относить их либо к «младшим», либо к «старшим», в зависимости, скажем, от того, являются ли они моложе или старше 40 лет. Далее предположим, что в группе, принимающей препарат А, 10 младших и 90 старших, в то время как в группе, принимающей препарат Б, 90 младших и 10 старших.

Теперь посмотрим на результаты, где чем выше значение, тем эффективнее препарат. Эти гипотетические результаты приведены в табл. 3.

Предположим, средний балл для младших в группе А равен 8, а средний балл для младших в группе Б – 6, как показано в табл 3, а. Это говорит о том, что препарат А более эффективен для молодых, поскольку 8 больше 6.

Аналогично для старших предположим, что средний балл в группе А равен 4, а средний балл в группе Б – 2, как во втором ряду значений табл. 3, а. Для старших препарат А также более эффективен, чем препарат Б.

Хотя средний балл для старших ниже, чем для младших, очевидно, что и для тех и для других препарат А более эффективен, чем препарат Б. Мы определенно должны рекомендовать препарат А для всех возрастов.

А как обстоит дело в целом? Общий средний балл всех людей, получающих препарат А, составляет (8 × 10 + 4 × 90)/100 = 4,4, тогда как общий средний балл всех, получающих препарат Б, равен (6 × 90 + 2 × 10)/100 = 5,6. Эти результаты отображены в табл. 3, б. В целом, когда мы игнорируем возраст пациентов, препарат Б получает более высокий балл, чем препарат A.

Это означает, что если бы мы не регистрировали возраст пациентов, то есть при отсутствии этих данных, мы бы пришли к выводу, что препарат Б эффективнее, чем препарат A, хотя для младших A лучше, чем Б, и для старших A лучше, чем Б. Иначе говоря, А лучше, чем Б, для всех.

Первое, что приходит в голову: мы должны регистрировать возраст при сборе данных. Это, конечно, хорошо, но мы можем также регистрировать и множество других переменных, любая из которых грозит поставить наши результаты с ног на голову. При этом мы не способны зарегистрировать все возможные переменные, а значит, темные данные будут всегда.

Ключ к решению состоит в том, как именно рассчитывать общие средние значения. В примере с испытаниями препаратов в группе А старших намного больше, чем младших, в то время как для группы Б верно обратное. Это приводит к снижению общего среднего значения: 8 больше 6, а 4 больше 2, но если учесть подавляющую долю старших в группе при расчете среднего значения 8 и 4 и подавляющую долю младших при усреднении 6 и 2, то результат изменится на противоположный.

Итак, теперь мы видим корни проблемы – это разные доли старших и младших в наших группах. В группе получавших препарат А было всего 10 % младших, а в группе получавших препарат Б младших было 90 %. Если бы обе группы имели равные доли младших и старших, то проблемы бы не возникло. Поскольку клинические испытания относятся к экспериментальным исследованиям, в которых мы контролируем число пациентов, получающих каждый из препаратов, проблему устранить возможно, сбалансировав доли младших и старших и сделав их одинаковыми в каждой группе.

Такой метод работает, если мы контролируем состав и численность групп. Но в случае с «Титаником» это невозможно: пассажиры были пассажирами, члены экипажа – членами экипажа, и этого изменить мы никак не можем.

Ниже приведен еще один пример, в котором мы не контролируем, кто в какую группу входит.

По данным исследования 1991 г. о взаимосвязи расовой принадлежности и вынесении смертных приговоров по обвинениям в убийстве на территории Флориды, 53 из 483 подсудимых европеоидной расы и 15 из 191 подсудимых афроамериканцев были приговорены к смертной казни[47]47
  A. Agresti, Categorical Data Analysis, 2d ed. (New York: Wiley, 2002), 48-51.


[Закрыть]. В процентном отношении приговоренных белых (11,0 %) было больше, чем афроамериканцев (7,9 %), как это показано в табл. 4, а.

Но если мы примем во внимание не только расу обвиняемого, но и расу жертвы, то получится несколько иная и вновь обескураживающая картина.

Данные в табл. 4, б показывают, что в случаях, когда жертва принадлежала к белому населению, к смертной казни было приговорено 53 из 467 (11,3 %) белых подсудимых и 11 из 48 афроамериканцев (22,9 %). А в случаях, когда жертвой был афроамериканец, суд приговорил к казни 0 из 16 (0 %) белых подсудимых и 4 из 143 афроамериканцев (2,8 %). Таким образом, среди приговоренных к смертной казни за убийство белого человека доля афроамериканцев выше (22,9 % против 11,3 %); и среди приговоренных к казни за убийство афроамериканца доля обвиняемых той же расы снова оказывается выше (2,9 % против 0 %). Однако в целом при этом к смертной казни за убийство в процентном отношении приговорили меньше афроамериканцев, чем белых (7,9 % против 11,0 %).

Как и прежде, объяснение заключается в диспропорциях между группами. Общая доля приговоренных белых (11,0 %) вычисляется путем усреднения результатов по 467 белым жертвам и 16 чернокожим; общая доля приговоренных афроамериканцев (7,9 %) – усреднением результатов по 48 белым жертвам и 143 чернокожим. Эти два отношения, 467/16 и 48/143, являются обратными, что неизбежно искажает общие средние значения.

И снова вы можете справедливо заметить: «Хорошо, разные подходы дают разные результаты, и мы понимаем, почему так происходит. Но при этом оба кажутся разумными, так какие из значений правильные?»

Ответ на этот вопрос зависит от того, что именно вы хотите узнать. В частности, вы хотите задать вопрос о совокупности в целом с указанием размеров ее относительных групп или же провести сравнение внутри этих групп? Если первое, то игнорировать расщепляющую переменную – это нормально. Если второе, то, очевидно, ее необходимо включить в расчет.

Обратите внимание, что пример с клиническим испытанием препарата немного отличается от двух других. В нем не было ничего неизменного и предопределенного в отношении числа младших и старших в каждой группе: эти числа были выбраны экспериментатором. Напротив, в примерах с «Титаником» и смертной казнью цифры были в точности такими, какими они остались в истории. Поэтому в этих двух примерах имеет смысл говорить обо всей совокупности, в то время как при клинических испытаниях, когда экспериментатор сам определяет пропорции возрастов и может их менять, вероятно, нет смысла этого делать. (Возможны исключения, когда цель состоит в том, чтобы увидеть, насколько эффективным является лечение для населения в целом, с воспроизведением пропорций возрастных групп реальной популяции.)

Таким образом, необходимо понимать две вещи: то, какой вопрос вы задаете, и, то, что наличие темных данных зависит от этого вопроса. Как ни банально это прозвучит, но данные, которые вам предстоит собрать, анализ, который вы проведете, и ответ, который получите, зависят от того, что именно вы хотите узнать.

Между или внутри групп?

Проблемы, подобные парадоксу Симпсона, встречаются и в других обличьях. Например, экологическая ошибка возникает, когда по факту корреляции двух групп делается вывод о корреляции между составляющими эти группы объектами. Классический пример был описан в 1950 г. социологом Уильямом Робинсоном[48]48
  W. S. Robinson, “Ecological correlations and the behavior of individuals,” American Sociological Review 15 (1950): 351-7.


[Закрыть]. Корреляция между процентом иммигрантов в первом поколении и процентом грамотных в 48 штатах США в 1930 г. составляла 0,53. Это означает, что в штатах с более высокой долей «понаехавших» также и более высокий уровень грамотности (во всяком случае больше людей способны читать на американском английском). На первый взгляд, эти цифры говорят о том, что рожденные за пределами Соединенных Штатов более склонны к обучению. Но анализ внутри штатов продемонстрировал иную картину: средняя корреляция составила –0,11. Отрицательное значение показывает, что иммигранты в первом поколении менее предрасположены к освоению грамотности. Если бы информация по каждому из штатов была недоступна и находилась в области темных данных, то можно было бы сделать неверный вывод о прямой зависимости уровня грамотности от страны рождения.

Родственная этой проблема, известная как смещение вследствие пропущенных переменных, возникает в более сложных статистических методах. Множественная регрессия – это статистический инструмент, который увязывает множество независимых переменных (предикторов) с зависимой от них переменной. Хотя есть особые случаи, для которых это неприменимо, в целом можно сказать, что пропуск любого предиктора ведет к появлению мнимых связей между другими предикторами и зависимой переменной. И, как и в предыдущем примере, поскольку мы не можем включить все возможные предикторы, пропуск некоторых из них неизбежен. Риск, который несут такие темные данные, заключается в том, что выводы могут оказаться неверными. Конечно, статистики, зная об этих проблемах, разрабатывают инструменты для смягчения их воздействия.

В начале своей статистической карьеры я участвовал в проекте по выявлению предрасположенности к остеопорозу у женщин. Остеопороз – это патология, при которой кости теряют массу, становятся хрупкими и с большей вероятностью могут сломаться. По этой причине падения для пожилых людей могут быть особо опасными. Способы измерения плотности костей, например центральная двухэнергетическая рентгеновская абсорбциометрия (центральная DXA), существуют, но они, как правило, очень сложны и недешевы. Это означает, что нужен процесс, позволяющий идентифицировать людей, которые могут страдать от этого состояния. Цель проекта состояла в разработке простой анкеты, которая позволяет получить оценку вероятности возникновения остеопороза на основе известных факторов риска. При этом анкета должна была заполняться респондентом самостоятельно без необходимости присутствия специалиста.

Наша анкета, как и другие подобные инструменты скрининга, не могла бы полностью отделить имеющих предрасположенность от тех, у кого ее нет. Но даже несовершенная система, способная выявлять большинство тех, кто находится в группе высокого риска, была бы чрезвычайно ценной. Это позволило бы службам здравоохранения сосредоточить на них внимание и протестировать с помощью более точной и дорогостоящей процедуры.

Несовершенная система допускает ошибки двух видов. С одной стороны, она может пропустить того, у кого есть патология, – в нашем примере это кто-то с остеопорозом при отсутствии стандартных признаков. А с другой стороны, система может отнести здорового человека к имеющим заболевание. Очевидно, что чем ниже уровни ошибок обоих видов, тем лучше инструмент проверки. Казалось бы, можно снизить частоту ошибок первого вида до нуля, просто классифицируя всех как подверженных остеопорозу, но это делает скрининг бесполезным. И что еще хуже, это увеличивает уровень ошибок второго вида: мы классифицируем всех одинаково без реального выполнения условий. Аналогично мы могли бы уменьшить уровень ошибок второго вида до нуля, классифицируя всех как не имеющих предрасположенности, но и это совершенно бессмысленно. Учитывая, что инструмент несовершенен, нужно было найти какой-то баланс. Или, другими словами, следовало признать тот факт, что кого-то мы неизбежно будем классифицировать неверно.

Любой, кто окажется по результатам скрининга в группе высокого риска, будет подвергнут более тщательному обследованию, например с использованием центральной DXA. Среди этих людей будут и те, кого мы неверно классифицируем как потенциально страдающих остеопорозом, и в этом случае тест покажет отсутствие заболевания. Но другая группа, к которой по результатам скрининга будут отнесены не имеющие предрасположенности, не будет обследоваться так тщательно. Таким образом, мы не узнаем, с кем из этой группы мы ошиблись, по крайней мере до тех пор, пока их состояние не покажет со всей очевидностью нашу ошибку. Можно только надеяться (если инструмент скрининга достаточно эффективен), что таких окажется не слишком много, но их истинное состояние будет для нас темными данными.

Ошибочная классификация больных людей как здоровых может быть весьма опасна, особенно в случае потенциально смертельного, но легко поддающегося лечению заболевания. Однако ошибочная классификация человека в качестве больного, тогда как на самом деле он здоров, тоже может иметь нежелательные последствия. Например, ошибочные подозрения на такие серьезные заболевания, как СПИД или рак, способны вызвать психологические проблемы, даже если впоследствии подозрение будет снято. Кроме того, это влечет ненужные затраты на проведение более точного обследования. Герд Гигеренцер, эксперт в вопросах искажения восприятия случайности и статистики, приводит пример с программами скрининга рака молочной железы[49]49
  G. Gigerenzer, Risk Savvy: How to Make Good Decisions (London: Penguin Books, 2014), 202.


[Закрыть]. Он отмечает, что из 1000 женщин, которые принимают участие в таких программах, около сотни ошибочно направляются на дальнейшее обследование, подвергаясь инвазивным, неприятным, а порой и болезненным процедурам. И даже для многих из тех, у кого рак молочной железы все-таки обнаруживается, ситуация становится только хуже. Как полагает Гигеренцер, «женщины, имеющие непрогрессирующий или прогрессирующий очень медленно рак молочной железы, который они сами даже не заметили бы в течение жизни, часто подвергаются лампэктомии, мастэктомии, токсичной химиотерапии и прочим вмешательствам, которые не приносят им никакой пользы». Порой кажется, что лучше бы темные данные так и оставались темными.

Оценка эффективности программ скрининга осложняется фактом развития общества. Мы уже видели, как сказалось на росте числа случаев болезни Альцгеймера то, что люди стали дольше жить и диагнозы этого заболевания перестали быть темными данными из разряда «что могло бы случиться, если бы вы жили дольше» и перешли в категорию «что на самом деле случилось с вами».

Скрининговые программы также чувствительны к такому тонкому проявлению темных данных, как систематическая ошибка различия длительности течения заболевания. Давайте проиллюстрируем этот эффект на примере гипотетической ситуации.

Предположим, есть две болезни: одна длится один день, а другая – один год, в течение которого инфицированные люди живут нормальной жизнью, но в конце каждого из этих периодов они умирают. Для простоты предположим также, что ежедневно каждой болезнью заражается один человек. Если мы хотим узнать, сколько людей страдает от этих заболеваний, самым простым (и неправильным!) способом будет взять один день и посмотреть статистику по нему. Мы обнаружим лишь одного человека с краткосрочной болезнью – человека, зараженного в этот самый день, но тех, кто болен продолжительным заболеванием, будет 365 человек – по числу дней в году, на протяжении которого они заражались. На первый взгляд это будет выглядеть так, словно от продолжительного заболевания страдает в 365 раз больше людей, чем от краткосрочного. Чтобы увидеть реальную ситуацию, нам будет не хватать 364 человек, заразившихся краткосрочной болезнью в течение предыдущего года.

Этот пример может показаться надуманным, но на самом деле при скрининге рака иногда происходит нечто подобное. Медленно развивающиеся раковые опухоли имеют более длинную бессимптомную фазу и не влияют на выживаемость организма более продолжительный период времени. Исследование, которое мы описали выше, выявило бы больше людей с медленно развивающимся раком, чем с быстро развивающимся. Это привело бы к ложному представлению о том, насколько эти два вида рака поражают людей в популяции.

Мы рассмотрели скрининговые программы на примере медицины, где проверяется, болен или не болен человек, но та же формальная структура описывает и многие другие ситуации. Ранее в книге я приводил пример кредитного скоринга с целью классификации людей в зависимости от вероятности того, будут они погашать кредит или нет. Подбор персонала – еще одна сфера применения скрининга. Заявки подает множество кандидатов, которые отсеиваются после первичного изучения биографических данных и заполненных анкет. Кандидаты из короткого списка приглашаются на собеседование. Первичное изучение выполняет ту же роль, что и инструмент скрининга. Кандидатов, попавших на собеседование, но не прошедших его, можно рассматривать как ложноположительные результаты – они казались подходящими на основании резюме, а более глубокий анализ показал, что это не так. Но нельзя забывать и о тех кандидатах среди отсеянных до собеседования, которые подошли бы идеально. В медицине такие результаты называются ложноотрицательными, и, конечно, все это тоже темные данные.