Текст книги "Полный бред! Скептицизм в мире больших данных"

Глава 3. Природа чуши

Так что же такое чушь на самом деле? Иногда люди используют это понятие в том же смысле, который маленькие дети вкладывают в слово «нечестно», – чтобы описать то, что им не нравится. В таком случае чушью можно назвать даже штраф за парковку, выписанный спустя две минуты после того, как ваше время истекло, или спорное, но корректное касание базы в бейсболе. Иногда чушью называют несправедливость: коррумпированный процесс получения государственных подрядов, необоснованное оправдание преступника, законы, лишающие людей базовых гражданских свобод.

Язык дает нам возможность смягчить дурные новости и в целом смазать шестерни социальных взаимодействий. «Мне так понравилась твоя лазанья с репой. Пожалуйста, поделись рецептом». «Какой прелестный ребенок!» «Ну что ты, это я виновата». «Твои волосы выглядят просто отлично». «Ваш звонок очень важен для нас». «Я замечательно провела вечер». Часто всё это чушь, но не та, что стала темой этой книги.

Неискренние обещания и откровенная ложь – уже чуть ближе к цели. «Дорогая, сегодня мне придется снова задержаться на работе». «Я не затягивался»[37]37
  Бывший президент США Билл Клинтон признался, что раз или два экспериментировал с марихуаной, добавив: «Но мне не понравилось, и я не затягивался». Прим. ред.


[Закрыть]. «Я бы предложила вам условия получше, если бы могла». «Я прочитал и принял условия лицензионного соглашения». «Читайте по губам: никаких новых налогов»[38]38
  Предвыборное обещание бывшего президента США Джорджа Буша – старшего, которое он не смог выполнить. Прим. ред.


[Закрыть]. И тем не менее мы склонны считать, что всё это скорее ложь, чем чушь.

Ложь часто становится более убедительной, когда ее приукрашают чрезмерными подробностями. Вот эти мелочи уже ближе к тому, что мы имеем в виду под чушью. Например, друг вынудил вас прождать в кафе лишние двадцать минут, потому что увлекся, смотря видео на YouTube, и вышел из дома на полчаса позже. «Извини, что опоздал. Такие ужасные пробки. Знаешь этот мост на Пятнадцатой, где дорога сужается? Автобус застрял прямо под ним, какой-то идиот влетел в него сзади и заблокировал обе полосы. Так что пока я выбрался из этой каши…» Первое предложение – ложь, но дальше уже начинается чушь.

Гарри Франкфурт, философ, которого мы цитировали в предисловии, еще больше развил эту идею. Он описал чушь как то, что люди создают, когда пытаются впечатлить или убедить вас, но при этом им не важно, правда или ложь то, что они говорят, верно или не верно. Вспомните школьное сочинение по литературе, которое вы написали, не открывая книгу, концепцию творческого видения доморощенного художника-модерниста или выступление на TED Talk, которое умник из Кремниевой долины использует, чтобы запустить очередной бизнес-стартап. Иногда человек ставит себе целью ввести кого-то в заблуждение, но не обязательно. Порой от нас просто ждут каких-то слов, а нам нечего сказать. Чушь, которую мы выдаем в таких условиях, не более чем «заполнение пустоты бессмыслицей».

Чушь может быть совершенно нелепой. Еще один философ, занимающийся этой темой, Джеральд Коэн[39]39
  Джеральд Коэн (1941–2009) – политический философ, основоположник аналитического марксизма. Прим. ред.


[Закрыть], отмечает, что многие примеры чуши – особенно в научной среде – настолько нелогичны, настолько замаскированы риторическими выпадами и словесными хитросплетениями, что их невозможно критиковать. С точки зрения Коэна, чушь – это «непрояснимая неясность». Словесная чушь не просто неясна – сами идеи, которые лежат в ее основе, настолько слабы, что их невозможно прояснить. Коэн предлагает способ проверки текста на ясность. Если вы можете удалить предложение, но смысл не меняется, то это чушь. «У Шекспира Просперо однозначно является точкой опоры эпистемологической трагедии именно в силу его неспособности оценить герменевтику безграничного».

Общее между этими взглядами на чушь заключается в том, что говорящий хочет убедить или впечатлить, а не подвести слушателя к правде. Говорящий может активно искажать действительность или просто болтать чепуху, чтобы скрыть тот факт, что он на самом деле ничего не знает о рассматриваемом предмете. Некоторые авторы разграничивают навязчивую чушь и увертливую чушь. Навязчивость нужна, чтобы убедить в раздутой компетенции или авторитете, а изворотливость позволяет избежать прямого ответа на вопрос, на который говорящий не хотел бы отвечать.

Человек, несущий чушь перед аудиторией, не союзничает со слушателями в процессе коммуникации. Он пытается манипулировать ими с помощью риторических приемов, избыточных деталей или фальшивой статистики.

Чушь – это слова, статистические данные, графики и другие формы презентации, цель которых – убедить или впечатлить слушателей, отвлекая, ошеломляя или подавляя их откровенным презрением к истине, логической связанности или сути той информации, которая передается в действительности.

Ключевые элементы этого определения подсказывают, что чушь не обязана быть правдой и что человек, заведомо несущий чушь, пытается скрыть этот факт за некой риторической вуалью. Зигмунд Фрейд самым замечательным образом проиллюстрировал данную концепцию в письме своей невесте Марте Бернейс в 1884 году:

«Итак, вчера я прочитал лекцию. Несмотря на неподготовленность, я выступал очень неплохо и без колебаний […]. Я рассказал о моих открытиях в области анатомии мозга, об очень сложных вещах, в которых публика, конечно, не смыслила, но самое важное, что у них всех сложилось впечатление, что я в этом разбираюсь».

Социолог науки Бруно Латур[40]40
  Бруно Латур (р. 1947) – французский социолог науки и философ. Его книга «Наука в действии: следуя за учеными и инженерами внутри сообщества» считается одним из самых значимых текстов по социологии науки и техники. Прим. ред.


[Закрыть] хотя и не писал непосредственно о чуши, но дал нам представление о том, как люди дурят свою аудиторию. Книги Латура рассматривают динамику власти между автором и читателем. В мировоззрении Латура первичная цель нехудожественной литературы – восприниматься авторитетной. Для этого необходима правота, но она недостаточна и необязательна. Прав автор или нет, он способен использовать ряд тактик, которые сделают его утверждения непоколебимыми. Но читатели, в свою очередь, не хотят, чтобы их одурачили. Например, автор может призвать армию союзников, цитируя других авторов, поддерживающих ту же точку зрения, или тех, на чьи работы он опирается. Если вы не верите мне, как бы подразумевает он, поспорьте-ка со всеми нами. Он может также использовать сложный профессиональный сленг. Такой сленг облегчает коммуникацию между специалистами, но также позволяет исключать тех, кто не допущен в ближний круг определенной дисциплины.

ЧУШЬ И ЧЕРНЫЕ ЯЩИКИ

Согласно Латуру, утверждения ученых, как правило, основываются на результатах, полученных из метафорического черного ящика, в который читателю сложно, если не невозможно проникнуть. К черным ящикам часто относится использование специализированного и нередко дорогого оборудования и методик, которые требуют много времени, либо вообще недоступны читателю, либо же настолько общеприняты, что ставить их под сомнение – своего рода еретичество в сфере науки[41]41
  С точки зрения Латура, аспекты технологии или экспериментальных процедур становятся черными ящиками, когда они настолько всесторонне принимаются соответствующим научным сообществом, что, по общему мнению, превращаются в стандартные процедуры и более не подвергаются сомнению. Латур пишет в своей книге «Надежда Пандоры. Очерки реальности исследований науки»: «Когда механизм эффективно работает, когда установлены факты, остается фокусироваться только на результатах и входящих данных, а не на внутренней сложности. Парадоксальным образом чем больше расцветают наука и технология, тем более непрозрачными и темными они становятся».
  Тут наша аналогия начинает хромать. Чтобы удобнее было обсуждать чушь в цифрах, давайте представим, что техника превращается в черный ящик, когда типичный читатель больше не может понять, как она работает, независимо от того, принимается ли она научным сообществом. Прим. авт.


[Закрыть]. Если бы я написал статью о том, что определенные генетические особенности связаны со склонностью верить в чушь, скептик мог бы обоснованно оспорить мою выборку, то, как я измеряю доверчивость, или статистический метод, который я использовал, чтобы оценить взаимосвязь. Но биотехнологии секвенирования ДНК из образцов крови, скорее всего, будут черным ящиком. В принципе, скептик мог бы засомневаться и в них. Однако тогда ему придется поставить под вопрос всю научную базу и, что более важно в нашем случае, ему понадобятся доступ к продвинутому оборудованию и обширные технические познания в области молекулярной генетики.

Латур не говорит, что эти особенности фундаментальных наук превращают все исследования в чушь, да и мы так не считаем. Он просто объясняет, что наука – это нечто большее, чем бесстрастный поиск истины. Мы еще вернемся к этой теме в девятой главе. В идее черного ящика Латура заключен очень важный момент, который позволяет провести аналогию с поведением ораторов, эффективно морочащих голову слушателям. Откровенную ложь часто легко уловить и обезвредить. Но эффективную чушь трудно проверить. Она выступает в роли одного из черных ящиков Латура и защищает утверждения от дальнейшей проверки.

Допустим, друг сказал вам: «Знаешь, в целом кошатники зарабатывают больше, чем собачники». В ответ на такое заявление легко сказать, что это чушь. И если вы так сделаете, то, скорее всего, ваш друг просто рассмеется и признается: «Ну да, я всё выдумал».

Но представьте себе, что вместо этого ваш приятель заартачился и начал дополнять свое заявление выдуманными подробностями: «Нет, серьезно, это правда. Об этом говорили на TED Talk. Там объяснили, что кошатники больше ценят независимость, а собачники – лояльность. У людей, которые ценят независимость, скорее всего, тип личности NVT… нет… NVS[42]42
  Типы личности по типологии Майерс – Бриггс (MBTI), созданной в 1940-х годах американскими психологами Изабель Бриггс Майерс и Кэтрин Бриггс и получившей широкое распространение в США и Европе. Прим. ред.


[Закрыть]… не помню, в общем, какой-то тип личности. И благодаря этому они лучше делают карьеру».

Вот это уже полноценная чушь, и она работает как один из черных ящиков Латура. Если вы захотите опровергнуть слова друга, вам придется поработать. Ложь и чушь сходятся воедино. Мы полагаем, что ложь становится чушью, когда говорящий пытается скрыть ее, используя различные риторические приемы.

Представьте себе, что друг ссылается на исследование, откуда и взялось это утверждение. Допустим, вы его нашли и прочли нечто подобное:

«Мы обнаружили статистически значимое расхождение между заработком любителей кошек и собак, проведя ковариационный анализ (ANCOVA) с использованием логарифмически преобразованных данных о доходах (F = 3,86)».

Если вы не имеете профессиональной подготовки в области статистики, то с размаху угодите в особенно непроницаемый черный ящик. Скорее всего, вы не в курсе, что такое ANCOVA, что значит F или что такое логарифмическое преобразование и зачем его применять. А если и знаете, то вряд ли помните во всех деталях. Мы, авторы этой книги, каждый день пользуемся статистикой, но и нам время от времени приходится что-нибудь уточнять. В итоге вы не можете раскрыть черный ящик. Вы не можете разобраться в вычислениях и таким образом выявить возможные проблемы. Если вы не специалист по статистике и, пожалуй, даже если вы специалист, у вас всё равно возникнут те же затруднения, когда вы прочитаете об исследовании, в котором, например, использовался новейший алгоритм ResNet для определения отличий между чертами лиц владельцев кошек и собак. Неважно, специально ли это делает автор, но черный ящик защищает его утверждения от критики.

Однако вам не обязательно быть специалистом. Одна из главных вещей, которые мы хотим рассказать в нашей книге, – обычно вам и не нужно вскрывать аналитический черный ящик, чтобы доказать, что с его помощью была получена полная чушь. Любой черный ящик, который используется для производства чуши, должен принимать данные и выдавать результаты, как показано на следующей диаграмме.

Чаще всего чушь возникает либо потому, что черному ящику скармливают предвзятые данные, либо потому, что с полученными из него результатами связаны какие-то очевидные проблемы. Время от времени важно разбираться и в том, как работает сам ящик, но наш опыт показывает, что такие случаи редки. Это хорошо, потому вам не нужно быть специалистом, чтобы заметить проблемы с данными или результатами. Вам нужно всего лишь ясно мыслить и тренироваться в поисках отклонений. Далее мы покажем, как это делают.

Вернемся к примеру с кошатниками и собачниками. Вы можете отбросить в сторону тонкости статистического анализа и задаться вместо этого вопросом, как были собраны данные. Возможно, исследователи изучили владельцев животных и смешали данные о людях, живущих в центре Нью-Йорка, где доходы высоки, а содержать собак сложно, с данными северного Нью-Йорка, где зарплаты ниже, но собаку завести имеет смысл. Возможно, зарплаты любителей собак приняли за среднее по США, а зарплаты владельцев кошек вычислялись на основе данных о посетителях сайта для основателей стартапов, у которых есть кошки.

Если данные, использовавшиеся для анализа, некорректны, то уже не важно, как именно будет проводиться их анализ с технической точки зрения. Получить идиотские результаты на основе дурацких данных можно и без статистических уловок. Часто именно так и создается чушь, хотим мы того или нет. Чтобы выявить чушь такого рода, вам не надо раскрывать черный ящик. Надо только внимательно посмотреть на данные, которые поступают в него, и на результат, который он выдает. Точно ли данные не искажены, разумны и имеют отношение к проблеме? Проходит ли результат проверку на правдоподобие? Подтверждает ли он сделанные выводы?

Способность вычислять чушь, выведенную из данных, – дефицитное умение. Десятилетия назад шарлатана могли спасти псевдонаучный сленг и цветистые детали. Сегодня мы привыкли получать информацию в количественных показателях и не уверены, что смеем подвергать ее сомнению. Количественные аргументы кажутся нам более вескими, чем качественные. Эта репутация в целом безосновательна, ведь нужны очень скромные способности, чтобы сфабриковать обманчиво правдоподобные цифры. Но мы всё равно им доверяем, поэтому цифры выполняют любые капризы за деньги лжецов.

ПРЕСТУПНОЕ МАШИННОЕ ОБУЧЕНИЕ

Давайте для примера разберемся в том, как выявить чушь, созданную с помощью модного алгоритма, вообще не вникая в суть его работы, то есть не открывая черный ящик.

В конце 2016 года исследователи Сяолинь У и Си Чжан опубликовали в популярном онлайн-архиве научных работ arXiv статью под названием «Автоматическое выявление преступности на основе фотопортретов». В своей статье У и Чжан исследовали возможность использования машинного обучения для выявления черт человеческих лиц, связанных с «преступностью». Они утверждали, что их алгоритм может по обычным фотографиям с большой точностью отличать преступников от невиновных. Если вам это до жути напоминает профилактику преступлений в «Особом мнении»[43]43
  «Особое мнение» (англ. Minority Report) – рассказ знаменитого фантаста Филипа К. Дика, по мотивам которого Стивен Спилберг снял одноименный фильм с Томом Крузом в главной роли. Прим. ред.


[Закрыть] Филипа Дика и другие научно-фантастические антиутопии, то вы не одиноки. В СМИ подумали о том же. Ряд изданий, посвященных технологиям, подхватили эту историю и осветили этические проблемы, которые может породить появление такого алгоритма. Если бы алгоритм реально мог выявлять факт преступлений по лицу человека, перед нами встала бы колоссальная этическая проблема. Как нам теперь относиться к концепциям вины и невиновности, если мы можем узнать, что люди виновны, до того, как они совершили преступление?

Попытки вычислять преступников по их лицам не новы. В XIX веке итальянский доктор по имени Чезаре Ломброзо изучил анатомию сотен преступников, чтобы разработать научную теорию. Он предположил, что люди могут быть от рождения склонны к правонарушениям либо к тому, чтобы стать выдающимися гражданами. Прирожденные преступники, заявил он, обладают особыми физиологическими потребностями и физическими особенностями. Ломброзо связал эти особенности с нашим эволюционным прошлым. В частности, его интересовало, что можно вычислить по лицу человека. С его точки зрения, форма челюсти, наклон лба, размер глаз и структура уха давали необходимую информацию, чтобы сделать выводы о нравственности человека. Ниже приведена иллюстрация из книги Чезаре Ломброзо 1876 года «Преступный человек».

Ломброзо ошибался. Ни одна из его теорий, связывающих анатомию с моралью, не имела прочной научной основы. Его идеи – а многие из них под видом научного жаргона скрывали расистские взгляды своего времени – были разоблачены в первой половине ХХ века и исчезли из сферы криминологии.

Однако в 2016 году в статье, размещенной в arXiv, У и Чжан вернулись к идеям Ломброзо. По сути, они попытались выяснить, сможет ли продвинутое компьютерное зрение выявить незаметные признаки и закономерности, упущенные Ломброзо и его последователями. Для проверки этой гипотезы авторы использовали алгоритмы научного обучения, чтобы выявить, какие черты лица человека связаны с «преступностью». У и Чжан утверждали, что их программа с помощью простого фотопортрета способна отличить преступника от невиновного человека с точностью почти 90 %. Более того, они заявляли, что их компьютерный алгоритм свободен от множества предрассудков и предвзятости, которая затуманивает взгляд человека.

«В отличие от следователя или судьи, алгоритм или классификатор компьютерного зрения не имеет абсолютно никакого субъективного багажа [sic], ни эмоций, ни каких-либо предрассудков, связанных с прошлым опытом, расой, религией, политической доктриной, гендером, возрастом и так далее, ни ментальной усталости, не подвержен влиянию таких условий, как недостаток сна или питания. Автоматическое установление связи полностью удаляет из уравнения переменную метаточности (компетенцию судьи или следователя как человека)».

Давайте взглянем на все это в свете нашей схемы черного ящика. Алгоритмы машинного обучения образуют черный ящик. Большинству читателей не хватает знаний, чтобы разобраться в тонкостях работы этих алгоритмов. Даже тем, у кого есть необходимое образование, будет сложно, если учитывать немногословное описание методов в работе. Есть еще и наборы данных для обучения – изображения, которые использовали, чтобы научить алгоритм отличать лицо преступника от лица законопослушного гражданина. Это данные, которые вложили в черный ящик. И наконец, есть черты лица, по которым алгоритм предсказывает связь с преступностью. Это результаты, которые вышли из черного ящика.

Чтобы разобраться в исследовании, нам нужно взглянуть на тренировочный набор данных. Качество алгоритма машинного обучения напрямую зависит от качества информации, которую ему скармливают. У и Чжан собрали более 1800 фотографий китайцев в возрасте от 18 до 55 лет, не имеющих выдающейся растительности на лице, шрамов или татуировок. Около 1100 из них не были преступниками. Их фотографии были взяты из различных источников в интернете, включая социальные сети для поиска работы и перечни сотрудников различных компаний. Более 700 субъектов были осужденными. Их фотографии были предоставлены отделениями полиции и взяты из официальных документов, но не из полицейских досье.

Мы уже видим здесь две серьезные проблемы. Первая заключается в том, что фотографии невиновных изначально представляли людей в позитивном свете. В то же время фотографии преступников – это официальные портреты, необходимые для идентификации. Неясно, из каких документов конкретно они были взяты, но можно предположить, что их отбирали не сами изображенные и никто не пытался приукрасить внешность людей на этих снимках. Отрадно, что никто не оценивает нашу законопослушность по фотографиям на водительских правах!

Второй источник искажений – это использование авторами фотографий осужденных. Если даже между двумя этими группами есть различия, мы уже не узнаем, связаны они с правонарушениями или с тем, что люди были приговорены к наказанию. Конечно, внешность может влиять на приговор. Недавнее исследование в США показало, что менее привлекательных людей суд присяжных чаще признает виновными, чем более привлекательных[44]44
  Хотя уголовная система Китая организована иначе, чем в США, и суды присяжных редки, как судьи, так и редкие присяжные в Китае могут страдать тем же предрассудком. Прим. авт.


[Закрыть]. Таким образом, хотя авторы утверждают, что их алгоритм свободен от человеческих предубеждений, возможно, он только на них и опирался.

Выявив некоторые потенциальные проблемы с данными, которые поступили в черный ящик, вернемся к результатам, которые из него вышли. Как мы упоминали, авторы обнаружили, что их алгоритм может выявлять преступников в их наборе данных с точностью в 90 %. Какие именно черты лица он использует, чтобы отличать одних от других? Алгоритм обнаружил, что у преступников меньше расстояние между внутренними уголками глаз, меньше угол между носом и уголками рта и более искривлена линия верхней губы.

Почему так получилось?

Существует видимое невооруженным взглядом объяснение углу между носом и ртом и кривизне губ. Когда человек улыбается, уголки рта растягиваются, а верхняя губа выпрямляется. Попробуйте сами перед зеркалом.

Если вы заглянете в саму работу, то увидите в ней шесть примерных изображений из тренировочного набора. Преступники хмурятся или морщатся. Невиновные едва заметно улыбаются. Теперь у нас есть альтернативная – и куда более убедительная – гипотеза, объясняющая открытие авторов. Не существует важных отличий между лицами преступников и невиновных. Просто невиновные люди на своих профессиональных фотографиях улыбаются, а преступники на фото с документов не улыбаются. Кажется, авторы спутали индивидуальные черты лица с изменчивыми выражениями лица. В таком случае их заявление о том, что они научились вычислять преступников, – полная чушь. Они не изобрели детектор преступников. Они изобрели детектор улыбки.

Мы можем найти дополнительные подтверждения нашей теории в результатах, полученных из черного ящика. Чтобы проиллюстрировать предполагаемые различия лиц преступников и невиновных, авторы составили фотороботы, объединив черты лиц каждой группы. Преступник на фотороботе хмурится, а невиновный – улыбается. Это подтверждает нашу гипотезу о том, что алгоритм машинного обучения выявил выражение лица, зависящее от контекста (улыбается человек или нет), а не неизменную черту внешности.

Возможно, вы подумали, что даже без изучения черного ящика для такого анализа требуется время и внимание. Это правда. Но, к счастью, на некоторые заявления наши датчики чуши срабатывают лучше, чем на другие. В частности, экстраординарные заявления требуют экстраординарных доказательств. Авторы этого исследования сделали экстраординарное заявление, утверждая, что по лицу можно определить преступные наклонности. Но мы видим, их выводы можно объяснить куда более разумной гипотезой: люди скорее будут улыбаться на профессиональном фото, чем на документе, идентифицирующем личность.

Обратите внимание, что всё это мы установили, не открывая черный ящик. Нам вообще не нужно знать, как работает их алгоритм машинного обучения, потому что проблема не в нем. Алгоритм машинного обучения хорош лишь настолько, насколько хороши введенные в него данные, а здесь данные изначально были некорректны. И как часто бывает, чтобы выявить чушь, не нужно быть экспертом по машинному обучению. Неспециалист вполне может справиться с этим, просто подумав, какой бы вывод сделала любая обучаемая система на основе таких данных. Алгоритм в этом исследовании не выявил никаких физических особенностей людей, указывающих на их преступность. Кажется, пока нам можно не волноваться о том, что мы вступаем на этическое минное поле предсказания преступлений.