Книга: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет - Нейт Сильвер

Так вот, Нейт Сильвер – тот самый человек, чьи записи в блоге 538 на сайте NYT я раз за разом рекламировал во время американской избирательной кампании 2012 года. Не только и не столько потому, что нужно, когда комментируешь выборы в реальном времени, ссылаться на последние опросы, а потому, что Сильвер после каждой манипуляции с данными подробно объяснял, что и как следует интерпретировать. Причём – здесь уже была заметна его уникальность – несмотря на то, что он работал на фантастически конкурентном рынке, его комментарии почти целиком состояли из объяснений, как можно ошибочно придать прогнозу слишком чёткую интерпретацию. Не скромность – правильное понимание того, что такое прогноз и как соотносятся технические методы анализа данных и общая точность предсказаний.

Впрочем, и скромность тоже – в отличие от множества знаменитостей последнего времени, Сильвер говорит о решающей роли удачи в его собственной славе. Бейсбольный фанат с шести лет, он впервые прославился моделью, прогнозировавший бейсбольные исходы (не только матчи, но и конкретные успехи отдельных игроков). А это, оказывается, один из самых предсказуемых видов спорта вообще. Кстати, Сильвер не зря скромничает: когда он говорит про данные, с которыми работал, получается отлично, но вот когда он приводит примеры из мировой истории, бывают промахи.

… Книга начинается слегка неожиданно: в эпоху Big Data (как это сказать по-русски, чтобы было и точно, и ёмко, и коротко?) нам становится труднее получать и обрабатывать информацию. Наши мозги заточены на поиск стандартных закономерностей в потоке новых данных и мы чаще промахиваемся, если наша исходная модель оказывается неадекватной. А как можно этого избежать, если без простых стереотипов невозможно осваивать новые массивы сведений? Если мы участвуем в каком-то споре, мы всё сильнее встраиваем то, что узнали нового, в свои исходные предпосылки; новая, более полная информация часто разделяет, а не сближает позиции. Тем более, что в последние десятилетия появились каналы информации, «привязанные» к индивидуальному потребителю – от газет и телепередач, рассчитанных на узкие группы однородных читателей/зрителей, то настраиваемых лент новостей, RSS- и т.п.

Сильвер, приведя совсем немного общих соображений, переходит к примерам – он сам начинал с прогнозов в бейсболе и покере и достиг немалых успехов, а известным стал – в тридцать лет – после удачных политических прогнозов 2008 и 2012 годов (в частности, правильно предсказав чуть ли не все исходы кампаний в палате представителей). C бейсболом он, конечно, полный маньяк – многие математические мальчики увлекаются статистикой (и я с интересом вчитывался в год рождения-рост-вес всех игроков высшей лиги в 1985 году), но до такой степени… Однако ещё до этого есть популярное объяснение провалов прогнозистов в преддверии мирового финансового кризиса – и экономистов, и спецов из S&P и Moody. Те, кто интересовался этими вопросами, ничего нового не узнают, но те, кто только задумывается над тем, откуда берутся прогнозы и какие ошибки являются самыми типичными, узнают много интересного. А если подумают, и полезного.

Будущим экономистам – да всем, кто работает с данными, тоже полезно. Удивительно для «прикладника», Сильвер точно понимает, что не бывает работы с данными, тем более с «большими», без теории. Если исходная теория плохая (как предположения S&P о том, что ипотечные облигации слабо коррелированы), работа с данными не поможет. А ведь раз за разом слышишь на семинарах – «у нас не было никакой теории, мы просто поставили, какие нашлись, переменные в правую часть и посмотрите, что вышло». (Совет: такие доклады можно попросту игнорировать. Если у докладчика нет, хотя бы простой, теории, работа – скорее всего мусор.)

Есть книги, которые я рекомендую всем, кто интересуется тем, что интересно мне. Например, «Фрикономику» Дубнера и Левитта, захватывающий гимн экономическим инструментам анализа данных, всесильным и безошибочным. Но мне уже не раз приходилось писать, что вклад Левитта и его последователей в наше понимание того, как устроен мир, куда меньше, чем может показаться на первый взгляд. Конкистадорский подход к данным часто приводит к слишком сильной уверенности в выводах, основанных всего лишь на статистических коэффициентах. А теперь можно рекомендовать «Фрикономику» без ограничений – если за ней сразу идёт «Сигнал и шум» Нейта Сильвера.