Текст книги "Просчитать будущее. Кто кликнет, купит, соврёт или умрёт"

«Накормите меня!» – пища для размышлений для компьютеров

Данные – это новая нефть.

Меглена Кунева, еврокомиссар по защите прав потребителей

Единственным источником знаний является опыт.

Альберт Эйнштейн

Богу мы верим, все остальные должны предоставлять данные.

Уильям Эдвардс Деминг (американский ученый, известный своей теорией управления качеством)

Большинство людей не испытывают никакого интереса к данным. Что может быть скучнее, чем эти бесконечные массивы сухих цифр и фактов, порой столь банальных, как пост в Twitter типа «Я купил себе новые кроссовки!». Это бесполезный побочный продукт, который в огромных количествах образуется в процессе ведения любого бизнеса.

Вы ошибаетесь! Правда в том, что данные представляют собой бесценное собрание опыта, на котором можно учиться. Каждая медицинская процедура, кредитная заявка, публикация на Facebook, рекомендация фильма, акт мошенничества, спам-сообщение или покупка – каждый положительный или отрицательный результат, каждая успешная или неудачная попытка продажи, каждый инцидент, событие и транзакция – кодируются как данные и сохраняется в базе данных. По оценкам, объемы данных увеличиваются на 2,5 квинтиллиона байтов в день (это единица с 18 нулями). Вот где произошел настоящий Большой взрыв, породив безграничные потоки сырых, необработанных данных, с которыми могут справиться только компьютеры. При правильном использовании компьютеры жадно поглощают этот океан данных – и учатся на них.

Иногда погоня за данными превращается в настоящую золотую лихорадку. Но данные – это не золото. Повторяю, необработанные данные – это сырье. Золото – то, что можно из них добыть.

Процесс машинного обучения на основе данных раскрывает всю мощь этого все возрастающего ресурса. Он позволяет выявить, что движет людьми и их поступками, что цепляет нас за душу и как устроен мир. Получение таких знаний и делает прогнозирование возможным.

Например, благодаря машинному обучению мы получили такие ценные сведения, как[1]1
  Более подробно об этих примерах читайте в главе 3.


[Закрыть]:

• ранний выход на пенсию уменьшает ожидаемую продолжительность жизни;

• люди, которых на сайтах знакомств чаще отмечают как привлекательных, вызывают меньше интереса;

• большинство фанатов Рианны по своим политическим убеждениям – демократы;

• вегетарианцы реже пропускают авиарейсы;

• количество преступлений на местном уровне увеличивается после публичных спортивных мероприятий.

Машинное обучение опирается на подобные знания, чтобы совершенствовать прогнозные возможности систем через процесс обработки больших объемов данных по методу проб и ошибок, уходящий корнями в статистику и компьютерную науку.

Я знал, что вы это сделаете

Располагая такими возможностями, что мы хотели бы спрогнозировать? Фактически все, что делает человек, стоит того, чтобы стать предметом прогнозирования, – а именно то, как мы потребляем, думаем, работаем, уходим, голосуем, любим, воспроизводим потомство, разводимся, создаем проблемы, обманываем, воруем, убиваем или умираем. Давайте рассмотрим некоторые примеры[2]2
  Больше примеров и дополнительных деталей вы найдете в таблицах в приложении D.


[Закрыть].

• Голливудские киностудии, принимая решение о производстве фильмов, прогнозируют их успех.

• Американский сервис Netflix заплатил $1 млн группе ученых, которым удалось лучше других усовершенствовать способность его системы рекомендаций прогнозировать, какие фильмы должны понравиться его пользователям.

• Австралийская энергетическая компания Energex прогнозирует спрос на электроэнергию для принятия решений о том, где строить собственные электросети, а компания Con Edison – возможные сбои системы в случае повышения уровня энергопотребления.

• Уолл-стрит прогнозирует цены акций, наблюдая за их движением под влиянием динамики спроса. Такие фирмы, как AlphaGenius и Derwent Capital, управляют торговыми операциями своих хедж-фондов, отслеживая тренды и настроения широкой общественности через посты на Twitter.

• Компании – от гиганта U. S. Bank до небольших фирм, таких как Harbor Sweets (производитель сладостей) и Vermont Country Store («классические продукты высокого качества, которые трудно найти»), – прогнозируют, какие клиенты будут покупать их продукцию, чтобы нацелить на них свои маркетинговые усилия. Эти прогнозы диктуют распределение драгоценных маркетинговых бюджетов. Некоторые компании в буквальном смысле прогнозируют даже то, как наилучшим образом повлиять на вас, чтобы заставить покупать еще больше (эта тема рассматривается в главе 7).

• Прогнозирование определяет и то, какие купоны вы получаете в кассе супермаркетов. Британский розничный гигант Tesco, третья по величине сеть продуктовых магазинов в мире, прогнозирует эффективность этого целевого маркетинга и ежегодно распределяет более 100 млн персонализированных скидочных купонов в 13 странах мира. Благодаря прогнозированию уровень использования купонов вырос в 3,6 раза по сравнению с предыдущими программами. Аналогичным образом поступают Kmart, Kroger, Ralph’s, Safeway, Stop & Shop, Target и Winn-Dixie.

• Прогнозирование вероятности кликов приносит щедрое вознаграждение. Поскольку веб-сайтам часто платят за каждый клик по размещенным на них рекламным объявлениям, то им важно спрогнозировать, какие объявления скорее всего привлекут ваше внимание, чтобы немедленно показать их вам. Использование прогнозирования для правильного подбора рекламы обеспечивает многомиллионные доходы.

• Ведущая социальная сеть для делового общения LinkedIn прогнозирует ваши профессиональные навыки.

• Популярные сайты знакомств Match.com, OkCupid и eHarmony прогнозируют, какая из красоток на вашем экране подходит вам больше всего.

• Ретейлер Target прогнозирует, кто из покупателей ждет ребенка, чтобы рекламировать соответствующие товары. Ничто не предсказывает будущие потребительские нужды лучше, чем ожидаемое рождение нового потребителя.

• Клинические исследователи прогнозируют вероятность супружеской неверности и развода. Существуют даже сайты, на которых вы можете самостоятельно оценить ваши шансы на долгий и прочный брак (например, www.divorce360.com). По слухам, компании, эмитирующие кредитные карты, делают то же самое.

• В 2012 году Обама был переизбран президентом благодаря прогнозированию поведения избирателей. Его предвыборная кампания строилась на прогнозировании того, какие избиратели положительно отреагируют на контакт (через телефонный звонок, личный визит, листовку или телевизионную рекламу), а каких такого рода контакт непроизвольно подтолкнет проголосовать против. Эта технология была использована для принятия решений о методах предвыборной агитации для миллионов избирателей в колеблющихся штатах и помогла успешно склонить на сторону Обамы намного больше избирателей, чем позволило бы сделать традиционное таргетирование.

• «Что вы имеете в виду?» Системы научились определять намерение, стоящее за письменным словом. Citibank и PayPal выявляют отношение клиентов к их продуктам, а разработанная одним исследователем программа может сказать, какие отзывы о книгах на Amazon.com носят саркастический характер.

• Разработаны компьютерные программы по автоматическому оцениванию школьных сочинений, которые также работают на основе прогнозирования. Они оценивают сочинения так же точно, как и преподаватели.

• Созданный компанией IBM суперкомпьютер Watson принял участие в популярном в США интеллектуальном телешоу Jeopardy! (российский аналог – «Своя игра») и победил двух самых именитых чемпионов за всю его историю. Опираясь на технологию прогнозирования, эта машина умеет понимать заданные в свободной форме вопросы на самые разные темы и находить на них ответы в базе данных.

• Компьютеры буквально умеют читать ваши мысли. Исследователи научили системы декодировать сканы головного мозга и определять, о какого рода вещах вы сейчас думаете – таких как определенные инструменты, здания или еда, – с точностью более 80 %. В 2011 году IBM высказала прогноз, что через пять лет технологии чтения мыслей станут преобладающим направлением исследований.

• Компания Hewlett-Packard оценивает каждого из своих более чем 330 000 сотрудников по всему миру по шкале «Риск ухода», показывающей вероятность того, что этот человек покинет компанию, – чтобы менеджеры могли заранее вмешаться там, где это возможно, и изменить ситуацию.

• Вы когда-нибудь были недовольны услугами сотовой связи? Ваш оператор хочет об этом знать. Все крупные сотовые операторы занимаются прогнозированием вероятности того, что вы решите уйти к конкуренту (возможно, еще до того, как у вас в голове сформируется такая мысль), используя такие показатели, как сброс вызовов, интенсивность использования телефона, информация о счетах и уход к другим операторам абонентов из вашего списка контактов.

• FedEx стабильно сохраняет за собой позиции лидера рынка, прогнозируя с точностью от 65 до 90 %, какие клиенты могут уйти к конкурентам.

• Американская система государственных университетов (APUS) прогнозирует, какие студенты могут бросить учебное заведение, и использует эти прогнозы. Университеты штатов Алабама, Аризона, Айова, Оклахома и нидерландский Технический университет в Эйндховене также прогнозируют выбытие студентов.

• «Википедия» прогнозирует, кто из ее редакторов, работающих бесплатно из любви к своему делу и ради развития этого бесценного онлайн-актива, собирается прекратить оказывать ей добровольную помощь.

• Исследователи из Гарвардской медицинской школы прогнозируют, что, если ваши друзья бросают курить, у вас больше шансов сделать то же самое. Отказ от курения заразителен.

• Страховые компании прогнозируют, кто из страхователей вероятнее всего попадет в аварию или сломает ногу, катаясь на горных лыжах. Allstate прогнозирует ответственность за причинение телесных повреждений при автомобильных авариях на основе характеристик застрахованного транспортного средства, что позволяет компании экономить около $40 млн в год. Другой ведущий страховщик сообщил о том, что экономит почти $50 млн в год благодаря применению передовых предиктивных моделей в своей практике актуарных расчетов.

• Компания Ford также использует прогнозный анализ данных, так что ее автомобили могут определить, когда у водителя снижается концентрация внимания из-за каких-либо отвлекающих факторов, усталости или опьянения, и принять меры, например подать звуковой сигнал.

• Используя данные Национального совета по безопасности на транспорте (США), исследователи установили, какие происшествия на воздушном транспорте имеют в пять раз более высокую, чем в среднем, вероятность привести к фатальному исходу.

• Все крупные банки и эмитенты кредитных карт прогнозируют, какие заемщики вероятнее всего могут нарушить обязательства по возврату кредита. Коллекторские агентства строят работу с каждым проблемным должником на основании прогнозов о том, какая тактика позволит им взыскать с него максимальную сумму.

Я не боюсь смерти, я просто не хочу при этом присутствовать.

Вуди Аллен

• В 2013 году калифорнийская организация Heritage Provider Network пообещала $3 млн тому, кто создаст лучший алгоритм для прогнозирования поступления пациентов в ее больницы. Благодаря этим прогнозам можно будет предпринимать профилактические меры, что позволит сэкономить десятки миллиардов долларов, которые ежегодно тратятся на ненужную госпитализацию. Аналогичным образом Медицинский центр при Университете Питтсбурга прогнозирует вероятность скорой повторной госпитализации, чтобы избежать преждевременной выписки пациентов из больницы.

• Исследователи Стэнфордского университета научили компьютеры диагностировать рак молочной железы точнее, чем это делают врачи. Для этого был разработан инновационный метод, учитывающий большее число факторов при анализе образцов ткани.

• Исследователи из Университета Бригама Янга и Университета штата Юта научились правильно прогнозировать примерно 80 % преждевременных родов (и примерно 80 % своевременных родов) на основе пептидных биомаркеров, которые появляются в крови уже на 24-й неделе беременности.

• Исследователи разработали метод диагностики шизофрении на основе одного только анализа устной речи.

• Все большее число компаний, занимающихся страхованием жизни, выходят за рамки обычных актуарных таблиц и используют методы прогнозной аналитики для оценки риска наступления смерти. Хотя официально это не называется страхованием на случай смерти, на деле компании пытаются спрогнозировать, когда вы умрете.

• Этим занимаются не только компании по страхованию жизни. Одна из ведущих медицинских страховых компаний прогнозирует вероятность того, что пожилые держатели страховых полисов перейдут в мир иной в течение ближайших полутора лет, на основании определенных клинических показателей, содержащихся в последних заявлениях о выплате страхового возмещения за предоставление медицинских услуг. Не бойтесь – это делается с благими целями.

• Исследователи разработали методики прогнозирования риска смерти при хирургическом вмешательстве на основе индивидуальных характеристик пациента и характеристик его состояния, чтобы помочь врачам принимать объективные решения.

• Врачи регулярно – хотя и непреднамеренно – жертвуют одними пациентам ради того, чтобы помочь другим, и эта сложившаяся практика почти не вызывает споров. Но ситуацию можно существенно улучшить, если выйти за рамки прогнозирования диагноза или результата и прогнозировать также воздействие медицинской помощи (прогнозирование воздействия – тема главы 7).

• Большинство средних и крупных банков используют технологии прогнозирования, чтобы противодействовать попыткам использования поддельных чеков, краж денег с кредитных карт и другим мошенническим действиям. Благодаря внедрению специальной системы Citizens Bank удалось на 20 % уменьшить убытки, вызванные мошенничеством с чеками. Hewlett-Packard сэкономила $66 млн, научившись выявлять мошеннические претензии по гарантии.

• Компьютерные прогнозные модели позволяют определить, кто должен находиться в тюрьме. Сотрудники судебно-пенитенциарной системы в штатах Орегон и Пенсильвания используют такие программы для оценки риска повторного совершения преступления и учитывают эти прогнозы при принятии решений об условно-досрочном освобождении и вынесении приговоров.

• Считается, что убийства в целом не поддаются прогнозированию со сколь-нибудь значимой степенью точности, но в рамках определенных групп риска предиктивные методики могут быть эффективны. В штате Мэриленд используется аналитическая система, выдающая прогнозы относительно того, кто из находящихся под надзором лиц может убить, а кто может быть убит. Университетские исследователи совместно с правоохранительными органами разработали прогнозные модели, способные предсказать вероятность рецидива среди тех, кто ранее был осужден за убийство.

• Один эксперт по борьбе с мошенничеством в крупном британском банке распространил свои разработки на сферу борьбы с терроризмом, выявив небольшую группу лиц, подозреваемых в преступных связях, на основе их банковских операций.

• В Чикаго, Мемфисе и Ричмонде (штат Вирджиния) полицейские усиленно патрулируют районы, где, по прогнозам, может произойти скачок уличной преступности.

• Вдохновленные детективным телесериалом «Обмани меня», где специалисты, изучая движение тела и мимику человека с целью распознать ложь, расследовали самые сложные преступления, исследователи из Университета Буффало создали компьютерную программу, способную выявить ложь с точностью 82 % на основе одного только движения глаз.

• В конце 1990-х годов, когда я работал преподавателем в Колумбийском университете, у меня была команда ассистентов, которые использовали компьютерную программу для проверки сотен домашних заданий по программированию на предмет выявления плагиата.

• Налоговое управление США прогнозирует, с какой вероятностью вы можете его обманывать.

Пределы и возможности прогнозирования

Экономист – это специалист, который назавтра узнает, почему не произошло то, что он предсказывал вчера.

Эрл Уилсон

Почему вы никогда не увидите заголовок «Экстрасенс выиграл в лотерею»?

Джей Лено

Все из перечисленных в предыдущем разделе достижений стали возможны благодаря прогнозированию, которое в свою очередь является результатом машинного обучения. Между всеми этими разнообразными примерами и научной фантастикой есть одно ключевое различие: они не вымышлены. И эти примеры – лишь скромный срез существующей ныне реальности. Можно с уверенностью сказать, что сила прогнозирования отныне всегда пребудет с нами.

Но не является ли такое утверждение чересчур смелым? В свое время датский физик Нильс Бор сказал: «Очень трудно сделать точный прогноз, особенно о будущем». В конце концов, возможно ли прогнозирование в принципе? Будущее покрыто мраком неизвестности, и неопределенность – единственное, в чем мы можем быть уверены.

Позвольте же мне немного рассеять перед вами туман в этой области. В принципе, точное прогнозирование невозможно. Даже погода прогнозируется всего лишь с 50 %-ной точностью, а предсказать поведение людей, будь то пациентов, клиентов или преступников, ничуть не проще.

Но есть и хорошая новость! Прогноз не должен быть точным на 100 %, чтобы представлять собой большую ценность. Например, одним из самых простых и эффективных применений технологии прогнозирования в коммерческой области является выбор целевой группы для прямой почтовой рассылки рекламных материалов. Если маркетологи могут выявить определенную группу людей, которые, скажем, отреагируют на эти материалы положительно с вероятностью в три раза большей, чем средний потребитель, компания может существенно сэкономить, удалив «не реагирующих» людей из списка рассылки. А эти люди, в свою очередь, выиграют оттого, что получат по почте меньше макулатуры.

Таким образом, бизнес уже давно использует эту игру с цифрами для массового маркетинга, деликатно, но весомо склоняя чащу весов на свою сторону, – и делает это без высокоточных прогнозов. На самом деле, чтобы прогнозирование имело практическую ценность, довольно и низкой точности. Если в среднем ответная маркетинговая реакция составляет 1 %, то в выделенной группе доля потенциальных покупателей увеличивается до 3 %. В данном случае мы не можем с уверенностью предсказать, отреагирует или нет каждый отдельно взятый адресат на рекламную рассылку. Но стоимость создается благодаря выявлению группы людей, которые – в совокупности – склонны вести себя определенным образом.

Это демонстрирует в общих чертах то, что я называю эффектом прогнозирования. Прогнозирование, даже не отличающееся высокой точностью, всегда лучше создает реальную стоимость, чем чистые догадки. Гораздо лучше иметь хотя бы смутное представление о том, что произойдет в будущем, чем пребывать в полной неизвестности.

Эффект прогнозирования: малым достигается многое.

Это первый из пяти эффектов, о которых рассказывается в этой книге. Вероятно, вы уже слышали об эффекте бабочки, эффекте Доплера и эффекте плацебо. Оставайтесь с нами, и вы узнаете также об эффекте данных, эффекте индукции, эффекте ансамбля и эффекте воздействия. Рассказ о каждом из них включает любопытные сведения из области науки и технологий: интуитивный взгляд, раскрывающий перед вами, как это работает и почему позволяет достигать успешных результатов.

Поле чудес

Люди… действуют на основе своих убеждений и предубеждений. Если вы сможете устранить то и другое и заменить их данными, вы получите реальное преимущество.

Майкл Льюис, из книги «Moneyball. Как математика изменила самую популярную спортивную игру в мире»

О какой области знаний или отрасли науки мы здесь говорим? Обучение тому, как прогнозировать на основе данных, иногда называют машинным обучением – но это преимущественно научный термин, который используется в исследовательских лабораториях, на научных конференциях и в университетах (например, в конце 1990-х я несколько раз вел курс по машинному обучению в Колумбийском университете). Хотя именно в этих академических кругах куются новые знания, это не то место, где шины соприкасаются с дорогой. Там, где машинное обучение находит реальное практическое применение – в коммерческой, промышленной и государственной сферах, – его называют иначе:

Прогнозная аналитика (ПА, англ. predictive analytics) – технология, опирающаяся на опыт (данные) для прогнозирования будущего поведения людей с целью принятия оптимальных решений.

Построенная на фундаменте компьютерных наук и статистики и активно развиваемая благодаря научно-исследовательским программам, прогнозная аналитика превратилась в самостоятельную дисциплину. Но ПА шагнула далеко за пределы теоретической науки и стала мощным практическим инструментом, оказывающим непосредственное влияние на нашу повседневную жизнь. Ежедневно она влияет на миллионы решений, касающихся того, кому позвонить, отправить почту, назначить диагностику или профилактические мероприятия, кого пригласить на свидание, предостеречь или посадить в тюрьму. ПА дает возможность принимать персонализированные решения в отношении каждого человека. Отвечая на массу мелких вопросов, ПА на самом деле может дать нам ответ на ключевой вопрос: как можно повысить эффективность всех этих многосложных функций в таких сферах, как государственное управление, здравоохранение, бизнес, правоохранительная и некоммерческая деятельность?

Таким образом, ПА кардинально отличается от стандартного прогнозирования (которое в английском языке называется словом forecasting). Последнее производит совокупные прогнозные оценки на макроскопическом уровне. Как будет развиваться экономика? Какой кандидат в президенты наберет больше голосов в Огайо? В то время как совокупная прогнозная оценка скажет вам, сколько стаканчиков мороженого будет куплено в штате Небраска в следующем месяце, ПА позволит узнать, какие именно жители Небраски вероятнее всего соблазнятся на эту покупку.

ПА является ведущим направлением в рамках растущей тенденции по принятию решений, «основанных на данных», опирающихся не на «чутье», а на объективные эмпирические факты. Но как только вы вступаете в эту область, вы тут же сталкиваетесь с массой замысловатых названий, таких как наука о данных, бизнес-аналитика, обработка больших данных и т. п. Хотя ПА входит в каждое из перечисленных определений, эти красочные термины имеют больше отношения к общей культуре и сферам профессиональной компетенции специалистов, занимающихся инновационными и творческими манипуляциями с данными, чем к конкретным технологиям или методам. Это многозначные термины; иногда они могут означать всего лишь стандартные отчеты в Excel – т. е. вещи важные и требующие значительного мастерства, но не опирающиеся на науку или сложную математику. Другими словами, в каждом конкретном случае их наполнение субъективно. Как однажды выразился Майк Лукидес, вице-президент инновационного издательства O’Reilly: «Наука о данных похожа на порнографию – когда видишь, понимаешь, что это». Еще один термин data mining – «извлечение знаний из данных», или интеллектуальный анализ данных – может использоваться как синоним прогнозной аналитики, но эта образная метафора может описывать и другие способы добычи знаний из данных, а также часто употребляется в более широком смысле.