Текст книги "Искусственный интеллект на службе бизнеса"

Помимо оттока клиентов машинное обучение улучшило прогнозирование во многих других сферах, от рынка до погоды.

Финансовый кризис 2008 года ознаменовал крах основанных на регрессии прогностических методов. Отчасти в кризисе виновны прогнозы вероятности дефолта по обеспеченным долговым обязательствам. В 2007 году агентства уровня Standard & Poor прогнозировали, что в ближайшие пять лет вероятность не получить доход по обязательствам с рейтингом ААА[27]27
  Рейтинг ААА – высший уровень рейтинга: финансовые обязательства будут выполнены при любых финансовых и экономических обстоятельствах эмитента. Прим. ред.


[Закрыть] составит 1 из 800. Пятью годами спустя больше одного из четырех обеспеченных долговых обязательств не принесли дохода. Изначальный прогноз оказался провальным, несмотря на обширные данные по предыдущим дефолтам.

Проблема заключалась не в недостатке данных, а в том, как аналитики использовали их для прогнозирования. Рейтинговые агентства исходили из моделей множественной регрессии, в которых цены на недвижимость на разных рынках друг с другом не сопоставлялись. В этом и состояла ошибка, и не только в 2007 году, но и раньше. Прибавьте сюда одновременное потрясение нескольких рынков недвижимости, и вероятность потерь на обеспеченных долговых обязательствах резко возрастает, даже если они распределены по многим городам США.

Аналитики создают регрессионные модели на основе гипотез о том, что именно (и с какими характеристиками) имеет значение, – для машинного обучения все это не нужно. Модели машинного обучения особенно хороши для вычленения полезных переменных из множества и определения, что не имеет значения, а что, как ни удивительно, наоборот. К сегодняшнему дню интуиция и гипотезы аналитиков утратили свою значимость. Таким образом, машинное обучение позволяет делать прогнозы на основе непредусмотренных сопоставлений, как, например, то, что цены на недвижимость в Лас-Вегасе, Фениксе и Майами изменятся одновременно.

Недавний прогресс в машинном обучении преобразовал применение статистики для прогнозирования. Последний рывок в развитии ИИ наводит на мысль, что машинное обучение – это всего-навсего «навороченная традиционная статистика». В каком-то смысле так и есть, поскольку цель та же – заполнение информационных пробелов. К тому же в процесс машинного обучения входит поиск решения с минимизацией ошибок.

Итак, за что же машинное обучение считается революционной вычислительной технологией и заслужило название «искусственный интеллект»? В некоторых случаях прогнозы настолько хороши, что их можно использовать вместо основанной на правилах логики.

Эффективная прогностика меняет компьютерное программирование. Ни традиционные статистические методы, ни алгоритмы «если, то» не работают в сложной среде настолько успешно. Хотите найти кошку на одном изображении из нескольких представленных? Уточните, что кошки бывают разного окраса и с шерстью длинной, короткой, курчавой и т. д. Они могут стоять, сидеть, лежать, прыгать, хмуриться, как Грампи-кэт, и находиться где угодно. Все сразу усложняется: даже для более или менее сносных результатов следует предусмотреть очень многое. И это только в отношении кошек. А если необходимо описать все объекты на изображении? Для каждого придется составлять отдельные спецификации.

Ключевая технология глубокого обучения основана на так называемом обратном распространении. С ним машина учится примерно так же, как наш мозг – на примерах (насколько искусственные нейроны похожи на настоящие – еще один интересный вопрос помимо достоинств технологии). Когда ребенка учат слову «кошка», то повторяют его каждый раз при появлении животного; в машинном обучении действует тот же самый принцип. Снабдите компьютер фотографиями кошек с названием «кошка» и фотографиями без кошек и, соответственно, без этого названия. Машина научится распознавать паттерны пикселей, связанные с названием «кошка».

При наличии фотографий с кошками и собаками связь между кошкой и четырехногим объектом укрепится, как и связь между ним же и собакой. Без дальнейших уточнений можно загрузить несколько миллионов разных изображений (в том числе без собак) с названиями, тогда у машины появится больше ассоциаций, и она научится отличать кошек от собак.

Большинство проблем перешли из алгоритмической категории («Каковы признаки кота?») в прогностическую («Есть ли на этом изображении без названия что-нибудь похожее на кошек, которых я уже видел?»). Для решения задач машинное обучение использует вероятностные модели.

Почему же технические специалисты называют машинное обучение интеллектом искусственным? Потому что его результат – прогноз – представляет собой ключевую составляющую интеллекта, точность прогнозов возрастает в процессе обучения, а высокая степень точности позволяет машинам выполнять задачи, которые до недавнего времени считались прерогативой человеческого интеллекта, – такие как распознавание объектов.

В книге «Об интеллекте»[28]28
  Хокинс Дж. Об интеллекте. М.: Вильямс, 2007.


[Закрыть] Джефф Хокинс одним из первых заявил, что прогноз являет собой основу человеческого интеллекта. Суть теории Хокинса такова: интеллект человека, лежащий в основе творческого начала и продуктивной деятельности, обусловлен тем, как мозг использует память для прогнозирования: «Мы осуществляем непрерывное прогнозирование на низком уровне всеми органами чувств одновременно. И это еще не все. У меня есть более серьезное предположение. Прогностика – не просто одна из функций мозга, это первичная функция неокортекса и базис интеллекта. Кора головного мозга является прогностическим органом»[29]29
  Hawkins, J., Blakeslee, S. On Intelligence. NY: Times Books, 2004. P. 89.


[Закрыть].

Хокинс считает, что наш мозг постоянно делает прогнозы относительно всего, что мы испытаем в ближайшие мгновения: что увидим, почувствуем или услышим. С развитием и взрослением прогнозы становятся все точнее и чаще всего сбываются. Если же нет, мы замечаем несоответствие между предполагаемым и произошедшим, информация поступает в мозг, который обновляет свои алгоритмы и таким образом учится и совершенствуется.

Теорию Хокинса воспринимают неоднозначно. Его идеи обсуждаются в психологической литературе, а многие IT-специалисты категорически отрицают утверждение о коре головного мозга как модели для прогностических машин. Предположение, что ИИ может пройти тест Тьюринга (на способность обмануть человека, убедив его, что тоже является человеком), пока еще далеко от реальности. Современные алгоритмы не умеют убеждать, к тому же с ними сложно вести переговоры для выяснения основания их прогнозов.

Независимо от того, насколько уместна аналогия Хокинса, его утверждение о прогностике как базисе интеллекта удобно для понимания значения недавнего развития ИИ. Мы хотим подчеркнуть огромные последствия усовершенствования прогностических технологий. Теперь до вдохновенных идей Дартмутского семинара 1956 года рукой подать. Прогностические машины различными способами могут «использовать язык, оперировать абстрактными понятиями, решать разные типы задач, которыми сейчас [в 1955 году. Прим. авт.] занимаются люди, и самосовершенствоваться»[30]30
  McCarthy & others. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence.


[Закрыть].

Мы не строим домыслов о том, возвещает ли этот прогресс появление общего ИИ – приход технологической сингулярности, подобной «Скайнет». Однако, как вы убедитесь, если пристально посмотрите на прогностику, грандиозные перемены в ближайшие несколько лет вполне реальны.

Так же как дешевая арифметика с распространением компьютеров ознаменовала волну перемен в деловой и частной жизни, аналогичные преобразования не заставят себя долго ждать с удешевлением прогнозов.

Интеллект это или нет, но в целом переход от детерминированного программирования к вероятностному произошел скачком, хотя и параллельно с прогрессом в общественных и естественных науках. Канадский философ Ян Макдугалл Хакинг в книге «Укрощение случайности» сказал, что до начала XIX века вероятность была прерогативой азартных игроков[31]31
  Hacking, I. The Taming of Chance. – Cambridge: Cambridge University Press, 1990.


[Закрыть]. С наступлением XIX века и ростом государственной статистики зарождающаяся вероятностная математика стала применимой к общественным наукам. В ХХ веке произошло фундаментальное изменение нашего понимания физики, и мы перешли от детерминистских ньютоновских взглядов к неопределенности квантовой механики. Важнейший прорыв XXI века в IT сравним с предыдущими достижениями в социальных и естественных науках: осознание того, что алгоритмы лучше работают с вероятностной структурой данных.

• Цели машинного обучения отличаются от статистических. Статистика стремится к точности среднего показателя, в машинном обучении этого не требуется. Его цель – практическая эффективность. Смещение прогнозов допускалось при условии, что они были точнее (что стало возможным из-за увеличения мощности компьютеров). Это дало ученым простор для экспериментов и быстро принесло улучшения, благодаря которым стало возможным воспользоваться преимуществами большого объема данных и быстродействующих компьютеров, появившихся в последние годы.

• В традиционных статистических методах для спецификаций модели необходимы сформулированные гипотезы или, по крайней мере, человеческая интуиция. Машинное обучение не требует предварительной спецификации и вмещает в себя эквиваленты гораздо более сложных моделей с большим количеством взаимодействий между переменными.

• Прогресс машинного обучения называют достижением ИИ, поскольку:

• основанные на данном методе системы учатся и постепенно совершенствуются;

• системы выдают значительно более точные прогнозы, чем другие при аналогичных условиях, а некоторые специалисты считают прогностику базисом интеллекта;

• повышенная точность прогнозов таких систем позволяет им выполнять задачи, такие как языковой перевод и навигация, ранее считавшиеся прерогативой исключительно человеческого интеллекта.

• По поводу связи между прогнозом и интеллектом мы придерживаемся агностической точки зрения. Ни одно из наших заключений не основано на позиции, утверждающей, что достижения прогностики представляют собой интеллектуальные достижения. Мы рассматриваем последствия удешевления прогнозов, а не интеллекта.

Глава 3. Данные – это новая нефть

Хэл Вариан, ведущий экономист Google, в обращении к Роберту Гойцуэте из Coca-Cola сказал в 2013 году: «Миллиард лет назад появился современный “человек разумный”. Миллиард минут назад зародилось христианство. Миллиард секунд назад выпустили IBM PC. А миллиард поисковых запросов назад… наступило сегодняшнее утро»[32]32
  Varian, H. Beyond Big Data / lecture. National Association of Business Economists, San Francisco. 2013, September 10.


[Закрыть]. И Google – не единственная компания с неохватным объемом данных. Для всех, от гигантов вроде Facebook и Microsoft до местных государственных органов и стартапов, сбор данных стал проще и дешевле, чем когда-либо. Эти данные обладают ценностью. Миллиарды поисковых запросов – это миллиарды строк данных, с которыми Google совершенствует свои службы. Данные даже называют «новой нефтью».

Прогностические машины полагаются на данные. Чем их больше и чем они лучше, тем качественнее прогнозы. Выражаясь языком экономистов, данные остаются ключевым компонентом прогнозирования, их ценность растет с удешевлением прогнозов.

В ИИ данные представлены в трех ипостасях. Первая – входные данные, которые загружаются в алгоритмы и используются для прогнозирования. Вторая – обучающие данные, необходимые для создания самих алгоритмов; с их помощью ИИ учится прогнозировать в реальной среде. И наконец, существуют также данные обратной связи, призванные постепенно улучшить эффективность алгоритмов. В некоторых случаях виды данных пересекаются, например одна и та же информация выполняет все три роли.

Но сбор данных может стоить дорого, следовательно, объем капиталовложений рассчитывается исходя из компромисса между выгодой от получения дополнительных данных и затратами на них. Чтобы принять оптимальное решение по инвестированию средств в данные, необходимо понимать, как машины их используют.

До недавнего ажиотажа вокруг ИИ возникало много шумихи по поводу большого объема данных. Их разнообразие, количество и качество заметно выросли за последние 20 лет. Изображения и тексты переводят в цифровую форму, чтобы машины могли их анализировать. Все оснащено датчиками. Такой активный интерес основан на возможности этих данных помочь людям снизить неопределенность и оставаться в курсе происходящего.

Рассмотрим улучшенные датчики сердечного ритма. Многочисленные компании и некоммерческие организации с медицинскими названиями, такие как AliveCor и Cardiio, разрабатывают продукты, использующие данные о сердечном ритме. Например, стартап Cardiogram сделал приложение для iPhone, которое получает показатели сердечного ритма от Apple Watch и выдает огромный объем информации: посекундные замеры частоты сердцебиения. Пользователи могут отслеживать, не подскакивает ли она в течение дня и повысилась или уменьшилась за год или даже за десять лет.

Изобилие данных и возможности прогностических машин открывают подобным разработкам широкие перспективы. Научные и производственные исследователи продемонстрировали, как смартфоны прогнозируют нарушения сердечного ритма («мерцательную аритмию», как говорят медики)[33]33
  Chan, N., Choy, Ch. Screening for Atrial Fibrillation in 13,122 Hong Kong Citizens with Smartphone Electrocardiogram // BMJ 103. 2017. № 1. January // http://heart.bmj.com/content/103/1/24; Buhr, S. Apple’s Watch Can Detect an Abnormal Heart Rhythm with 97 % Accuracy, UCSF Study Says // Techcrunch. 2017. May 11 // https://techcrunch.com/2017/05/11/apples-watchcan-detect-an-abnormal-heart-rhythm-with-97-accuracy-ucsf-study-says; AliveCor & Mayo Clinic Announce Collaboration to Identify Hidden Health Signals in Humans // Cision PR newswire. 2016. October 24 // http://www.prnewswire.com/news-releases/alivecor-and-mayo-clinic-announce-collaboration-toidentify-hidden-health-signals-in-humans-300349847.html.


[Закрыть]. Продукты, разрабатываемые Cardiogram, AliveCor и Cardiio с помощью прогностических машин, используют данные о сердечном ритме, необходимые для диагностики кардиологических заболеваний. Общий подход компаний заключается в том, чтобы на основе выявленных данных прогнозировать информацию о наличии у пользователя отклонений в работе сердца.

Без входных данных прогностические машины не смогут работать, поэтому их называют просто «данными», в отличие от обучающих и данных обратной связи.

Неподготовленные пользователи не улавливают в необработанных данных связи между информацией о частоте сердечных сокращений (ЧСС) и нарушением сердечного ритма. А приложение Cardiogram выявляет его с 97 %-ной точностью благодаря работе глубокой нейронной сети[34]34
  Buhr, S. Apple’s Watch Can Detect an Abnormal Heart Rhythm with 97 % Accuracy, UCSF Study Says; Singh, A. Applying Artifi cial Intelligence in Medicine: Our Early Results // Cardiogram (blog), May 11 // https://blog.cardiogr.am/applying-artificial-intelligence-in-medicine-our-earlyresults-78bfe7605d32/.


[Закрыть]. Отклонения в работе сердца становятся предвестниками 25 % всех инфарктов, а усовершенствования анамнеза позволят врачам вовремя назначить лечение. Для профилактики инфаркта существуют лекарства.

Но для этого потребители должны предоставить сведения о своем сердечном ритме. Машина не сможет прогнозировать риски для конкретного человека, не имея о нем необходимой информации. При наличии у прогностической машины индивидуальных данных человека она выдаст прогноз вероятности нарушений сердечного ритма.

Нынешнее поколение технологий ИИ не без причины называется «машинным обучением». Оно учится на данных. В только что описанном примере машина для составления прогноза нарушений сердечного ритма (и вероятности развития инфаркта) устанавливает связь между ЧСС и случаями диагностированной мерцательной аритмии. Для этого она сопоставляет входные данные Apple Watch – их статистики называют «независимыми переменными» – с информацией о нарушениях сердечного ритма («зависимой переменной»).

Чтобы обучить машину, информация о нарушениях сердечного ритма должна исходить от тех же людей, что входные данные Apple Watch. Другими словами, прогностической машине необходимы данные о большой выборке людей с нарушениями сердечного ритма наряду с полученными от них данными. Кроме того (и это важно), необходимы также аналогичные показатели большой выборки людей, не страдающих кардиологическими заболеваниями. Прогностическая машина сравнивает данные обеих групп, на основании чего выдает прогноз. И если паттерн сердечного ритма нового пациента ближе к данным «обучающей» выборки людей с нарушениями, то машина прогнозирует у него нарушение сердечного ритма.

Как и большинство медицинских приложений, Cardiogram собирает данные научных исследований с участием шести тысяч пользователей. Из них примерно у двухсот человек уже диагностировано нарушение сердечного ритма, Cardiogram остается только получить с помощью Apple Watch данные и сравнить их с предыдущими показателями.

Такие продукты продолжают совершенствовать точность прогнозов даже после выпуска. Прогностическим машинам необходимы данные обратной связи о корректности прогнозов: в данном случае это частота нарушений сердечного ритма среди пользователей продукта. Машина объединяет эти данные со входными данными кардиомониторинга и на основе полученной информации непрерывно повышает качество прогнозов.

Однако добыть обучающие данные не всегда легко. Для прогноза одной группы (в нашем случае это пациенты с риском сердечных заболеваний) необходима информация как о потенциальном риске (нарушении сердечного ритма), так и о том, что необходимо для уточнения прогноза данного прецедента в новом контексте (кардиомониторинг).

Еще сложнее, когда прогноз касается будущих событий. Вы можете предоставить прогностической машине подтвержденную информацию только на настоящий момент. Скажем, вы надумали купить билет на игры любимой команды на следующий сезон. В Торонто большинство болеет за местную хоккейную команду Maple Leafs. Вы хотите ходить только на матчи, в которых любимая команда победит, и не желаете платить за проигрышные. Вы решили, что стоит купить билет только в случае, если команда в следующем году выиграет минимум половину матчей. Но для этого вам необходимо спрогнозировать количество побед.

В хоккее выигрывает команда, загнавшая больше шайб в ворота противника. Поэтому вы предполагаете, что команда, забивающая больше голов, побеждает чаще. Вы загружаете в прогностическую машину данные за прошлые сезоны: сколько каждой команде засчитали голов, сколько она пропустила, каково количество побед каждой команды. Вам кажется, что это великолепный способ прогнозировать вероятность победы. Теперь вы собираетесь таким же образом прогнозировать количество выигрышей на следующий год.

Но ничего не выйдет, поскольку это невозможно. У вас нет информации о том, как сыграет команда в предстоящем сезоне, следовательно, вы не узнаете ничего о предстоящих спортивных победах или поражениях. У вас есть данные за прошлый сезон, но они не пригодятся, потому что вы научили машину прогнозировать по данным за текущий год.

Для вашего прогноза необходимы данные, доступные на момент прогнозирования. Возможно переучить прогностическую машину использовать забитые в прошедшем году шайбы для прогнозирования предстоящих побед. Можно добавить другую информацию, например о выигранных ранее матчах или возрасте игроков команды и качестве их игры.

Так работают многие коммерческие приложения ИИ: для создания прогностической машины берут входные данные вместе с критериями исходов, а затем используют входные данные новой ситуации для прогнозирования ее исхода. Если вы располагаете данными по исходам, то ваша прогностическая машина может непрерывно обучаться на данных обратной связи.

Сбор информации нередко стоит дорого, но прогностические машины иначе работать не могут. Исходные данные необходимы для их создания, функционирования и совершенствования.

Следовательно, нужно найти решение относительно масштаба и диапазона приобретаемых данных. Сколько разных типов данных вам понадобится? Сколько различных объектов требуется для обучения? Как часто вам необходимо собирать данные? Большее число типов, объектов и частый сбор означают, что цена будет выше, но и выгода тоже увеличится. Взвешивая решение, следует тщательно продумать, что именно вы собираетесь прогнозировать. Конкретные предсказательные задачи подскажут ответ.

Программа Cardiogram разработана для прогнозирования риска развития и возникновения инфарктов. Нарушения сердечного ритма в ней использовались в качестве индикатора (подтвержденного медициной)[35]35
  Мы не знаем, станет ли успешным именно Cardiogram, однако уверены, что смартфоны и другие датчики в перспективе будут использоваться для медицинской диагностики.


[Закрыть]. В качестве цели установили выявление нарушений, после чего оставалось только получить данные о ЧСС пользователей. Могли также использоваться данные о сне, физической активности, родственниках, истории болезни и возрасте. После получения данной информации приложению требовался всего один прибор, точно измеряющий единственный параметр – ЧСС.

Данные были необходимы Cardiogram и для обучения – в базе состояло шесть тысяч человек, и некоторые из них страдали нарушениями сердечного ритма.

Несмотря на обилие датчиков и разнообразие потенциально доступных данных о пользователях, по большинству людей Cardiogram собирала немного информации. И доступ требовался только к данным об отклонениях сердечного ритма у людей из обучающей ИИ выборки. Таким образом, количество переменных оказалось относительно малым.

Для качественного прогноза в распоряжение машины должны быть предоставлены обучающие данные по достаточному количеству людей (или единиц анализа). Количество зависит от двух факторов: первый – стабильность «сигнала» по отношению к «шуму», второй – насколько точным должен быть прогноз, чтобы он имел смысл. Иными словами, требуемое количество людей зависит от того, считаем мы ЧСС сильным или слабым прогностическим критерием нарушений сердечного ритма, и того, насколько дорого обойдется ошибка. Если ЧСС считается сильным прогностическим критерием, а ошибки не принесут проблем, то достаточно нескольких человек. Если же это слабый критерий или любая ошибка может стоить жизни, то необходимы тысячи людей, а лучше миллионы. В предварительном исследовании Cardiogram, как мы уже говорили, использовалась выборка из шести тысяч человек, в том числе двухсот с нарушениями сердечного ритма. Впоследствии сбор дополнительной информации осуществлялся посредством обратной связи о том, диагностировано ли у пользователей нарушение сердечного ритма.

Почему именно шесть тысяч? Специалисты по обработке и анализу данных пользуются отличным инструментарием для получения необходимого объема информации с учетом желаемой надежности и степени точности прогноза. Эти инструменты называют «расчетом мощности» – они сообщают, сколько единиц требуется для проведения анализа, с тем чтобы прогноз имел смысл[36]36
  Шесть тысяч – относительно малая выборка для такого исследования, поэтому мы и назвали его «предварительным». Данных было достаточно для изначальной цели Cardiogram, поскольку предварительное исследование проводилось для доказательства действенности концепции: жизням пациентов ничто не угрожало. Чтобы результаты принесли практическую пользу, данных понадобится гораздо больше.


[Закрыть]. Очевидно, придется искать компромисс: для более точного прогноза необходимо больше анализируемых показателей, а они могут дорого стоить.

Cardiogram требует постоянного сбора данных – посекундного, – и для этого используется Apple Watch: ритм сердечных сокращений варьируется в течение дня, а для точности измерений необходим многократный анализ того, насколько измеренный показатель типичен для конкретного человека. Алгоритмы Cardiogram используют устойчивый поток данных от устройства, которое человек постоянно носит на теле, в противовес результатам отдельных измерений при посещении врача.

Сбор данных потребовал существенных вложений. Пациенты постоянно носили устройства, что не всегда удобно в повседневных действиях (особенно тем, у кого нет Apple Watch). Поскольку речь шла о здоровье, было необходимо соблюдать конфиденциальность, и Cardiogram разрабатывалась с ее учетом, что повысило расходы и снизило способности машины совершенствоваться при помощи обратной связи. Она собирала данные для прогнозов посредством приложения, а все данные хранились на устройстве.

Далее мы обсудим разницу между статистическим и экономическим подходами к количеству требуемой информации. (Вопросы конфиденциальности мы рассмотрим вместе со стратегиями в части IV.)