Текст книги "Искусственный интеллект на службе бизнеса"

Возможно, самый большой недостаток прогностических машин заключается в неверных прогнозах, причем обоснованных. Как мы уже обсудили, в случае известных неизвестных люди предполагают неточности в прогнозе: он выдается с доверительным интервалом, из чего следует вероятность погрешностей. О неизвестных неизвестных люди ничего не знают. При наличии же неизвестных известных прогностическая машина выдает точный прогноз, но он может быть очень далек от истины.

Почему так получается? Дело в следующем: хотя решения и выносят исходя из данных, но и данные иногда получают посредством решений. Если машина не понимает процесса принятия решений для получения данных, то ее прогноз неточен. К примеру, вы хотите прогнозировать, будете ли использовать прогностическую машину в своей организации. Считайте, что она у вас уже есть. Если вы читаете эту книгу, то почти наверняка обзаведетесь прогностической машиной.

Вы так поступите по меньшей мере по трем причинам. Первая и самая непосредственная – изложенные в книге идеи покажутся многообещающими: читая, вы больше узнаете о прогностических машинах и, следовательно, захотите повысить с их помощью эффективность своего бизнеса.

Вторая причина называется «обратной причинностью». Вы читаете эту книгу потому, что у вас уже есть прогностическая машина или вы собираетесь в скором времени приобрести ее. Не книга привела к применению технологий, а применение технологий (в настоящее время), наоборот, привело к чтению книги.

Третья причина называется «пропущенной переменной». Вы интересуетесь техническими новинками и занимаете руководящую позицию, поэтому решили прочитать книгу. В работе вы применяете новые технологии, в том числе прогностические машины. В этом случае ваша склонность к технологиям и управлению становится причиной и чтения книги, и использования прогностических машин.

Причина не всегда существенна. Если нужно знать, воспользуется ли читатель прогностическими машинами, то неважно, что будет причиной, а что – следствием. Если вы видите человека, читающего эту книгу, можете обоснованно прогнозировать, что он внедрит прогностические машины в свой рабочий процесс.

Но иногда причина все же имеет значение. Вы порекомендуете эту книгу друзьям в случае, если благодаря ей повысите свое мастерство в качестве менеджера в сфере прогностических машин. Что вы хотели бы узнать? Сначала вы прочитаете книгу. Затем попробуете заглянуть в будущее и посмотреть, насколько хорошо пойдет работа с ИИ. Предположим, вы увидели радужные перспективы и замечательно преуспели на поприще прогностических машин: они играют главную роль в вашей организации, и вы добились больших успехов, чем в самых смелых мечтах. Можно ли сказать, что книга привела вас к этому?

Нет.

Если вы хотите убедиться в том, что такое влияние оказала именно книга, необходимо знать, что случилось бы, если бы вы ее не читали. Но таких данных у вас нет. Следует рассмотреть «отсутствие вмешательства», как говорят экономисты и статистики: что произошло бы, если бы вы предприняли иные действия. Для утверждения, что действие служит причиной результата, требуется два прогноза: первый – что будет, если предпринять это действие, и второй – что будет, если предпринять другое действие. Но это невозможно. У вас никогда не появится данных о последствиях того, чего вы не делали[57]57
  Rubin, D. Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies // The Journal of Educational Psychology 66. 1974. № 5. P. 688–701; Neyman, J. Sur les applications de la theorie des probabilites aux experiences agricoles: Essai des principes / master’s thesis, 1923 / excerpts reprinted in English, Dabrowska, D. M. & Speed, T. P. / translators // Statistical Science 5. 1923. P. 463–472.


[Закрыть].

Это хроническая проблема прогностических машин. В книге Deep Thinking Гарри Каспаров обсуждает похожие проблемы первых алгоритмов машинного обучения в шахматах: «В начале 1980-х Мичи с коллегами написали экспериментальную шахматную программу машинного обучения, основанную на данных. Результат оказался очень забавным. Они загрузили в машину сотни тысяч позиций гроссмейстерских игр в надежде, что она разберется, какие ходы удачные и какие нет. Сначала вроде бы все получалось. Анализ позиций был точнее, чем у других программ. Проблемы начались, когда машина начала сама играть в шахматы. Она сделала несколько ходов, пошла в атаку и сразу же пожертвовала ферзем! Через пару ходов она проиграла, отдав ферзя без всякой причины. Почему? Когда гроссмейстер жертвует ферзем, обычно это ловкое и продуманное решение. Обучаясь на одних только гроссмейстерских играх, машина сделала вывод, что выигрывает тот, кто остается без ферзя!»[58]58
  Kasparov, G. Deep Thinking. NY: Perseus Books, 2017. P. 99–100.


[Закрыть]

Машина неверно истолковала причинно-следственную связь. Не понимая, что гроссмейстер жертвует ферзем только в случае, если это прямой и верный путь к победе, она сделала вывод, что игрок побеждает вскоре после того, как отдаст ферзя, то есть ошибочно связала потерю шахматной фигуры и победу. Данную проблему прогностические машины решили, но обратная причинность остается слабым местом этих технологий.

В бизнесе такие задачи тоже встречаются. В большинстве сфер низким ценам сопутствует падение продаж. Например, в гостиничном бизнесе в несезонное время цены снижаются, но вырастают, когда спрос большой и отели переполнены. На основании таких данных машина может наивно предположить, что если поднять цены, то повысится спрос. Человек – хотя бы с минимальными познаниями в экономике – понимает, что рост цен служит следствием повышения спроса, а не наоборот. То есть, если поднять цены, продажи не вырастут.

Человек может предоставить машине верные данные (например, предложения индивидуального комфорта гостиничного номера исходя из цены) и соответствующие модели (с учетом сезонного спроса, а также других требований и предложений), чтобы лучше прогнозировать продажи по различным ценам. Для машины это неизвестные известные, но человек, разбирающийся в ценообразовании, воспринимает их как известные неизвестные или даже известные известные, если способен принимать решения по ценам самостоятельно.

Проблема с неизвестными известными и причинно-следственная зависимость становятся еще важнее в присутствии стратегического поведения других людей. Поиск Google работает по секретным алгоритмам. Они создаются с помощью прогностических машин, прогнозирующих, на какую ссылку пользователь нажмет с наибольшей вероятностью. Для администратора веб-сайта высокое ранжирование означает больше посетителей и продаж. Большинство администраторов знают об этом и делают оптимизацию в поисковых системах: стараются повысить рейтинг сайта в результатах поиска Google. Оптимизация, как правило, заключается в построении обходных путей существующих алгоритмов, в результате чего со временем поисковая машина замусоривается спамом и неинтересными пользователю ссылками.

Прогностические машины великолепно выполняют краткосрочные задачи – прогнозируют, на какую ссылку нажмут пользователи. Но через недели и месяцы обмануть систему ухитряется так много администраторов, что Google приходится постоянно обновлять прогностическую модель. Такое «перетягивание каната» между поисковой машиной и спамерами обусловлено возможностью обмануть прогностическую машину. Google пыталась разработать систему, в которой это было бы невыгодно, и попутно обнаружила, что полностью полагаться на прогностические машины неразумно. По этой причине Google начала использовать человеческие суждения для реоптимизации от подобного спама[59]59
  Google Panda // https://en.wikipedia.org/wiki/Google_Panda. 2017. July 26. Most notably as described in Google webmasters, «What’s It Like to Fight Webspam at Google?» // YouTube. 2014. Febuary 12 // https://www.youtube.com/watch?v=rr-Cye_mFiQ/.


[Закрыть]. Instagram тоже постоянно борется со спамерами и возмутительной информацией обновлением алгоритмов для их отсева[60]60
  Например, сделанные в сентябре 2016 года изменения: Nagesh, A. Now You Can Finally Get Rid of All Those Instagram Spammers and Trolls // Metro. 2016. September 13 // http://metro.co.uk/2016/09/13/now-you-can-finallyget-rid-of-all-those-instagram-spammers-and-trolls-6125645$; Vanian, J. Instagram Turns to Artificial Intelligence to Fight Spam and Offensive Comments // The Fortune. 2017. June 29 // http://fortune.com/2017/06/29/instagram-artificial-intelligence-offensivecomments/.
  Сложность использования прогностических машин с учетом наличия стратегически важных действующих лиц – давняя проблема. В 1976 году Роберт Лукас высказался на эту тему в отношении макроэкономической политики инфляции и других экономических индикаторов. Если после перемен в политике людям будет выгодно изменить свое поведение, они так и сделают. Лукас подчеркнул: хотя при росте инфляции уровень занятости сохранялся высоким, если бы центральный банк решил перейти к политике роста инфляции, люди могли бы предвидеть это, и взаимоотношения бы разрушились. Поэтому он утверждает, что вместо основанной на экстраполяции от исторических данных политики следует исходить из понимания соответствующих мотивов поведения. Данная теория называется «Критикой Лукаса». См. Lucas, R. Econometric Policy Evaluation: A Critique // Carnegie-Rochester Conference Series in Public Policy 1. 1976. № 1. P. 19–46 // https://ideas.repec.org/a/eee/crcspp/v1y1976ip19-46.html.
  Экономист Тим Харфорд описал это по-другому: Форт-Нокс ни разу не подвергался ограблениям. Сколько нужно вкладывать в его защиту? Поскольку ограблений не было, траты на обеспечение безопасности не снизят их вероятность. Прогностическая машина порекомендовала бы ничего не вкладывать. Зачем тратить деньги, если обеспечение безопасности не влияет на частоту ограблений? Harford, T. The Undercover Economist Strikes Back: How to Run – or Ruin – an Economy. NY: Riverhead Books, 2014.


[Закрыть]. Вообще, как только эту проблему осознали, она перестала быть неизвестной известной: люди находят решение для улучшения прогноза, чтобы проблема стала известной известной, иногда требующей совместной работы человека и машины, либо не могут найти решения, и тогда проблема переходит в разряд известной неизвестной.

Возможности прогностических машин огромны, но не беспредельны. Они не очень хорошо работают с ограниченным объемом данных.

Квалифицированные специалисты способны разглядеть причину затруднений машины, будь то недостаток событий или причинно-следственные проблемы, и улучшить прогнозы. Но для этого нужно разбираться в IT очень хорошо.

Иногда в результате сотрудничества людей и машин, компенсирующего слабые стороны друг друга, получаются более точные прогнозы. В 2016 году команда исследователей ИИ из Гарварда и Массачусетского технологического института получила главный приз в конкурсе Camelyon Grand Challenge за компьютерную диагностику метастатического рака молочной железы по слайдам биопсии. Алгоритм глубокого обучения выдавал верный прогноз в 92,5 % случаев, а врач клинической лабораторной диагностики – в 96,6 %. Казалось бы, человек победил, но исследователи пошли дальше и объединили прогнозы алгоритма и врача. В результате точность повысилась до 99,5 %[61]61
  Wang D, & oth. Deep Learning for Identifying Metastatic Breast Cancer // Camelyon Grand Challenge. 2016. July 18 // https://arxiv.org/pdf/1606.05718.pdf.


[Закрыть]. Процент ошибок человека таким образом упал с 3,4 до 0,5 %, то есть на 85 %.

Это классическое разделение труда, но не физического, описанного Адамом Смитом, а когнитивного, о котором экономист и первооткрыватель компьютеров Чарльз Бэббидж писал в XIX веке: «Разделение труда, как механического, так и мыслительного, позволяет осваивать и применять точно такой объем знаний и навыков, который для него требуется»[62]62
  Babbage, Ch. On the Economy of Machinery and Manufactures. London: Charles Knight Pall Mall East, 1832. P. 162.


[Закрыть].

Людям и машинам лучше всего удаются разные аспекты прогнозов. Врач редко ошибается, диагностируя рак. С другой стороны, ИИ точнее определяет отсутствие онкологического заболевания, то есть человек и машина совершают разные типы ошибок. Различие в способностях учли при их объединении с прогностической целью, человек и машина компенсировали недостатки друг друга, и в результате процент ошибок существенно снизился.

Как такое сотрудничество применимо в сфере бизнеса? Машинный прогноз может повысить прогностическую эффективность человека двумя способами. Первый – машинный прогноз проверяет человек и сравнивает со своей оценкой. Второй способ предполагает проверку человеческого прогноза машинным, для контроля над решениями людей. Таким образом, начальник будет уверен, что сотрудник старается составить качественный прогноз. Если же его не контролировать, он не всегда будет прилагать максимальные усилия. Теоретически человек, который должен обосновать, почему его предположения отличаются от прогноза беспристрастных алгоритмов, возьмет над машиной верх только в случае, если приложит достаточно усилий, чтобы быть уверенным в своем прогнозе.

Отличная сфера для проверки совместной работы – прогноз платежеспособности заемщиков. Ученые-экономисты профессор Дэниел Паравизини и Антуанетта Шоар после введений новой системы рейтинга кредитоспособности проверяли оценку центрального банка Колумбии в отношении подавших заявку на кредит на организацию малого бизнеса[63]63
  Paravisini, D., Schoar, A. The Incentive Effect of IT: Randomized Evidence from Credit Committees / working paper 19303 // National Bureau of Economic Research. 2013. August.


[Закрыть]. В компьютерную систему ввели разнообразную информацию о заявителях, и она выдала оценку предполагаемого риска. Затем сотрудники кредитного комитета банка сопоставляли эти результаты с собственными предположениями и одобряли, отказывали или передавали заявку региональному руководству.

Порядок рассмотрения машинного прогноза до или после вынесения решения определялся не распоряжением менеджеров, а рандомизированным контролируемым испытанием. Таким образом можно было научно обосновать влияние рейтинга на принятие решения. Одной группе сотрудников его сообщили непосредственно перед их встречей для вынесения решения (аналогично первому способу сотрудничества людей и машин, в котором люди выносят решения на основании машинного прогноза). Другой группе о рейтинге не говорили, пока они не закончили работу над собственным анализом (пример второго способа, в котором прогноз помогает следить за качеством решений, принятых людьми; разница между способами состоит в том, как люди принимают собственное решение – на основании прогноза или без него).

Рейтинг принес пользу в обоих случаях, но все же она оказалась гораздо большей, когда информацию предоставляли заранее. Комитет выносил оптимальные решения и обращался за помощью к руководству реже, благодаря прогнозу сотрудники располагали достаточно полным объемом информации.

У второй группы, участникам которой рейтинг сообщали после того, как они дадут свою оценку, тоже улучшилось качество принятых решений, потому что прогнозы помогли руководству контролировать их работу. У сотрудников появился стимул стремиться к высокому качеству решений.

В прогностической паре «человек – машина» для улучшения прогнозов требуется понимание пределов возможностей обоих. В примере с заявками на кредит люди склонны к смещенным прогнозам или прилагают недостаточные усилия. Машинам же может не хватать информации. В коллективах часто делается упор на командную работу и сплоченность, но работа машины и человека бок о бок пока непривычна. Чтобы людям удалось улучшить качество прогнозов машин и наоборот, важно знать слабые стороны тех и других и строить их совместную работу таким образом, чтобы они компенсировали недостатки друг друга.

Одно из основных преимуществ прогностических машин заключается в возможности экономии на масштабе. Минус же их – в том, что они не умеют прогнозировать необычные ситуации с недостаточным количеством прецедентов. Если сложить то и другое, получается, что сотрудничество людей и машин оптимально для «прогноза исключений».

Как мы уже говорили, прогностические машины учатся на больших объемах данных, накопленных для привычных, часто встречающихся ситуаций, и в таких случаях они не требуют участия человека. Но как только появляются исключения – нестандартные ситуации, – подключаются люди и вносят свой вклад в качество и точность прогноза. Пример с кредитным комитетом центрального банка Колумбии как раз и есть такой «прогноз исключений».

Это название происходит от метода «управление исключениями». В прогностике человек во многих смыслах становится руководителем машины. У него много сложных задач; для экономии времени нужно наладить работу машины так, чтобы она требовала внимания только в случае необходимости. Если непосредственно контактировать с машиной можно нечасто, значит, один человек без затруднений использует ее преимущества для рутинных прогнозов.

На прогнозе исключений основан первый продукт Chisel (его мы упоминали в начале главы): он использовался для распознавания конфиденциальной информации, подлежащей редактированию в документах. Необходимость в трудоемкой процедуре возникает во многих юридических ситуациях, когда документ оглашается третьим сторонам или публично при условии частичного сокрытия информации.

Для первичной обработки текста в редакторе Chisel применялся прогноз исключений, когда пользователь может выбирать усиленный или легкий режим[64]64
  Разделение труда по «первичной обработке» наблюдается во многих случаях использования прогностических машин. Внутренний ИИ Washington Post в 2016 году написал 850 статей, но каждую перед публикацией проверял человек. Аналогичный процесс применяла ROSS Intelligence для анализа тысяч юридических документов, сокращаемых до объема кратких резюме. См. Katz, M. Welcome to the Era of the AI Coworker // Wired. 2017. November 15 // https://www.wired.com/story/welcome-to-the-era-of-the-ai-coworker/.


[Закрыть]. В усиленном режиме порог предполагаемой для скрытия информации выше, чем в легком. Например, если вы беспокоитесь, что редактор пропустит конфиденциальную информацию, то выбираете усиленный режим, а если нужно раскрыть максимум информации – настраиваете слабый. У Chisel удобный для просмотра и подтверждения результатов интерфейс. Иными словами, машинная редакция выдавала скорее рекомендательный, чем окончательный вариант. Последнее слово оставалось за человеком.

В продукте Chisel предпринята попытка преодолеть недостатки человека и машины с помощью их сотрудничества. Машина работает быстрее и обеспечивает логичный подход, а человек вмешивается, если у нее недостаточно данных для составления точного прогноза.

• Люди, в том числе профессионалы в какой-либо области, в определенных условиях неспособны давать точный прогноз. Они часто переоценивают очевидное и не учитывают статистические свойства. Эти несовершенства подтверждены многочисленными научными исследованиями; на них построен сюжет художественного фильма «Человек, который изменил все».

• В прогностике машины и человека есть свои сильные и слабые стороны. Машины постоянно совершенствуются, что требует изменений в сфере разделения труда. Прогностические машины лучше людей анализируют сложные взаимодействия между разными признаками, особенно при наличии большого объема данных. Поскольку многоплановость таких взаимодействий возрастает, способность человека к составлению точных прогнозов снижается по сравнению с машинами. Однако человек превосходит их в случаях, когда понимание происхождения данных дает прогностическое преимущество, особенно при скудном объеме данных. Мы классифицировали условия прогноза (известные известные, известные неизвестные, неизвестные известные и неизвестные неизвестные) для удобства выбора подходящей схемы разделения труда.

• Прогностические машины позволяют экономить на масштабе. Цена за единицу прогноза падает с повышением частоты прогнозов. С человеческими прогнозами все по-другому. Однако люди придерживаются когнитивной модели всего происходящего в мире и поэтому могут делать прогнозы исходя из ограниченного объема данных. Это предвещает распространение «человеческого прогноза исключений», поскольку прогнозы машин по большей части основаны на рутинных данных о регулярно повторяющихся событиях, а в нетипичных ситуациях машина не способна на точный прогноз – и тогда ей требуется помощь человека. Человек обеспечивает прогноз исключений.

Часть II. Принятие решений

Глава 5. Анализ решений

Под принятием решений обычно подразумевают нечто важное: покупать ли дом, куда пойти учиться, вступать ли в брак. Несомненно, что такие шаги играют в жизни важную роль, но раздумывать над ними приходится нечасто.

Мы постоянно совершаем менее значимый выбор: остаться ли сидеть в кресле, продолжать ли идти вперед по улице, оплачивать ли ежемесячный счет. Как утверждала популярная канадская группа Rush в гимне свободе воли, «если отказываешься принимать решения, это тоже решение». Большинство мелких решений принимаются автоматически, как правило, по умолчанию, чтобы сохранить ресурсы для важного выбора. При этом решить ничего не решать – тоже решение.

Принятие решений лежит в основе любой деятельности. Школьные учителя решают, как учить детей, каждый из которых обладает собственной индивидуальностью. Менеджеры решают, кого нанимать в команду и кого повышать. Работники жилищно-эксплуатационных контор решают, как поступать в случае протечки канализации или угрозы безопасности жильцов дома. Водители грузовиков решают, что делать, если перекрыта трасса или произошло ДТП. Полицейские выбирают, как действовать по отношению к подозрительным личностям или при поступлении сигнала об опасности. Врачи решают, какое лекарство прописать, когда и как его назначать, какие необходимы медицинские обследования. Родители решают, сколько часов в день дети могут проводить за компьютером.

Такие решения, как правило, приходится принимать в условиях неопределенности. Учитель не знает наверняка, станет конкретный ребенок учиться лучше по одной или другой методике. Менеджер не уверен, насколько хорошо будет работать нанятый им сотрудник. Доктор неточно знает, необходимо ли дорогостоящее обследование. Все люди вынуждены прогнозировать.

Но прогноз – не решение. Чтобы принять решение, следует вынести суждение о прогнозе последующих действий. До недавнего прогресса машинного интеллекта данное разделение этапов интересовало только ученых, потому что люди всегда прогнозировали и судили одновременно, но сегодня развитие машинного прогнозирования привело нас к необходимости выяснить анатомию решений.

Анатомия решений

Влияние прогностических машин ощутимее всего на уровне решений. Но у них еще шесть ключевых составляющих (рис. 5.1). Когда кто-то (или что-то) принимает решение, то использует входные данные из окружающей обстановки, позволяющие сделать прогноз. Этот прогноз стал возможным вследствие обучения, из которого известно об отношениях между разными типами данных и о том, какой из них ближе всего к рассматриваемой ситуации. Объединив суждение о ней с прогнозом, принимающий решение выбирает действие. Оно ведет к результату (положительному или отрицательному). Результат есть следствие решения, он необходим для завершения картины. Также результат дает обратную связь, полезную для улучшения последующих решений.

Рис. 5.1. Анатомия решений

Представьте, что у вас заболела нога и вы пошли к врачу. Он осмотрел вас, сделал рентген, взял анализ крови, задал несколько вопросов – собрал входные данные. С их учетом, а также опираясь на полученные во время обучения знания и опыт лечения пациентов с похожими симптомами (обучающие данные и данные обратной связи), врач делает прогноз: «Скорее всего, у вас мышечные судороги, хотя есть и небольшая вероятность тромба».

Суждение осуществляется одновременно с анализом. Врач принимает во внимание и другие данные (в том числе интуицию и опыт). Если предположить мышечные судороги, то для выздоровления вам нужен покой. Если же симптомы указывают на тромбоз, необходимо другое лекарство без долговременных побочных эффектов, но у большинства пациентов его прием сопровождается незначительным недомоганием. Если врач ошибется и предложит лечить мышечные судороги лекарством от тромбоза, то вы зря пострадаете от несущественных побочных эффектов. Если же у вас тромб, а доктор пропишет вам отдых, вас могут ждать более серьезные последствия вплоть до фатальных. В суждении сопоставляются положительные и отрицательные стороны всех возможных результатов, являющихся следствием как верных, так и ошибочных решений (в данном случае это исцеление, побочные эффекты и серьезные осложнения). Определение положительных и отрицательных сторон всех возможных результатов необходимо, чтобы выбрать между медикаментозным лечением (которое принесет временный дискомфорт, зато снизит риск серьезных осложнений) и покоем.

Применив суждение к прогнозу, врач решает, вероятно с учетом вашего возраста и исходя из возможных рисков, назначить вам покой для лечения мышечной судороги, несмотря на минимальную вероятность тромбоза.

Далее следует действие – назначение лекарства и отслеживание результата: ушла ли боль в ноге, и не появились ли другие симптомы. Свои наблюдения врач сможет использовать для последующих прогнозов.

Разбивая решение на составляющие, мы получаем четкое представление о том, ценность какой деятельности человека снизится, а какой – повысится в результате внедрения машинных прогнозов. Что касается собственно прогнозов, то очевидно, что машины в целом справляются с ними лучше человека. И поскольку машины все чаще делают прогноз вместо людей, ценность человеческих прогнозов снижается. Но главный вывод в том, что прогноз представляет собой ключевой, но не единственный компонент любого решения, в остальных (суждение, данные и действие) уверенное преимущество остается за человеком. Составляющие решения дополняют прогноз, то есть их ценность повышается с его удешевлением. Например, мы готовы приложить усилия к вынесению суждения в случаях, когда раньше предпочитали не решать что-либо (то есть принимали все по умолчанию), потому что прогностические машины делают прогноз лучше, быстрее и дешевле. Вот почему спрос на суждения человека растет и продолжит расти.