Текст книги "Искусственный интеллект на службе бизнеса"

Глава 4. Новое разделение труда

Каждое изменение в электронном документе можно зафиксировать. Для большинства людей это просто более удобный способ отслеживать правки, но Рон Глозман увидел в нем возможность применять ИИ к данным для прогнозирования редактирования. В 2015 году Глозман запустил стартап Chisel, и его первый продукт прогнозировал конфиденциальную информацию в юридических документах. Продукт представляет ценность для юридических компаний, потому что при разглашении документов они обязаны скрывать информацию такого рода. Раньше редактировали вручную, люди вычитывали и исправляли тексты документов. Предложение Глозмана позволяло сэкономить время и силы.

Машинное редактирование работало, но не идеально. Бывало, что машина по ошибке скрывала информацию, подлежащую разглашению, или пропускала конфиденциальную. Для соответствия юридическим стандартам требовалась проверка исправленного текста человеком. На тестовом этапе Chisel предлагала фрагменты для редактирования, и человек подтверждал или опровергал предложение. На практике такая совместная работа экономила много времени, а ошибок оказывалось меньше, чем если бы редактирование осуществлялось только человеком.

Разделение труда между человеком и компьютером оказалось эффективным, потому что устранило недостатки работы читающего – низкую скорость и недостаточную внимательность – и ошибки машинной интерпретации текста.

Ошибаются и люди, и машины. Не зная типичных неточностей, мы не понимаем, как объединить их для прогнозирования. Зачем? Согласно идее разделения труда, существующей еще с XVIII века, со времен экономики Адама Смита[38]38
  Адам Смит (1723–1790) – известный шотландский экономист и философ, основоположник классической школы политэкономии. Его наиболее известные работы: «Теория нравственных чувств» (1759), «Исследование о природе и причинах богатства народов» (1776). Прим. ред.


[Закрыть], – роли распределяются в соответствии со способностями. В нашем случае с целью прогнозирования разделение труда должно произойти между человеком и машиной. Для этого необходимо разобраться, какие обязанности лучше выполняют люди, а какие – компьютеры. Таким образом мы определим отдельные роли.

В известном психологическом эксперименте испытуемому показывали случайную последовательность Х и О и просили ее продолжить. Например, такую:

OXXOXOXOXOXXOOXXOXOXXXOXX

Почти все сразу замечают, что Х здесь больше, чем О, – если подсчитать, получится 60 % Х и 40 % О. Поэтому чаще выбирают Х и иногда разбавляют О. Однако для повышения шансов на точный прогноз нужно всегда выбирать Х. Тогда ответ окажется верным в 60 % случаев. Если рандомизировать 60/40 (как это делают большинство испытуемых), прогноз окажется верным только в 52 % случаев. И это немногим лучше, чем выбирать, вообще не задумываясь о соотношении Х и О, а просто угадывать (с вероятностью 50/50)[39]39
  В 60 % случаев вы выбираете Х, и ответ будет верным в 60 % случаев, а в 40 % случаев вы выбираете О и угадываете только в 40 % случаев.


[Закрыть].

Из подобных экспериментов напрашивается вывод, что из людей получаются плохие статистики даже в ситуации, когда они способны оценить вероятности. Такую ошибку не сделала бы ни одна прогностическая машина. Но люди, вероятно, не относятся к подобным задачам ответственно, для них это просто игра. Допускали бы они такие ошибки, если последствия были бы серьезнее, чем в игре?

Ответ на этот вопрос подтвержден психологами Дэниелом Канеманом и Амосом Тверски в многочисленных экспериментах: несомненно «да»[40]40
  Тверский A, Канеман Д. Принятие решений в неопределенности. Правила и предубеждения. М.: Гуманитарный центр, 2018 // https://people.hss.caltech.edu/~camerer/Ec101/JudgementUncertainty.pdf.


[Закрыть]. Они предлагали людям решить задачу про две больницы: если в одной рождается 45 младенцев в день, а в другой 15, то в какой из них будет больше дней, когда 60 % новорожденных или более окажутся мальчиками? Верный ответ давали очень немногие – в маленькой. Он правильный, потому что чем больше количество событий (в данном случае рождений), тем выше вероятность, что итог каждого дня будет ближе к среднему (в данном случае к 50 %). Попробуем понять почему: представьте, что вы подбрасываете монетку. Вероятность выпадения нескольких орлов подряд выше, если подбросить монетку пять, а не пятьдесят раз. Таким образом, в маленькой больнице – потому что там рождается меньше младенцев – вероятность отклонений от среднего значения выше.

О подобных эвристических опытах и отклонениях написано немало книг[41]41
  См. Канеман Д. Думай медленно… решай быстро. М.: АСТ, 2018; Ариели Д. Поведенческая экономика. М.: Манн, Иванов и Фербер, 2012.


[Закрыть]. Большинство людей не умеют составлять прогноз на основе статистических правил, поэтому нанимают специалистов. Но и те, к сожалению, не всегда могут избежать таких же отклонений и сложностей со статистикой во время принятия решений. Отклонениями заражены разнообразные сферы, такие как медицина, право, спорт и бизнес. Тверски вместе с исследователями Гарвардской школы медицины описывал медикам два вида лечения рака легких: лучевую терапию и операцию. На основании показателей выживаемости за пять лет он рекомендовал операцию. Для двух групп участников информацию о краткосрочной выживаемости после операции – более рискованного варианта, чем лучевая терапия, – сформулировали по-разному. Исходя из формулировки «в течение месяца выжили 90 % пациентов», операцию предпочли 84 % врачей, а когда данные перефразировали: «в первый месяц смертность составляет 10 %» – уже всего 50 %. Суть обоих вариантов одна и та же, а на решение влияла исключительно формулировка. Машина не учитывала бы ее.

Дэниел Канеман обнаружил множество ситуаций, когда специалисты не способны дать качественный прогноз на основе сложной информации. Опытные рентгенологи в оценке снимков в одном случае из пяти противоречили сами себе. Аудиторы, врачи клинической лабораторной диагностики, психологи и менеджеры демонстрировали такую же непоследовательность.

Канеман пришел к выводу: если для прогноза вместо человека возможно использовать формулу, так и следует поступать.

Низкое качество экспертных прогнозов стало темой книги Майкла Льюиса Moneyball[42]42
  Льюис М. Moneyball. Как математика изменила самую популярную спортивную лигу в мире. М.: Манн, Иванов и Фербер, 2013.


[Закрыть]. Бейсбольная команда Oakland Athletics оказалась в затруднении после ухода трех лучших игроков, поскольку не располагала средствами приобрести новых. Ее менеджер Билли Бин (в фильме «Человек, который изменил всё» роль Бина исполнил Брэд Питт) для прогноза эффективности игроков использует статистическую систему Билла Джеймса. Билли и его аналитики махнули рукой на рекомендации скаутов и собрали собственную команду с помощью саберметрики[43]43
  Саберметрика – эмпирический анализ бейсбола, в частности бейсбольной статистики, измеряющей внутриигровые показатели. Прим. ред.


[Закрыть]. Несмотря на скромный бюджет, команда обошла соперников и дошла до игр Мировой серии 2002 года. Суть новой системы заключалась в смене приоритетных критериев – вместо таких показателей, как кражи базы, средний уровень, баттинг[44]44
  Бейсбольные термины. Прим. ред.


[Закрыть], учитывались другие, в том числе эффективность на базе и процент сильных ударов. Заодно удалось исключить иногда совершенно непостижимую логику скаутов. Один из них в фильме обронил: «Его подружка – уродина. Значит, у него низкая самооценка». В свете подобных алгоритмов принятия решений неудивительно, что основанные на данных прогнозы в бейсболе взяли верх над человеческими.

Новые показатели учитывали вклад игрока в эффективность команды в целом. Прогностическая машина позволила подобрать в Oakland Athletics игроков с более низкими показателями по традиционной шкале оценки и, следовательно, более высокой ценностью из расчета отношения стоимости к повышению продуктивности команды. Без прогностики на их качества никто не обратил бы внимания. Oakland Athletics сыграли на отклонениях в свою пользу[45]45
  Конечно, хотя Moneyball и основана на применении традиционной статистики, вполне предсказуемо, что сейчас команды ищут ей замену в методах машинного обучения, позволяющих собрать больше данных. См. Sugimoto, T. AI May Help Japan’s Baseball Champs Rewrite «Moneyball» // Nikkei Asian Review. 2016. May 02 // http://asia.nikkei.com/Business/Companies/AI-may-help-Japan-s-baseball-champs-rewrite-Moneyball.


[Закрыть].

Явственное представление о проблемах с прогнозами, которые делают люди, даже если это опытные и маститые специалисты, дает исследование решений о выдаче под залог в судах США[46]46
  Kleinberg, J., Lakkaraju, H., Leskovec, J., Ludwig, J., Mullainathan, S. Human Decisions and Machine Predictions / working paper 23180. National Bureau of Economic Research, 2017.


[Закрыть]. Ежегодно там принимается 10 млн таких решений – с последствиями для семьи, работы и других сфер жизни, не говоря уже о государственных расходах на тюремное содержание. Судья в своем решении должен исходить из того, не сбежит ли обвиняемый и не совершит ли другие преступления, будучи отпущенным под залог, а не из вероятности признания его виновным. Критерии ясные и четко описаны.

В исследовании использовали машинное обучение для разработки алгоритмов, прогнозирующих вероятность того, что данный обвиняемый совершит побег или снова нарушит закон, если его выпустить под залог. Обучающих данных было предостаточно: 750 тыс. человек, отпущенных под залог в Нью-Йорке с 2008 по 2013 год. В алгоритмы также включили список предыдущих правонарушений, предъявленные обвинения и демографические сведения.

Машинный прогноз оказался точнее человеческого. Например, согласно прогнозу, из 1 % обвиняемых, причисленных машиной к самым опасным, 62 % совершат преступление, будучи отпущенными под залог. Судьи же (у которых не было доступа к прогнозам машины) выпустили почти половину из них. Прогноз оказался почти идеальным – 63 % обвиняемых действительно совершили повторные преступления, а половина из них не явилась на следующее заседание суда. Из них 5 % совершили изнасилования и убийства.

Если бы судьи последовали рекомендациям машины, то могли бы отпустить то же количество обвиняемых и снизить показатель преступности среди выпущенных под залог на 75 %. Или сохранить показатели преступности и посадить за решетку вдвое меньше обвиняемых[47]47
  Исследование также доказало, что алгоритмы, скорее всего, снизят проявления расового неравенства.


[Закрыть].

В чем же дело? Почему прогноз судей так заметно расходится с машинным? Одна из причин, возможно, в том, что судьи пользуются недоступной алгоритмам информацией, скажем, внешностью и поведением обвиняемых в суде. Она бывает полезной, но может и вводить в заблуждение. С учетом высоких показателей совершения преступлений выпущенными под залог разумно заключить, что последнее более вероятно; прогнозы судей никуда не годятся. В исследовании достаточно и других подтверждений данного неутешительного вывода.

Прогностика в такой ситуации представляет сложность для человека из-за неоднозначных факторов, влияющих на показатели преступности. Прогностические машины гораздо лучше людей определяют факторы сложных взаимодействий отдельных показателей.

Получается, когда вы уверены, что прошлые преступления обвиняемого повышают риск побега, машина подсчитывает, что это произойдет только в случае, скажем, если он не сможет найти работу в течение определенного периода. Иными словами, эффект взаимодействия может быть важнее, а поскольку многоплановость таких взаимодействий возрастает, способность человека к составлению точных прогнозов снижается.

Отклонения не просто проявляются время от времени в медицине, бейсболе и суде, это неотъемлемая часть любой профессиональной деятельности. Специалисты обнаружили, что и менеджеры, и рабочие прогнозируют часто – причем с полной уверенностью, – не догадываясь, что их предположения несостоятельны. Занимаясь исследованием 15 агентств по найму неквалифицированных рабочих, экономисты Митчелл Хоффман, Лиза Кан и Даниэль Ли обнаружили: когда решения по найму принимались на основании объективного проверяемого теста и обычного собеседования, стаж работы на следующем месте был выше на 15 %, чем в результате одного только собеседования[48]48
  Hoffman, M., Kahn, L., Li, D. Discretion in Hiring / working paper 21709 // National Bureau of Economic Research. 2015. November.


[Закрыть]. А перед менеджерами при этом стояла задача по увеличению стажа.

Достаточно объемный тест включал вопросы на проверку когнитивных способностей и соответствие обязанностям. А после того как свободу действий менеджеров ограничили – запретили аннулировать баллы при неудовлетворительных результатах теста, – стаж дополнительно вырос и доля увольнений по собственному желанию снизилась. Итак, даже с учетом поставленной задачи по увеличению продолжительности стажа и при наличии весьма точных машинных прогнозов менеджеры все же умудрялись делать неверные предположения.

Бывший министр обороны Дональд Рамсфелд однажды сказал:

«Есть известные известные – вещи, в знании которых мы уверены. Еще есть известные неизвестные – когда мы знаем, что есть кое-что, чего мы не знаем. Но есть еще и неизвестные неизвестные – мы их не знаем и не подозреваем об их существовании. Если посмотреть на историю нашей страны и других свободных государств, самой сложной является последняя категория»[49]49
  Rumsfeld, D. There_are_known_knowns // US Department of Defense. 2002. February, 12 // https://en.wikipedia.org/wiki/There_are_known_knowns/.


[Закрыть].

Это обеспечивает удобную структуру понимания условий, на которых «спотыкаются» прогностические машины. Первое: «известные известные» – это наличие большого объема данных, когда есть уверенность в правильности прогноза. Второе: «известные неизвестные» – когда данных мало и очевидно, что сделать прогноз будет сложно. Третье: «неизвестные неизвестные» – события, не знакомые по опыту или не имеющиеся в данных и тем не менее вероятные, поэтому прогнозировать их трудно, хотя мы можем об этом не подозревать. И наконец, не упомянутая Рамсфелдом категория – «неизвестные известные»: когда подтвержденный в прошлом опыт представляет собой результат неизвестного или ненаблюдаемого фактора, изменяющегося со временем, из-за чего прогноз становится ненадежным. Прогностические машины ошибаются именно в тех случаях, когда не могут исходить из хорошо известных рамок статистики.

С достаточным объемом данных машинный прогноз чаще всего верен. Машине известна ситуация, она выдает качественный прогноз, и мы убеждаемся в этом. Вот что составляет зону комфорта нынешнего поколения машинного интеллекта: выявление мошенничества, медицинская диагностика, бейсбол и решения по выпуску осужденных под залог – все попадает в эту категорию.

Даже лучшие на сегодня (и ближайшее будущее) прогностические модели требуют огромного количества данных. Следовательно, в случаях, когда их не хватает, точность прогноза соответственно понизится. Мы знаем, чего мы не знаем: известные неизвестные.

Недостаток данных обычно сопутствует достаточно редко происходящим событиям, поэтому их прогнозировать сложно. Президентские выборы в США проводятся только раз в четыре года, а кандидаты и политическая обстановка всегда разные. Предугадать итоги президентских выборов на несколько лет вперед практически невозможно. Как показали выборы 2016 года, трудно предположить итоги даже недели или хотя бы одного дня. Крупные землетрясения тоже достаточно редки (к счастью), и прогнозировать, когда они произойдут, где и с какой интенсивностью, пока нереально (но сейсмологи работают над этим)[50]50
  Rouet-Leduc, B. & others. Machine Learning Predicts Laboratory Earthquakes. Cornell University, 2017 // http://arxiv.org/abs/1702.05774.


[Закрыть].

В отличие от машин, людям иногда отлично удаются прогнозы на основе ограниченного объема данных. Мы опознаём лица, даже если видели их лишь пару раз и в другом ракурсе. Сорок лет спустя мы узнаём одноклассника, с которым учились в четвертом классе, как бы он ни изменился внешне. С ранних лет мы угадываем траекторию полета мяча (даже если у нас еще недостаточно развита координация, чтобы его поймать). Мы легко проводим аналогии, усмотрев схожие с прошлым опытом обстоятельства в новой ситуации. Например, ученые в течение нескольких десятилетий представляли атом как миниатюрную солнечную систему, и во многих школах его до сих пор так и описывают[51]51
  Gentner, D., Stevens, A. L. Mental Models. NY: Psychology Press, 1983; Gentner, D. Structure Mapping: A Theoretical Model for Analogy // Cognitive Science. 1983. № 7. P. 15–170.


[Закрыть].

IT-специалисты стараются снизить потребность машин в данных и разрабатывают такие методы, как «обучение на одном примере», в которых машины учатся прогнозировать объекты, увидев их единожды, но полный успех пока не достигнут[52]52
  Хотя машины все лучше работают в таких ситуациях, согласно законам вероятности, в маленьких выборках неизбежна некоторая неопределенность. Следовательно, если объем данных ограничен, прогнозы машин в известной мере будут неточными. Машина может дать представление о степени неточности, поэтому суждение о действиях по неточным прогнозам должен делать человек (как обсуждалось в главе 8).


[Закрыть]. Поскольку люди пока лучше умеют прогнозировать на основе известных неизвестных, можно запрограммировать машины так, чтобы в подобных ситуациях они призывали человека на помощь.

Чтобы машина выдала прогноз, ей необходимо указать, что именно следует прогнозировать. Если какое-то событие не происходило никогда, машина не сможет с ним работать (во всяком случае, без предоставления человеком сформулированного суждения с адекватной аналогией, позволяющей сделать прогноз с использованием информации о других событиях).

В книге «Черный лебедь»[53]53
  Талеб Н. Черный лебедь. М.: Азбука-Аттикус, КоЛибри, 2018.


[Закрыть] Нассим Николас Талеб подчеркивает значение неизвестных неизвестных[54]54
  Талеб Н. Черный лебедь. М.: Азбука-Аттикус, КоЛибри, 2018.


[Закрыть]. Он утверждает, что мы не можем на основе прошлого опыта прогнозировать то, чего в нем не было. Название книги навеяно открытием в Австралии нового вида лебедей, совершенным европейцами. В XVIII веке в Европе считалось, что лебеди бывают только белыми. Прибыв в Австралию, европейцы увидели нечто совершенно новое и неожиданное: черных лебедей. Никто их раньше не видел и поэтому не имел оснований предполагать, что они существуют[55]55
  В цикле Айзека Азимова «Основание» прогноз развился до такой степени, что стало возможным предсказать крах Галактической империи и последовавшие за этим проблемы общества, описанные в книге. Для сюжетной линии была важна невозможность спрогнозировать появление мутанта. Случайные обстоятельства невозможно предвидеть.


[Закрыть].

Талеб считает, что появление неизвестных неизвестных приводит к серьезным последствиям – в отличие от черных лебедей, которые не повлияли на общество Европы и Австралии.

Возьмем, к примеру, расцвет музыкальной индустрии в 1990-х[56]56
  Waldfogel, J. Copyright Protection, Technological Change, and the Quality of New Products: Evidence from Recorded Music since Napster // The Journal of Law and Economics 55. 2012. № 4. P. 715–740.


[Закрыть]. Продажи компакт-дисков увеличивались, доход стабильно рос. Будущее выглядело оптимистично. Но в 1999 году восемнадцатилетний Шон Фэннинг придумал Napster – программу, позволяющую людям бесплатно обмениваться музыкальными файлами в интернете. Вскоре были загружены миллионы таких файлов, и доходы от продажи дисков начали снижаться. Индустрия до сих пор не оправилась от этого краха.

Фэннинг стал неизвестной неизвестной, машины не смогли бы прогнозировать его появление. Стоит согласиться с мнением Талеба и многих других – людям тоже плохо дается прогноз неизвестных неизвестных. Перед ними пасуют и люди, и машины.