Текст книги "Искусственный интеллект на службе бизнеса"
Автор книги: Ави Голдфарб
Жанр: Управление и подбор персонала, Бизнес-Книги
Возрастные ограничения: +16
сообщить о неприемлемом содержимом
Текущая страница: 3 (всего у книги 18 страниц) [доступный отрывок для чтения: 5 страниц]
Несколько лет назад Ави Голдфарб обнаружил, что в казино Лас-Вегаса с его кредитной карты снята крупная сумма. Но он в это время был совершенно в другом месте. А в Лас-Вегас ездил лишь однажды и очень давно – азартные игры не вписываются в его экономическое мировоззрение. После продолжительных переговоров банк отменил транзакцию и выдал новую карту.
Недавно неприятность повторилась. Кто-то снова сделал покупку по кредитной карте Ави. Но на этот раз он даже не успел увидеть транзакцию, так что ему не пришлось сто раз описывать ситуацию вежливому, но строгому сотруднику службы поддержки. Ави сообщили по телефону о подозрительной операции по карте и что уже выслали новую по почте.
Банк совершенно правильно заключил, исходя из потребительских привычек Ави и тонны другой информации, что транзакция мошенническая. И был настолько уверен в этом, что даже не стал блокировать карту до выяснения обстоятельств.
Вместо этого у Ави, как по волшебству, появилась другая карта, для чего он и пальцем не шевельнул. Конечно, хрустального шара у банка нет, но есть данные и надежная предсказательная модель: прогностическая машина. Повышение качества прогнозов позволило снизить риск мошенничества и одновременно, как выразился президент MasterСard по вопросам безопасности Аджай Бхалла, «избавить клиентов от ошибочного отклонения транзакций»[17]17
MastercardRolls Out Artificial Intelligence across Its Global Network // Mastercard press release. 2016. November 30 // https://newsroom.mastercard.com/press-releases/mastercard-rolls-out-artificial-intelligence-across-its-globalnetwork/.
[Закрыть].
В сфере бизнеса применение прогностики полностью соответствует ее определению как процесса заполнения информационных пробелов. Эмитентам необходимо знать, не была ли недавняя транзакция мошеннической. Для прогноза по конкретной операции используются данные о совершенных мошеннических (и правомерных) переводах денежных средств. В случае подтверждения неправомерности эмитент может заблокировать карту, а если прогноз сделан достаточно быстро, то успеет отменить и текущую транзакцию.
Данный принцип – когда из имеющейся информации выводится отсутствующая – положен в основу главных современных достижений ИИ в области перевода. Об этой цели говорилось еще в предании тысячелетней давности о Вавилонской башне; цивилизация шла к ней на протяжении всей своей истории. Раньше для разработки автоматических переводчиков нанимали лингвиста (владеющего каким-либо конкретным языком), чтобы он изложил грамматические правила в приемлемой для программирования форме[18]18
Geitgey, A. Machine Learning Is Fun, Part 5: Language Translation with Deep Learning and the Magic of Sequences // Medium. 2016. August 21 // https://medium.com/@ageitgey/machine-learning-is-fun-part-5-language-translationwith-deep-learning-and-the-magic-of-sequences-2ace0acca0aa/.
[Закрыть]. Таким образом, например, если требовалось перевести фразу с испанского языка, слова не просто последовательно переводились, но существительные и прилагательные менялись местами, чтобы в итоге получилось грамотно составленное и понятное предложение.
Недавний рывок в развитии ИИ позволил поместить переводы в сферу прогностических задач. После этого качество онлайн-переводчика Google прямо-таки чудесным образом изменилось. Рассказ Эрнеста Хемингуэя «Снега Килиманджаро» начинается такими словами: «Килиманджаро – покрытый вечными снегами горный массив высотой в 19 710 футов, как говорят, высшая точка Африки».
В ноябре 2016 года профессор Юн Рекимото, ученый, IT-специалист из Токийского университета, переводил рассказ в Google-переводчике с японского языка на английский и получил такой результат: «Килиманджаро высота 19 710 футов гора снежный покров, и сказал самая высокая в Африке». На следующий день перевод выглядел уже по-другому: «Килиманджаро гора высотой 19 710 футов покрыта снегом и считается самой высокой в Африке».
Разница невероятная! Прошла всего одна ночь, а вместо корявого автоматического перевода получилось складное предложение, словно вместо недоучки работу делал человек, одинаково хорошо владеющий обоими языками.
Конечно, следует признать, что автору перевода до Хемингуэя далеко, но налицо явный прогресс. Вавилон возродился. И это не случайная перемена и не сбой: Google перекроила машинный переводчик с учетом недавних достижений в области ИИ, о которых мы рассказываем. Если быть точнее, современная программа Google-переводчик базируется на глубоком обучении повышению точности прогнозов.
Перевод заключается в определении японских эквивалентов английских слов и выражений. Прогнозируемые отсутствующие данные – это японские слова и их грамматический порядок. Если на основании данных иностранного языка составлять алгоритм слов и их правильный порядок на известном языке, то перевод получается читабельным. А если сделать все точно, то не всегда можно догадаться, что это перевод.
Компании, не теряя времени, начали коммерческое применение этой волшебной технологии. Например, более 500 миллионов граждан Китая уже пользуются сервисом на основе глубокого обучения, разработанным iFlytek, для перевода, транскрибирования и переписки на родном языке. С его помощью домовладельцы договариваются с иностранными арендаторами, пациенты больниц получают справочную информацию, врачи дают рекомендации, а водители общаются со своими автомобилями[19]19
Sun, Y. Why 500 Million People in China Are Talking to This AI // MIT Technology Review. 2017. September 14 // https://www.technologyreview.com/s/608841/why-500-million-people-in-china-re-talking-to-this-ai/.
[Закрыть].
Чем чаще используется ИИ, тем больше он собирает данных и учится и тем лучше становится. А с таким количеством пользователей он совершенствуется очень быстро.
Насколько сейчас прогнозы лучше, чем раньше?Изменения в программе Google-переводчик иллюстрируют, как машинное обучение (один из его подразделов – глубокое обучение) снижает цену на качественные прогнозы. За ту же цену в единицах вычислительной мощности Google предоставляет перевод более высокого качества. Цена прогнозов аналогичного качества значительно снизилась.
Инновации в прогностических технологиях влияют на традиционно связанные с прогнозом сферы, такие как обнаружение финансового мошенничества. Здесь наблюдается такой прогресс, что эмитенты кредитных карт выявляют и пресекают случаи мошенничества раньше, чем пользователи успевают их заметить. И все же улучшение происходит постепенно. В конце 1990-х с помощью передовых тогда методов удавалось предотвратить около 80 % мошеннических транзакций[20]20
Stolfo, S. J., Fan, D. W., Lee, W., Prodromidis, A. L. Credit Card Fraud Detection Using Meta-Learning: Issues and Initial Results // AAAI Technical Report, WS-97-07, 1997 // http://www.aaai.org/Papers/Workshops/1997/WS-97-07/WS97-07-015.pdf; процент ложноположительных заключений – от 15 до 20.
Другой пример: Aleskerov, E., Freisleben, B., Rao, B. CARDWATCH: A Neural Network Based Database Mining System for Credit Card Fraud Detection // Computational Intelligence for Financial Engineering, 1997 // http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=618940/. Обратите внимание, что сравнение не совсем равноценное, поскольку использованы разные обучающие данные. Тем не менее общая суть понятна.
[Закрыть]. К 2000 году эти показатели поднялись до 90–95 %, а сегодня достигают 98–99,9 %[21]21
Srivastava, A., Kundu, A., Sural, Sh., Majumdar, A. Credit Card Fraud Detection Using Hidden Markov Model // IEEE Transactions on Dependable and Secure Computing 5. 2008. January – March. № 1. Р. 37–48 // http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4358713/.
West, J., Bhattacharya, M. Intelligent Financial Fraud Detection: A Comprehensive Review // Computers & Security. 2016. № 57. P. 47–66 // http://www.sciencedirect.com/science/article/pii/S0167404815001261.
[Закрыть]. Последний рывок стал результатом машинного обучения: разница между 98 и 99,9 % огромна.
Кажется, что от 98 % совсем недалеко до 99,9 %, но, если ошибки обходятся дорого, важно действовать постепенно. Улучшение с 85 до 90 % означает, что количество ошибок уменьшилось на треть. А с улучшением с 98 до 99,9 % ошибок стало в 20 раз меньше. Про такой показатель уже не скажешь «постепенно».
Падение цены на прогноз меняет и человеческую деятельность. Как первоначально компьютеры использовались для арифметических вычислений, таких как учет численности и разнообразные таблицы, так и первые прогнозы, полученные в результате машинного обучения, применялись для решения обычных прогностических задач. Помимо обнаружения мошенничества в них входили кредитоспособность, медицинская страховка и управление ресурсами.
Кредитоспособность – это прогноз вероятности погашения кредита заемщиком. Для медицинской страховки рассчитывали сумму, которую страхователь потратит на лечение. В управлении ресурсами важен прогноз загрузки склада в определенный день.
Не так давно возникли совершенно новые категории прогностических задач. Многие из них считались невыполнимыми до недавнего прогресса в технологии машинного интеллекта, в том числе распознавание объектов, языковой перевод и разработка лекарственных средств. Возьмем, к примеру, широко известный ежегодный конкурс ImageNet Challenge. Распознавание объектов – не всегда легкая задача и для человека. В данных ImageNet содержится множество категорий объектов, в том числе породы собак и другие схожие изображения. Не всегда можно уловить разницу между тибетским мастифом и бернским зенненхундом или между сейфовым и кодовым замком. Люди ошибаются примерно в 5 % случаев[22]22
Karpathy, A. What I Learned from Competing against a ConvNet on ImageNet // http://karpathy.github.io/2014/09/02/what-i-learned-from-competing-against-a-convnet-on-imagenet/; ImageNet, Large Scale Visual Recognition Challenge 2016 // http://image-net.org/challenges/LSVRC/2016/results; LISVRC2014 // http://cs.stanford.edu/people/karpathy/ilsvrc/.
[Закрыть].
Если сравнивать первый (2010) и последний (2017) конкурсы, то прогнозы заметно улучшились. На рис. 1 приводится график точности победителей по годам. На вертикальной оси отмечена частота ошибок (поэтому чем ниже, тем лучше). В 2010 году лучшие прогностические машины неверно распознавали 28 % изображений. В 2012 году конкурсанты впервые использовали глубокое обучение, и частота ошибок снизилась до 16 %. Как отмечает профессор Принстона, IT-специалист Ольга Русаковская, «2012-й действительно стал годом огромного прорыва в точности, и это доказывает эффективность модели глубокого обучения, существующей уже несколько десятков лет»[23]23
Tilley, A. China’s Rise in the Global AI Race Emerges as It Takes Over the Final ImageNet Competition // Forbes. 2017. July, 31 // https://www.forbes.com/sites/aarontilley/2017/07/31/china-ai-imagenet/#dafa182170a8/.
[Закрыть].
Рис. 1. Временной график ошибок в распознавании объектов
Алгоритмы улучшались быстро, впервые человеческий эталон был превзойден в 2015-м. К 2017 году у большинства участников было уже в два раза меньше ошибок. Машины стали распознавать объекты лучше человека[24]24
Gershgorn, D. The Data That Transformed AI Research – and Possibly the World // Quartz. 2017. July 26 // https://qz.com/1034972/the-data-that-changed-thedirection-of-ai-research-and-possibly-the-world/.
[Закрыть].
Нынешнее поколение ИИ пока отстает от разумных машин из научной фантастики. У нас нет ЭАЛа из «2001: Космическая одиссея», «Скайнет» из «Терминатора», Си-Три-Пи-О из «Звездных войн». Если современный ИИ способен только на прогностику, почему вокруг него такой ажиотаж? Да потому, что прогноз действительно важен. Не все это понимают, но прогноз имеет значение во всех сферах человеческой деятельности, в том числе в деловой и частной жизни. Решения принимаются на основе прогнозов; чем они качественнее, тем полнее информация и, следовательно, тем лучше результаты.
Прогноз можно назвать «добычей полезной информации», что слегка отдает шпионажем[25]25
Определение из Оксфордского словаря английского языкa (англ. Oxford English Dictionary, OED).
[Закрыть]. Машинный же прогноз – это искусственная выработка полезной информации, а она всегда во главе угла. Качество прогноза влияет на итоги чего бы то ни было, как мы объяснили в примере с выявлением мошенничества. Благодаря снижению цены на прогноз мы делаем его полезным для многих других сфер, открывая его безграничные возможности, – например, машинный языковой перевод, который раньше нельзя было даже вообразить.
• Прогресс роста точности прогнозов обманчив. Например, улучшение с 85 до 90 % кажется больше, чем с 98 до 99,9 % (в первом случае на 5 %, а во втором – на 2 %). Однако улучшение с 85 до 90 % означает, что количество ошибок уменьшилось на 30 %. А с улучшением с 98 до 99,9 % ошибок стало в 20 раз меньше. В некоторых условиях это меняет все.
• За волшебством прогностических машин стоит самое что ни на есть заурядное заполнение информационных пробелов. Машины умеют видеть (распознавание объектов), ориентироваться (беспилотные автомобили) и переводить.
Глава 2. Почему это называется «интеллект»
В 1956 году группа учеников Дартмутского колледжа в Нью-Гемпшире планировала исследование с целью создания ИИ. Их интересовало, можно ли запрограммировать компьютер на познавательный процесс, чтобы он учился, скажем, играть, доказывать математические теоремы и прочее. Также они предусмотрели язык и соответствующие данные, с тем чтобы компьютер мог описывать вещи. Они хотели, чтобы компьютер выбирал лучший из предложенных вариантов. Исследователи видели возможности ИИ в самом радужном свете. В обращении за финансированием к Фонду Рокфеллера они написали:
«Мы намерены выяснить, как научить компьютер использовать язык, оперировать абстрактными понятиями, решать разные типы задач, которые сейчас решают люди, и самосовершенствоваться. Полагаем, что за лето при условии сплоченной работы коллектива ученых мы заметно продвинемся в направлении одной из этих целей»[26]26
McCarthy, J., Minsky, M. L., Rochester, N., Shannon, C. E. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence. 1955. August 31 // http://www-formal.stanford.edu/jmc/history/dartmouth/dartmouth.html.
[Закрыть].
Но эти планы по большей части остались в мечтах. Помимо прочего, в 1950-х компьютеры были недостаточно мощными и быстродействующими для воплощения в жизнь всех замыслов студентов.
После этого заявления ИИ показал некоторый прогресс в языковых переводах, но незначительный. Разработки ИИ для узкоспециализированной среды (например, создания программы-психотерапевта) были неприменимы в других случаях. В начале 1980-х появилась надежда на создание экспертных систем для замены квалифицированных специалистов, в том числе для постановки медицинских диагнозов, но проекты оказались дорогостоящими, громоздкими и не могли учитывать миллиарды исключений и вариантов, что привело к периоду, называемому «зимой ИИ».
Но, похоже, зима закончилась. Сейчас данных больше, модели лучше, компьютеры мощнее, поэтому недавние разработки в сфере машинного обучения привели к повышению качества прогнозов. Усовершенствования в сборе и хранении большого объема данных обеспечили основу для новых алгоритмов машинного обучения. По сравнению со своими предшественниками современные компьютеры оборудованы более мощными процессорами, а новые модели машинного обучения гибче и выдают более точные прогнозы – настолько, что эту отрасль IT снова стали называть «искусственным интеллектом».
Прогнозирование оттока клиентовВ основе развития прогностики лежат улучшенные данные, модели и компьютеры. Для понимания их ценности давайте рассмотрим давнюю проблему прогнозирования «оттока клиентов», как выражаются маркетологи. Большинству компаний привлечение клиентов обходится дорого, и, следовательно, их отток приносит убытки. С набранной клиентской базой компания экономит на этих расходах, снижая отток. Сложнее всего его контролировать в сферах профессиональных услуг: страховании, финансовых операциях и телекоммуникации. Первый шаг к снижению оттока – выявление ненадежных клиентов, для чего компании могут использовать прогностические технологии.
Раньше отток клиентов прогнозировали статистическим методом, называемым «регрессия». Научные исследования позволили усовершенствовать его.
Ученые предложили и протестировали сотни различных методов регрессии в теории и на практике.
Регрессия делает прогноз на основе средних показателей прошлого. Например, если вам необходимо определить, пойдет ли завтра дождь, и у вас есть только данные за предыдущие семь дней, то оптимально использовать средний показатель. Если дождь лил два дня из семи, то вероятность завтрашних атмосферных осадков составит примерно два из семи, то есть 29 %. Но благодаря всему, что нам теперь известно о прогностике, мы можем сконструировать модели, способные извлекать из контекста больше данных и точнее рассчитывать средний показатель.
Мы делали это с помощью так называемого условного среднего значения. Например, если вы живете на севере Калифорнии, то из опыта знаете, что вероятность осадков зависит от времени года – она ниже летом и выше зимой. Таким образом, если зимой вероятность дождя достигает 25 %, а летом – 5 %, вы не считаете, что завтра она составит 15 %. Почему? Потому что вам известно, зима сейчас или лето, и прогнозируете вы с учетом этих данных.
Поправка на сезон – только одно из условий среднего значения (хотя и распространенное в розничной торговле). Учитываются также время суток, уровень загрязнения, облачность, температура океана и вообще любая доступная информация.
Поправки можно делать на несколько факторов одновременно: пойдет ли завтра дождь, если сегодня пасмурно, сейчас зима, дождь идет в 320 км к западу, в 160 км к югу солнечно, земля влажная, температура Северного Ледовитого океана низкая и дует юго-западный ветер со скоростью 24 км/ч? Однако все это обрастает громоздкими вычислениями. Только расчет среднего для семи категорий данных дает 128 комбинаций, а с дополнительными данными – в разы больше.
До машинного обучения множественная регрессия была эффективна для учета нескольких условий без необходимости рассчитывать десятки, сотни и тысячи условных средних значений.
Регрессия собирает данные и пытается извлечь результат с минимумом прогностических ошибок и с максимальной «точностью приближения», как ее называют.
К счастью, математическое значение термина точнее, чем это может показаться, исходя из формулировки. Регрессия минимизирует прогностические ошибки среднего значения и за крупные ошибки карает строже, чем за мелкие. Это достаточно надежный метод, особенно для работы с относительно небольшим объемом данных и при условии понимания, что в прогнозе самое главное. Например, если оценивать отток аудитории кабельного телевидения, то важны привычки людей; те, кто включает телевизор редко, с большей вероятностью откажутся от подписки на канал.
Кроме того, регрессионные модели способствуют генерации объективных результатов, поэтому при достаточном количестве прогнозов в среднем они будут точными. Хотя мы предпочитаем объективные прогнозы субъективным (в которых систематически переоценивается или недооценивается какой-либо показатель, например ценность), первые все еще не идеальны. Это утверждение можно проиллюстрировать старой статистической шуткой.
Физик, инженер и статистик отправились на охоту. В лесу они увидели оленя.
Физик прикинул расстояние до цели, скорость и понижение траектории пули, сделал нужные поправки, выстрелил – и промахнулся на полтора метра влево.
Расстроенный инженер упрекнул его: «Ты забыл сделать поправку на ветер. Дай сюда ружье!» Он лизнул палец, поднял руку вверх, определил направление и скорость ветра, выстрелил – и промахнулся на полтора метра вправо.
И тут статистик закричал: «Ура! Попали!» Заметим, что он даже не расчехлил ружье.
Идеальная точность в среднем иногда говорит о том, что каждый отдельный результат ошибочен. Регрессия может постоянно промахиваться на полтора метра влево и вправо. Даже если средний показатель оказывается верным, не исключено, что регрессия ни разу не попала в цель.
В отличие от регрессии, прогноз методом машинного обучения может быть ошибочным в среднем, но если промахивается, то ненамного. Статистики называют это допущением незначительных отклонений ради снижения расхождений.
Важное отличие машинного обучения от регрессионного анализа заключается в способе разработки новых методов. В процессе создания нового метода машинного обучения необходимо доказать повышенную эффективность на практике, для разработки же новых методов регрессии достаточно их работоспособности в теории. Сосредоточившись на практике, разработчики машинного обучения получают свободу для экспериментов, даже если их методы дают неверные оценки или отклонения в среднем. Именно свобода экспериментировать способствовала стремительным улучшениям, благодаря которым стало возможным воспользоваться преимуществами большого объема данных и быстродействующих компьютеров, появившихся в последние годы.
В конце 1990-х и начале 2000-х успех экспериментов с машинным обучением для прогнозирования оттока клиентов был скромным. Методы машинного обучения совершенствовались, но регрессия все еще давала в целом лучшие результаты. Данных хватало, а компьютеры не были настолько мощными, чтобы реализовать все преимущества машинного обучения.
Например, центр Teradata в Университете Дьюка в 2004 году провел турнир по анализу данных для прогнозирования оттока клиентов. Тогда подобные события были редкостью; любой мог подать заявку, а выигрыш выплачивался наличными. В призовых заявках использовались регрессионные модели. Некоторые методы машинного обучения продемонстрировали неплохие результаты, но методы нейронной сети, впоследствии совершившие революцию в ИИ, никуда не годились. В 2016 году все выглядело уже наоборот: в лучших моделях прогнозирования оттока клиентов использовалось машинное обучение, а модели с глубоким обучением (нейронными сетями) обошли все остальные.
Что же изменилось? Во-первых, объем данных и мощность компьютеров стали достаточными для повсеместного использования машинного обучения. В 1990-е было трудно собрать действительно большой объем данных. Например, в классическом исследовании прогнозирования оттока использовалось 650 клиентов и менее 30 переменных.
К 2004 году компьютерная обработка и хранение данные усовершенствовались. В турнире Дьюка обучающий набор данных содержал информацию о сотнях переменных для десятков тысяч клиентов. При таких условиях методы машинного обучения улучшились до уровня регрессии, если не превзошли его.
Современные исследователи прогнозируют отток на основе тысяч переменных и миллионов клиентов. Возросшая мощность компьютеров дала возможность анализировать огромный объем данных, включая, помимо чисел, тексты и изображения.
Например, в модели прогнозирования оттока клиентов мобильной связи исследователи использовали данные почасовой истории звонков помимо стандартных переменных, таких как сумма счета и пунктуальность оплаты.
Методы машинного обучения улучшились также за счет эффективного использования доступных данных. В конкурсе Дьюка ключевой составляющей успеха был выбор, какие данные использовать из сотен имеющихся и какую применять статистическую модель. В лучших методах того времени, будь то машинное обучение или классическая регрессия, переменные и модель выбирали с помощью комбинации статистических критериев и интуиции. Современные методы машинного (и особенно глубокого) обучения позволяют гибкость, то есть переменные сочетаются самым неожиданным образом. Скажем, клиенты со счетами на большие суммы, расходующие минуты в начале расчетного периода, уйдут с меньшей вероятностью, чем клиенты со счетами на более крупные суммы, но расходующие минуты в конце расчетного периода. Или клиенты с внушительным счетом за роуминг в выходные, которые к тому же задерживают оплату и часто обмениваются текстовыми сообщениями, уйдут с повышенной вероятностью. Такие комбинации могут сыграть в прогнозах решающую роль, но их трудно предусмотреть. И поэтому их не включают в стандартные регрессионные модели. Машинное обучение предоставляет компьютеру выбор комбинаций и взаимодействий, имеющий значение для него, а не для программиста.
Прогресс методов машинного обучения в целом и глубокого обучения в частности свидетельствует о возможности эффективного применения доступных данных для точного прогнозирования оттока клиентов. И сейчас очевидно их превосходство над регрессией и многими другими методами.
Правообладателям!
Данное произведение размещено по согласованию с ООО "ЛитРес" (20% исходного текста). Если размещение книги нарушает чьи-либо права, то сообщите об этом.Читателям!
Оплатили, но не знаете что делать дальше?
