Текст книги "Искусственный интеллект, аналитика и новые технологии"

Введите алгоритмы

Когда я начинала, мое умение анализировать данные находилось в зачаточном состоянии. Я использовала сервис SurveyMonkey, Google Docs и некоторые статистические методы, чтобы отслеживать предпочтения и давать хорошие рекомендации. По сути, тогда я действовала как персональный стилист и порой даже доставляла фикс-боксы лично. Но мой план заключался в том, чтобы положить Data Science в основу операционной деятельности компании и масштабировать бизнес. Наши рекомендации работают, так как у нас хорошие алгоритмы, а эффективность алгоритмов обусловлена тем, что фундамент Stitch Fix – это анализ и обработка данных.

Для того чтобы машинное обучение стало неотъемлемой частью бизнеса, необходимы три условия, рассмотренные далее.

Отдел обработки и анализа данных подчиняется напрямую генеральному директору

В большинстве компаний данное подразделение находится в подчинении у технического директора (его сотрудники являются частью команды инженеров), а иногда у финансового директора. В Stitch Fix этот отдел имеет особый статус, и у нас есть главный специалист по алгоритмам – Эрик Колсон, который принимает участие в обсуждении стратегии. Эрик пришел в компанию из Netflix в августе 2012 года, а до этого он нас консультировал. Он заинтересовался работой в Stitch Fix, потому что это был вызов. Как он вспоминает, в Netflix кто-то однажды сказал: «Что, если мы начнем показывать фильм, который, как нам кажется, понравится клиенту, когда тот только откроет приложение?» Это казалось смелой, но рискованной идеей. Эрик понял, что как раз этим и занимается Stitch Fix. Будучи нашим консультантом, он как-то провел отпуск, анализируя некоторые наши данные, после чего решил присоединиться к Stitch Fix на полный рабочий день, и это была огромная удача для небольшого стартапа.

Поскольку наш доход зависит от хороших рекомендаций алгоритмов, важно, чтобы специалисты по анализу данных подчинялись непосредственно генеральному директору. Мы также верим, что это демонстрирует всей организации наши ценности и подход к стратегии: анализ данных чрезвычайно важен и другие подразделения, например маркетинга и инжиниринга, могут расширить свои возможности, тесно сотрудничая с отделом Data Science.

Инновации, внедренные благодаря анализу данных

Мы разработали десятки алгоритмов, которые никто никогда не заказывал, потому что позволяем нашему отделу обработки и анализа данных предлагать новые решения и определять, есть ли у них потенциал. Например, никто не просил команду создавать алгоритмы рекомендаций для повторной покупки (они необходимы, когда определенный товар хорошо продается и нам нужно закупать его больше). Наши алгоритмы помогают увидеть подобные тенденции раньше, в результате чего повышается эффективность хранения запасов на складе и мы готовы к скачкам спроса. Недавно команда предложила инструмент для отслеживания перемещений сотрудников на складах и создала алгоритм, помогающий оптимизировать их маршруты.

Иногда людям трудно представить, насколько глубоко укоренился анализ данных в нашей корпоративной культуре. Сейчас мы используем много разных алгоритмов, и еще больше находится в разработке. Персональные рекомендации по выбору одежды, конечно же, основаны на машинном обучении. При управлении процессами и запасами мы применяем алгоритмы для поддержания низких капитальных затрат, перемещения запасов и эффективности поставок. Разработчики продукта адаптировали некоторые генетические алгоритмы, чтобы выявить характеристики одежды, благодаря которым она пользуется успехом. Мы также начали использовать машинное обучение для разработки дизайна изделий.

Hybrid Designs (наш собственный бренд одежды) появился, чтобы восполнить недостаток некоторых товаров на рынке. Например, многие женщины в возрасте от 40 лет хотели бы купить блузки с рукавами-крылышками, но такие вещи отсутствовали в наших коллекциях. Перенесемся на год вперед, и вот у нас уже 29 предметов одежды для женщин, включая вещи больших размеров, которые были разработаны с помощью компьютера и удовлетворяют конкретные потребности наших клиентов.

Мы также используем данные, полученные в результате измерений различных параметров одежды. В зависимости от ее типа отслеживаются от 30 до 100 характеристик. Благодаря опыту работы с более чем 2 млн активных клиентов мы точно знаем, как должна сидеть вещь, чтобы клиент заплатил за нее больше, чем привык. Нам известно оптимальное соотношение размера груди и ширины мужской рубашки. Используя анализ данных, мы отрегулировали расстояние от воротника до первой пуговицы на рубашках для мужчин с большим обхватом груди. Мы знаем, какой части населения подходят брюки с длиной внутреннего шва 69 см, и можем рассчитать запасы, исходя из этих данных.

В некотором смысле это легкая часть работы. Сложнее рассчитать, как правильно подобрать для клиента платье нужного цвета и размера в подходящее время. Мы должны учитывать все параметры, а также вкус потребителя, время года, местоположение, прошлые тенденции – множество переменных.

Когда нужно было выбрать, во что вкладывать средства: в маркетинг, продукт или анализ данных, мы почти всегда выбирали последнее. Мы рады, что начали с Data Science, а не стали обычным ритейлером, чтобы впоследствии преобразовать традиционную модель – это, как я думаю, не сработало бы. Для традиционного розничного продавца сказать «Давайте делать то же, что Stitch Fix» – все равно что я бы сказала: «А не стать ли мне повыше?»

Не забывайте о людях

Аналитик во мне любит наш алгоритмический подход, но шопинг – это нечто очень личное, присущее только людям. Вот почему мы настаиваем на том, чтобы объединять анализ данных с работой реальных стилистов, которые имеют право изменить или отклонить набор вещей, подобранных алгоритмом стилей. Наши стилисты – из разных областей дизайна и розничной торговли, но все они ценят анализ данных и чувствуют клиентов. В некоторых случаях люди намного лучше машин, и, вероятно, так будет еще долго.

Например, когда клиент дает конкретный запрос: «Мне нужно платье для свадьбы на открытом воздухе в июле», наши стилисты сразу же понимают, какие варианты могут подойти для этого события. Кроме того, клиенты часто делятся личными подробностями о беременности, значительной потере веса или новой работе – это важные нюансы, которые машина не в силах понять полностью. Стилисты же знают, насколько особенными являются такие жизненные моменты, и могут приложить все силы для создания правильного образа, общаясь с клиентом и импровизируя, когда необходимо. Это создает невероятную лояльность к бренду.

Все просто: хороший человек плюс хороший алгоритм намного превосходят лучшего человека или лучший алгоритм по отдельности. Мы не противопоставляем людей и анализ данных друг другу. Нам нужно, чтобы они работали вместе. Мы не учим машины вести себя как человек и уж, конечно, не учим людей вести себя как машины. Все мы совершаем ошибки – стилист, специалист по анализу данных, я сама и даже алгоритм могут ошибиться, но важно то, что мы учимся на них.

Впервые опубликовано в выпуске за май – июнь 2018 года.

Алгоритмам тоже нужны менеджеры

Майкл Лука, Джон Клейнберг, Сендхил Муллайнатан

БОЛЬШИНСТВУ МЕНЕДЖЕРОВ В СВОЕЙ РАБОТЕ приходится делать прогнозы. Когда специалисты по найму решают, кого взять на работу, они прогнозируют, кто из кандидатов будет наиболее эффективен. Когда отдел продаж выбирает, какие каналы распространения использовать, он прогнозирует, где продукт будет продаваться быстрее. Когда венчурный отдел определяет, вкладываться ли в стартап, он прогнозирует, будет ли данный проект успешным. Чтобы сделать эти и миллиард других бизнес-прогнозов, компании сегодня все чаще применяют компьютерные алгоритмы, производящие пошаговые аналитические операции с немыслимыми объемами данных на неописуемой скорости.

Алгоритмы делают прогнозы более точными, но при этом создают и собственные риски. В частности, такие ситуации могут происходить, если алгоритмы непонятны для нас. Вот широко известные примеры. Однажды сеть Netflix объявила конкурс с призовым фондом в $1 млн за разработку алгоритма, определяющего, какие фильмы понравились бы тому или иному пользователю. Команды специалистов по сбору и обработке данных объединили свои усилия и сделали соответствующий продукт. Но программа была написана для DVD, поэтому с переходом зрителей Netflix на потоковое видео их предпочтения поменялись и перестали совпадать с прогнозами алгоритма.

Вот другой пример из сферы социальных медиа. Сегодня многие сайты применяют алгоритмы для определения, какую рекламу и ссылки показывать пользователю. Когда такие программы фокусируются слишком узко, максимально увеличивая количество переходов на страницу, сайты переполняются ссылками на низкосортные статьи с заголовками-приманками. Переходы по ссылкам умножаются, но общее удовлетворение пользователей может резко снизиться.

Подобные проблемы легко предотвратить. Разрабатывая и применяя алгоритмы, а также определяя новые ресурсы данных для ряда организаций, мы поняли, что источник трудностей часто не в ошибках программирования алгоритмов, а в том, как мы взаимодействуем с ними. Чтобы избежать промахов, руководителям необходимо понять, с чем алгоритмы справляются хорошо: на какие вопросы дают ответы, а на какие – нет.

Почему умные алгоритмы нас запутывают?

Как показывает практика, очеловечивание алгоритмов делает их более удобными для нас. Оно может быть полезно, к примеру, если вы разрабатываете функцию автоответчика. Живой голос будут слушать более охотно, чем машинный. Однако фундаментальная проблема заключается в том, что люди относятся к алгоритмам и выполняющим их компьютерам так же, как к работнику, начальнику или коллеге. Но в поведении любого алгоритма есть два очень важных отличия от человеческого.

Алгоритмы ужасно буквальны

В фильме «Мстители: Эра Альтрона» Тони Старк (также известный как Железный человек) создает Альтрона, охранную систему с искусственным интеллектом, чьей обязанностью является защита Земли. Но Альтрон воспринимает задачу буквально, заключив, что лучшим способом защитить Землю будет уничтожение всех людей. Во многих ситуациях Альтрон ведет себя как типичный алгоритм: делает именно то, что от него требуется, игнорируя дальнейшие обсуждения. Алгоритмам нужно точное управление, иначе появляются проблемы.

Идея вкратце

Проблема

Алгоритмы – обязательный инструмент планирования, но они могут легко завести в тупик людей, принимающих решения.

Причины

Все алгоритмы обладают двумя свойствами: они буквальны, то есть делают именно то, что от них требуют. И они представляют собой черные ящики, не объясняя, почему дают ту или иную рекомендацию.

Решение

В процессе формулирования алгоритмов будьте точны в выражении всех своих целей. Рассмотрите долгосрочное применение изучаемых данных. Удостоверьтесь, что вводите именно те данные, которые необходимы.

Создатели сайтов социальных медиа, внезапно заваленных ссылками-приманками, попали в ту же ловушку. Их общая цель ясна: предоставлять наиболее привлекательные и вызывающие любопытство пользователей материалы. Чтобы сообщить это алгоритму, программисты подобрали ряд инструкций, похожих на хорошее приближение: найти то, на что пользователь будет больше всего нажимать. И это неплохое приближение: обычно люди нажимают на то, что интересует их больше всего. Но из-за решений, основанных только на этом, сайты быстро заполнились поверхностными и оскорбительными материалами, которые плохо отразились на их репутации. Человек бы понял, что разработчики сайта имели в виду «максимально увеличить качество, измеряемое в кликах», а не «максимально увеличить количество кликов даже в ущерб качеству». Алгоритм понимает только то, что сказано точно.

Алгоритмы – это черные ящики

В «Юлии Цезаре» Шекспира прорицатель предостерегает Цезаря: «Тебе грозят бедою иды марта». Рекомендация абсолютно ясна: Цезарю следует опасаться. Но, с другой стороны, она совершенно неразъяснима. Опасаться чего? Почему? Цезарь, опечаленный таинственной фразой, отпустил прорицателя со словами: «Он бредит. Бросим же его». Конечно, иды марта оказались плохим днем для правителя. Проблема была в том, что прорицатель дал неполную информацию. К тому же не существовало ни единой зацепки, чтобы догадаться, чего именно не хватает и насколько важным было сообщение.

Как и шекспировский прорицатель, алгоритмы часто могут предсказывать будущее с огромной точностью, но без указания причин и обстоятельств событий. Алгоритм может просмотреть все статьи в The New York Times и определить, какую из них с наибольшей вероятностью перепостят в Twitter, но сделает это без обязательных объяснений, что к этому подвигнет. Алгоритм может предсказать, кто из сотрудников в самые короткие сроки окажется наиболее успешным, не уточняя, какие качества наиболее важны для успеха.

Осознание этих двух ограничений алгоритмов – первый шаг к улучшению управления ими. А теперь рассмотрим, какие еще шаги можно предпринять для их более успешного использования.

Будьте точны в выборе каждой цели

У всех есть задачи и требования, но очевидно, что окончательный результат не всегда оправдывает средства. Мы осознаем, что есть необязательные (обычно не обсуждаемые) цели и уступки. Мы можем допустить небольшое снижение прибыли сегодня ради повышения репутации завтра. Мы можем бороться за равенство, даже если в краткосрочной перспективе это обещает организационные проблемы.

Алгоритмы же, напротив, будут целеустремленно продвигаться к означенной цели.

Если вам важны промежуточные цели, нужно сформулировать их, определить и количественно выразить их значимость. В случаях, когда эти задачи сложно измерить, держите их в приоритете, изучая результаты работы алгоритма.

В компании Google (которая оплачивала некоторые наши исследования на другие темы) проблема промежуточных целей возникла при работе с алгоритмом, определяющим, какую рекламу показывать. Профессор Гарварда Латания Суини обнаружила ее в процессе исследования. Оказалось, что при наборе типично афроамериканских имен, например Латания Фаррелл, отображаются ссылки, предлагающие просмотреть записи о возможных арестах, чего не происходит в случае ввода имен вроде Кристен Херинг. Четкая цель Google – максимальное увеличение количества переходов по ссылкам – привела к ситуации, в которой ее алгоритмы, улучшаемые со временем с помощью обратной связи, стали фактически порочить людей с определенными именами. Это произошло вследствие того, что люди, искавшие те или иные имена, с большей вероятностью переходили на записи об арестах, что заставило подобные записи появляться чаще, создавая замкнутый круг. Скорее всего, это не ожидаемый исход, но без постановки промежуточной цели не было механизма, позволявшего увести от него алгоритм.

Недавно мы наблюдали важность промежуточных целей в действии. Один из нас работал в городе на Западном побережье США, улучшая эффективность работы его ресторанных инспекций. Десятилетиями в этом городе подобные инспекции, как правило, проводились наугад, но чаще проверки «с пристрастием» доставались уже проштрафившимся заведениям. Выбор заведений для проверки – идеальная работа для алгоритма. И наш алгоритм нашел массу других переменных для прогнозирования, кроме уже существовавших попаданий. В результате департаменту здравоохранения было бы гораздо проще определять возможных нарушителей и затем обнаруживать проблемы, проводя при этом гораздо меньше проверок.

В департаменте одобрили идею повышения эффективности процесса и захотели реализовать ее. Мы поинтересовались, есть ли у представителей департамента какие-либо вопросы или сомнения. После неловкого молчания руку подняла одна сотрудница. «Я не знаю, как это объяснить, – сказала она, – но есть один момент, который нам нужно обсудить». Она объяснила, что в некоторых районах с более плотной застройкой имеется тенденция к большему количеству нарушений. Также оказалось, что в этих районах проживает больший процент меньшинств с низкими доходами. Она не хотела, чтобы алгоритм одержимо набрасывался на эти районы, и сформулировала промежуточную цель, связанную с равномерностью. Мы приняли простое решение установить максимальное число проверок для каждой зоны. Таким образом достигались обе цели: и основная – выявление ресторанов, с наибольшей вероятностью имеющих проблемы, и промежуточная – гарантия, что бедные районы не подвергнутся излишнему прессингу.

Обратите внимание на дополнительный шаг, позволивший нам учесть промежуточные цели: мы дали всем возможность высказать любые сомнения. Оказалось, что люди часто формулируют промежуточные цели в виде сомнений, поэтому четкий вопрос об их наличии дает начало более открытому и плодотворному обсуждению. Также чрезвычайно важно дать людям возможность быть откровенными и честными, чтобы говорить о том, о чем они обычно молчат. Такой подход помогает обнаружить разнообразные проблемы, но те, что мы обычно видим, относятся к справедливости и к работе с тонкими моментами.

Имея базовую цель и список сомнений, разработчик алгоритма может встроить в него необходимые компромиссы. Часто это означает расширение цели до различных исходов, распределенных по важности.

Минимизация близорукости

Популярная компания, занимающаяся продажей упакованных товаров, заказывала дешевую продукцию в Китае и продавала ее в США. Выбор продукции осуществлялся с помощью алгоритма, который предсказывал самые продаваемые позиции. Будучи полностью в нем уверенной, компания запустила продажи, которые шли неплохо, пока через несколько месяцев покупатели не начали возвращать товары.

Между прочим, можно было предвидеть удивительно высокое и устойчивое количество возвратов (даже несмотря на то что алгоритм не смог этого предсказать). Компания, безусловно, заботилась о качестве, но не заложила этой заинтересованности в алгоритм, который был точно запрограммирован на удовлетворение покупателей, заставив его сосредоточиться исключительно на продажах. А именно этот новый подход должен был блестяще спрогнозировать не просто то, насколько хорошо будут продаваться товары, но и то, насколько они понравятся людям и насколько долго те будут ими пользоваться. Теперь возвраты резко упали, а фирма ищет на Amazon и других платформах предложения, о которых будут с восторгом говорить все покупатели.

Эта компания попала в обычную ловушку работы с алгоритмами – тенденцию к ограниченности. Они фокусируются на существующих данных, а те часто имеют отношение к краткосрочным исходам. Может происходить задержка между кратковременным успехом и долговременной прибылью с более широкими корпоративными целями. Люди понимают это без пояснений, алгоритму же нужны уточнения и указания.

Эту проблему можно решить в фазе целеполагания, идентифицируя и конкретизируя долговременные цели. Но, действуя по прогнозам алгоритма при работе с долгосрочными целями, менеджеры должны приспособиться и к масштабу, который задается алгоритмом.

Близорукость – это тоже скрытая слабость программ, создающих низкокачественный контент путем поиска способа увеличения количества переходов по ссылкам. Алгоритмы оптимизируются, чтобы достичь цели, которую можно измерить в данный момент (переходит посетитель по ссылке или нет), не принимая во внимание долгосрочную и более важную задачу: сохранять удовлетворение пользователей от работы с данным сайтом.

Близорукость также может иметь место в ходе маркетинговых кампаний. Вспомните заурядную рекламную кампанию Gap в Google. С наибольшей вероятностью она должна была привести к всплеску посещаемости сайта Gap.com, потому что алгоритм Google хорошо угадывает людей, которые перейдут по рекламной ссылке. Но дело в том, что настоящая цель – это рост продаж, а не посещаемости сайта. Чтобы достичь ее, рекламные платформы могут собирать данные о продажах различными способами, такими как партнерство с платежными системами, и внедрять их в свой алгоритм.

Более того, посещаемость сайта – краткосрочное поведение, в то время как долговременное влияние рекламы включает в себя «эффекты нижнего течения» на имидже бренда и постоянных клиентах. Идеальные данные для таких эффектов найти трудно, но здесь может очень помочь внимательный аудит уже имеющихся данных. Менеджерам следует систематически составлять списки внешних и внутренних данных, которые могут соответствовать текущему проекту. В случае с кампанией Google маркетологам Gap следовало начать с описания всех своих целей – больших продаж, малого количества возвратов, хорошей репутации и так далее, – а затем проговорить способы измерения каждой из них. Возвраты товара, отзывы в сети и поиски по слову «Gap» стали бы отличными критериями. И тогда алгоритм смог бы построить лучший прогноз из комбинации этих переменных, калибруя их относительную важность.