Текст книги "Работа с данными в любой сфере"

Как мы узнали, массив данных будет полезен не меньше, чем аналитик данных. Для любого проекта требуется высокая степень креативности, чтобы получить максимальную отдачу от имеющихся данных. Аналитики данных должны проникнуться мышлением, позволяющим задавать правильные вопросы об интересующих их данных, и я хочу подчеркнуть здесь, что вы должны думать творчески и нестандартно – определяя далекоидущие последствия проекта через его массивы данных. В конце концов, применение данных способно дать удивительные результаты – высветить проблемы, нюансы и пробелы, о которых мы, возможно, не узнали бы без тщательного анализа данных. Это актуально для всех дисциплин и отраслей, которые используют данные для управления практикой: креативность – вклад аналитиков данных в наилучшее решение проблемы – значительно повлияет на качество выполнения задания.

Конечно, необходимый уровень творчества варьируется: для решения одних проблем достаточно традиционного подхода, а для решения других нужно что-то оригинальное. И если вы спросите меня, что лежит на дальнем конце этого спектра и что находится на переднем крае науки о данных и технологий, без тени сомнения я отвечу: искусственный интеллект.

Времена высокочувствительных роботов из «Бегущего по лезвию» придут еще не скоро, но было много ситуаций, когда роботы брали верх над людьми, играя с ними в человеческие игры.

Искусственный интеллект

С кем бы я ни разговаривал, упоминание искусственного интеллекта (ИИ) всегда вызывает интерес. Это увлекательная область развития, новости о которой обязательно попадут в заголовки. Однако ИИ полностью зависит от наличия данных и способности компьютера их обрабатывать.

Первое, о чем многие подумают при обсуждении ИИ, – это отношение к нему в голливудских фильмах, предупреждающих, что прогресс в этой области в конечном итоге приведет к нашей гибели. В «Бегущем по лезвию», экранизации научно-фантастического романа Филипа К. Дика «Мечтают ли андроиды об электрических овцах?», облик и реакции роботов («репликантов») настолько реалистичны, что в конечном итоге они становятся угрозой для существования человека. По этой причине роботов изгоняют во внеземные колонии. Однако некоторые из них возвращаются на Землю и ведут себя враждебно по отношению к нашему биологическому виду. Поскольку отличить этих роботов от людей по внешнему облику невозможно, создается машина Войта – Кампфа. Она подобна полиграфу и фиксирует ответы на ряд вопросов, специально разработанных для изучения эмоциональной реакции испытуемых. Предполагалось, что эти вопросы озадачат роботов – поскольку у них эмоции вроде бы отсутствуют – и тем самым раскроют истинную идентичность репликантов.

Реальный прототип теста известен как тест Тьюринга. Предложенный дешифровальщиком Аланом Тьюрингом в 1950-х гг. для оценки способности людей отличать машину от человека, тест оценивает ответы, полученные во время опроса. В отличие от теста Войта – Кампфа, в тесте Тьюринга два субъекта: один – робот, другой – человек, и оба они скрыты от взгляда исследователя. Последний должен определить, какой из субъектов является роботом[17]17
  При этом задача робота – отвечать так, чтобы его не понял исследователь. – Прим. науч. ред.


[Закрыть], – он задает обоим ряд только текстовых вопросов и оценивает, насколько их ответы похожи на те, что мог бы дать человек.

Кейс: Deep Blue и AlphaGo

В соревнованиях 2016 г. по игре в го (очень популярная в Восточной Азии абстрактная стратегическая настольная игра, в которой участвуют двое) машине, известной как AlphaGo и созданной дочерней компанией Google DeepMind, удалось победить 18-кратного чемпиона мира Ли Седоля в четырех из пяти игр.

Вы можете не считать это каким-то грандиозным достижением, вспомнив знаменитую шахматную партию, сыгранную русским гроссмейстером Гарри Каспаровым и Deep Blue, компьютером, специально разработанным IBM. Deep Blue выиграл, и это случилось еще в 1997 г. Но даже несмотря на то, что робот добился успеха почти за 20 лет до успеха AlphaGo, результат последней представляет для нас особый интерес.

Игра в шахматы полностью основана на логике. Цель Deep Blue состояла в том, чтобы безупречно соблюдать эту логику и ждать, пока противник допустит ошибку. Люди совершают ошибки, машины – нет. В отличие от шахмат игра в го основана на интуиции. По сравнению с логикой, которой руководствуется компьютер, интуиция – гораздо более сложный феномен: она требует, чтобы машина развивала внутренние знания об игре, которые не могут быть просто запрограммированы в ней[18]18
  Генеральный директор подразделения Google DeepMind Демис Хассабис определяет интуицию как неявное знание, которое приобретается через опыт и не является сознательно выраженным или даже доступным, поэтому мы не можем получить доступ к этому знанию сами и, конечно, не можем передать его другим.


[Закрыть].

В го игроки перемещают черные и белые фишки по доске с разметкой 19×19 клеток. Цель игры – захватить бо́льшую площадь, чем противник. AlphaGo первоначально получила обширную базу данных – около 30 млн сделанных людьми ходов, проанализированных с помощью комбинации машинных алгоритмов и методов свободного поиска. После того как значительное количество игр было сыграно против соперников-людей и собрано достаточно знаний о поведении противников, AlphaGo миллионы раз сыграла сама против себя, чтобы еще больше улучшить результаты. (Это тип обучения с подкреплением, о котором я расскажу более подробно в главе 6.) Только после того, как этот период обучения завершился, создатели машины выставили ее против лучших игроков мира. От шахмат до го искусственный интеллект прошел значительный путь, обучаясь через действия и наблюдения, а не только применяя математическую логику[19]19
  В октябре 2017 г. Google DeepMind анонсировала AlphaGo Zero. Его особенность заключается в том, что он вообще не использует никаких челове>ческих данных, а скорее полностью учится на собственной игре (DeepMind, 2017). Эта новая версия настолько мощная, что победила первую Alpha Go в 100 играх. Как это коррелирует с экспоненциальным прогрессом в науке о данных?


[Закрыть].

В этот момент вы можете подумать: «Победа ИИ в шахматах и гo впечатляет, но как все это относится к бизнесу?»

Применение искусственного интеллекта не ограничивается победами над людьми в игре го. Та же компания DeepMind разработала искусственный интеллект, чтобы помочь Google лучше управлять охлаждением в их обширных центрах обработки данных. Система смогла последовательно достигнуть поразительного 40 %-ного сокращения количества энергии, используемой для охлаждения. Это не только создает огромный потенциал для экономии в компании, но также означает повышение энергоэффективности, сокращение выбросов и в конечном счете – вклад в решение проблемы изменения климата (DeepMind, 2016). Если это не творческий подход к решению проблем бизнеса, то я не знаю, что им является.

Как я уже говорил в пункте 1, истинная красота науки о данных заключается в том, что в отличие от многих других дисциплин для ее освоения не потребуются годы практики. Читатели, которые только начинают заниматься наукой о данных, не должны чувствовать себя в невыгодном положении относительно сверстников, которые, возможно, работали с данными и изучали их всю жизнь. Опять же, все, что вам нужно, – это небольшое изменение в мышлении – сосредоточьтесь на том, что вы знаете, а не на том, чего не знаете. Используйте и свои углубленные знания другого предмета, и любые навыки, которые вы, вероятно, получили как профессионал и/или студент.

Глубокие знания

Мало того что в науку о данных несложно вникнуть – занявшись ею после освоения какой-либо другой дисциплины, вы получаете преимущество. Вот где творческий стержень науки о данных может проявить себя еще раз. Возьмем в качестве примера писателей-профессионалов. Если писатель потратил все свои усилия только на изучение того, как и что писать, и у него не было времени на расширение своего кругозора, на прочтение множества книг по самым разным вопросам, то у такого писателя не хватит знаний и опыта, чтобы опираться на них в работе. То же самое верно для науки о данных: те, кто изучал только ее всю свою жизнь и имеет ограниченный профессиональный или личный опыт в других сферах, будут подходить к любому проекту однобоко.

Итак, предположим, что лингвист решил заняться наукой о данных. Он будет иметь значительное преимущество перед другими аналитиками данных в связанных с лингвистикой проектах. Это правда: назовите любую профессию, и я расскажу вам, как применить в ней науку о данных. Аналитик данных с опытом в лингвистике, например, мог бы выиграть от получения доступа к материалам из Международного архива диалектов английского языка, в котором хранятся голоса тысяч участников со всего мира, и использовать эти звуковые файлы для составления диалектной карты мира. «Сырой» аналитик данных может поэкспериментировать с материалом, но специалист по данным с правильным прошлым задаст правильные вопросы, чтобы получить действительно интересные результаты. Скажем, Вест-Индия, известная лингвистам распространенным там необычным сленгом, может быть взята в качестве объекта первоначального исследования, результаты которого заложат основы для дальнейшего изучения поколенческих, этнических и гендерных различий в речи.

Стать специалистом в области науки о данных не означает разворот на 180˚ по отношению к тому, что вы узнали и освоили раньше. Как раз наоборот. Иногда самые интересные для вас проекты будут находиться «рядом с домом». Подумайте о проблемах, с которыми вы сталкиваетесь на своем рабочем месте: есть ли способ решить их с помощью данных?

Гибкие навыки

Хотя это, несомненно, полезно, вы необязательно должны быть экспертом в какой-то области, чтобы иметь фору в науке о данных. Даже гибкие, широко использующиеся навыки, такие как работа в команде и опыт публичных выступлений, могут значительно помочь вам. Они принесут даже больше пользы, чем глубокие знания, тем, кто, еще не успел получить достаточный жизненный опыт или образование. Подумайте о своих навыках: вы легко общаетесь? Можете ли вы адаптировать устоявшиеся решения к различным ситуациям? У вас эстетический вкус? Вы нестандартно мыслите?

Я пришел в науку о данных, будучи специалистом в области финансов, но, хотя мои знания, несомненно, пригодились мультинациональной консалтинговой фирме Deloitte, думаю, что в конечном итоге мне помогли гибкие навыки, которые я приобрел гораздо раньше, еще в школьные годы. Кроме того, начиная заниматься наукой о данных, я хорошо понимал, как визуализировать результаты проектов эстетически привлекательным образом. В детстве я жил в Зимбабве, где дважды в неделю изучал изобразительное искусство. Я приобрел только базовые навыки в рисовании и научился лепить забавную глиняную посуду, но, хотя курс, возможно, и не сделал меня преемником Жоана Миро[20]20
  Каталонский художник-абстракционист, прославившийся в том числе керамическими работами. – Прим. пер.


[Закрыть], он научил меня тому, как цвет, эстетика и положительные психологические эффекты могут повлиять на мой итоговый рабочий отчет.

После того как несколько лет спустя я вернулся в Россию, мне преподавали – в трех разных школах – совсем другое, в основном точные науки. Это научило меня академической строгости, которая пригодилась в грядущие годы в университете, но привело к нехватке необходимых социальных навыков. Будучи почти неисправимым интровертом, я работал над собой, чтобы приобрести некоторую уверенность в себе и развить способность к общению – качества, которые, как я знал, мне понадобятся. Я нашел книгу по самопомощи, в которой было все, что мне требовалось знать о том, как выбраться из своей раковины. Упражнения в ней были немного необычными (общаться, лежа посреди оживленной кофейни, или завести непринужденный разговор с людьми в общественном транспорте), но для меня они сработали. Эти усилия, первоначально, возможно, мотивированные юношеским стремлением к участию в университетских мероприятиях и спортивных командах, позже помогли мне зарекомендовать себя коммуникативным человеком, что оказалось привлекательным на моей работе, где были нужны аналитики данных для предоставления отчетов широкому кругу лиц, имеющих отношение к деятельности всей компании.

Это еще один важный фактор для аналитиков данных: если вы хотите получить возможность запустить проект по обработке и анализу данных, вам придется научиться разговаривать с нужными людьми. Это часто будет означать расспросы вне вашей команды и потенциальной зоны комфорта. Данные ничего не скажут вам, если вы не зададите правильные вопросы, поэтому ваша работа – выйти «в свет» и получить ответы от людей, которые внесли свой вклад в вашу базу данных.

В обоих случаях, которые мы здесь обсуждали, – используете ли вы связанное с углубленными знаниями преимущество для поиска информации и применяете ли гибкие навыки для получения ответов от людей, – вы, вероятно, сталкиваетесь с данными, которые не являются числовыми и истинность которых поэтому зависит от контекста и субъективности анализа. Информация такого рода – мы называем ее неструктурированными данными – может быть письменным ответом, либо записанным видео– или аудиоинтервью, либо изображением. По причине того, что неструктурированные данные нельзя оценить количественно, компании часто предпочитают приглашать для их анализа специалистов в соответствующих областях.

Одним из замечательных аспектов науки о данных является то, что существует множество бесплатных материалов с открытым исходным кодом, которые позволяют легко продолжать практиковаться. Новички в какой-либо дисциплине склонны месяц за месяцем изучать теорию вместо того, чтобы настроить свое мышление на применение полученных знаний на практике. В качестве упражнения просто введите в поисковике слова «бесплатные массивы данных» / «free datasets» – и найдете множество сайтов, которые позволяют скачать их CSV-файлы (файлы для хранения табличных данных), готовые для анализа. Учитывая огромное количество и диапазон данных, от космических исследований NASA до комментариев Reddit или даже спортивных данных (баскетбол, футбол, бейсбол), я уверен, что вы найдете что-то ценное и интересное[21]21
  Мы также предлагаем множество бесплатных массивов данных для наших студентов на www.superdatascience.com.


[Закрыть].

Аналитика неструктурированных данных

Неструктурированная аналитика работает, как вы уже догадались, с неструктурированными данными, которые составляют большую часть информации в мире. Давая определение неструктурированным данным, проще сказать, что это все, что не относится к структурированным данным (числовой информации). Это может быть текст, аудио, видео или изображения. Название объясняется тем, что этот вид данных нельзя непосредственно преобразовать в массив данных – их необходимо сначала подготовить, а поскольку неструктурированные данные зачастую нельзя автоматически перевести в исчисляемые, то в их анализе неизбежна некоторая степень субъективности. В связи с этим неструктурированная аналитика крайне важна для любого исследователя данных.

Классическим примером неструктурированной аналитики является работа с качественными опросами, которые дают данные в текстовом или ином нечисловом формате. В прошлом эти данные должны были быть преобразованы в числовую форму, прежде чем их можно было понять с помощью аналитических инструментов. Это означало, что любые вопросы, которые не предполагали множественного выбора или одного ответа – и поэтому не могли быть легко перенесены в числовой формат, – требовали от аналитика данных вручную производить численную классификацию каждого ответа.

Например, на вопрос о том, чем наслаждался посетитель Йеллоустонского национального парка во время своего пребывания в нем, можно было получить ряд ответов, включая «полевые цветы», «пикники», «занятия живописью», «наблюдение за птицами», «греблю на каяке», «отличный отель с завтраком» и т. д. Аналитик данных должен был бы прочитать все эти результаты, а затем вручную сгруппировать их в категории, которые, по его мнению, были значимыми, такие как «природа», «деятельность», «экскурсии» и «отдых». Не всегда легко сгруппировать ответы по категориям, так как здесь не исключен субъективный подход.

Вы можете себе представить, что перевод этих ответов в числа в лучшем случае представлял итоговый массив данных в немного искаженном виде.

Сегодня методы сортировки результатов по контексту кардинально изменили то, как мы проводим исследования, и новые алгоритмы в этой области помогают нам точно работать в том числе и с изображениями. Аналитики данных признают наличие проблем в методах организации качественных данных и прилагают согласованные усилия для обработки значений, которые нелегко преобразовать в цифры. Полученные алгоритмы позволяют давать гораздо более точные прогнозы, чем было возможно ранее. Теперь мы можем рассматривать слова аналогично числовым данным, например обучая аналитические инструменты идентификации вспомогательных глаголов, а также идиоматических выражений, которые имеют отдаленное отношение к заданному ключевому слову. Это позволяет машине исследовать текстовые данные куда более качественно. Здесь может прийти на ум анализ литературных произведений с помощью цифровых гуманитарных наук, но это лишь мизерная доля того, что могут делать машинные алгоритмы в этой области. Применения неструктурированной аналитики выходят далеко за рамки академической сферы и простираются в мир коммерции. Даже в криминалистике машины теперь могут просматривать письменные сообщения подозреваемых с целью установить особенности поведения, которые детектив мог не заметить.

Вы можете подумать, что люди всегда будут действовать эффективнее машин при изучении средств массовой информации: большинство из нас все еще считает, что мы всегда будем лучше понимать более широкую контекстуальную среду. Как компьютер может распознать период искусства, или стаю чаек, или эмоции лучше, чем человек? На самом деле машины уже давно могут давать ошеломляюще точные прогнозы в отношении нечисловых данных. Еще в 2011 г. исследование, проведенное Институтом нейроинформатики Рурского университета в Бохуме и кафедрой компьютерных наук Копенгагенского университета, показало, что машины могут превосходить людей в выполнении даже таких сложных задач, как идентификация дорожных знаков (Stallkamp et al., 2012). Для этого исследования команда показала испытуемым машинам и людям фотографию, разделенную на квадраты. Задача состояла в том, чтобы определить, на каких квадратах (если таковые имелись) есть полное или частичное изображение дорожного знака. Возможно, вы видели эти тесты в интернете – в настоящее время они используются для дополнительной проверки безопасности перед входом пользователя на сайт и специально разработаны, чтобы лишить роботов доступа к защищенным данным. Результаты этого исследования показывают, что мы уже не в состоянии предотвратить захват данных искусственным интеллектом.

Облака слов

Я вижу, что облака слов часто используются в публичных презентациях, и подозреваю, что причина в том, что они искусно и содержательно сочетают изображение с текстом. Облака слов (или облака тегов) – это популярные способы визуализации текстовой информации, и если вы еще не используете их в своих презентациях, то захотите, узнав, как они работают. Создатель облака слов берет набор наиболее часто используемых слов из фрагмента анализируемого текста и группирует их в одном изображении, обозначая порядок их важности размером шрифта, а иногда также и цветом.

Облака слов, естественно, можно использовать для выделения тех терминов, которые чаще всего встречаются в тексте, будь то пресс-релиз или литературное произведение. Они также могут быть применены к данным опросов, что делает их очень простым, но эффективным способом показать пользователям ключевые понятия или ощущения, связанные с заданным вопросом. Таким образом, их эффективность связана с многофункциональностью и определением ключевых или наиболее значимых слов во всем, что содержит текст: метаданных, романах, докладах, анкетах, эссе или исторических записях.

В интернете есть много простых генераторов облака слов, где вы можете поиграть со шрифтами, макетами и цветовыми схемами. (Облако слов на рис. 3.1, например, было сгенерировано на основе анализа текста введения этой книги с использованием www.wordclouds.com.) Они гораздо более привлекательно выглядят, чем упорядоченные списки. Обратитесь к ним при подготовке своей следующей презентации; вы удивитесь тому, как легко окажется запустить дискуссию (подробнее о средствах визуальной аналитики см. главу 6).

Наука о данных значительно облегчила компаниям доступ к средствам массовой информации и их анализ. Большинство владельцев бизнеса и маркетологов знакомы с SurveyMonkey – онлайн-провайдером бесплатных анкет, который обрабатывает сведения, полученные из опросов, с помощью своих инструментов анализа данных. Пользователи получают доступ к потребительским данным в режиме реального времени, а ответы из анкет участников визуализируются в виде простой графики и пользовательского дашборда. На момент написания этой книги компания может предоставлять результаты в режиме реального времени, составлять пользовательские отчеты в виде диаграмм и графиков, осуществлять фильтрацию данных, выявляя демографические тенденции, а также проводить текстовый анализ, давая пользователям наиболее релевантные текстовые данные из опросов в виде облака слов.

В то время как лучшие инструменты анализа в настоящее время небесплатны для пользователей, все большее количество программного обеспечения либо имеет открытый исходный код, либо находится в свободном доступе в интернете. Если бы вы были художником, это походило бы на бесконечный запас мольбертов, красок и холстов.

Я настоятельно призываю вас использовать эти общедоступные массивы данных для проверки своих навыков и проведения собственных анализов. В практике нет кратчайшего пути. Многое из того, что вы делаете, особенно на начальном этапе, будет включать в себя пробы и ошибки. Лучший способ приучить себя отстраненно думать о решении проблем с помощью данных – повысить свою открытость различным сценариям, другими словами, различным массивам данных.

С чего начать? Лучший выбор может быть прямо под носом. Я ожидаю, что многие читатели окажутся владельцами бизнеса или сотрудниками компании, которая рассчитывает использовать данные в ближайшем будущем. Те из вас, кто так или иначе работал с какой-то компанией, в какой-то момент столкнутся с бизнес-аналитикой.

Бизнес-аналитика vs наука о данных

Если вы уже использовали бизнес-аналитику (БА) на своем рабочем месте, значит, вы уже кое-что умеете. С помощью БА вы должны определить бизнес-вопрос, найти соответствующие данные, визуализировать и представить их убедительным образом инвесторам и заинтересованным сторонам. Это уже четыре из пяти этапов процесса изучения данных, к которым мы вернемся во второй и третьей частях. Основным исключением является то, что БА не проводит детального, исследовательского анализа данных. Она просто описывает то, что произошло, в процессе, который мы называем «описательная аналитика».

Наука о данных дает нам основу для ответа на дополнительные вопросы, связанные с массивом данных компании, а также для прогнозирования и идей по улучшению. У технологической исследовательской фирмы Gartner есть модель для разделения науки о данных на четыре типа, и, если бизнес-аналитика соответствует первому типу анализа, наука о данных может помочь поставить галочки для трех остальных (рис 3.2).

Это хорошая новость, но, если вы будете заниматься бизнес-аналитикой без учета принципов науки о данных, это может в конечном итоге помешать вашему прогрессу. Вы будете использовать данные для составления первого бизнес-отчета – но ведь владельцам бизнеса часто нужны отчеты на регулярной основе. В таком случае данные обычно отходят на второй план: все внимание приковано к конечным результатам.

Это одна из проблем БА – данные часто оказываются вторичны по отношению к содержанию обновленного отчета. Но данные должны быть в центре любых результатов и идей, которые связаны с бизнесом, – для каждого отчета, который мы составляем, нужно заранее провести анализ данных – иначе мы ограничимся изучением лишь тех из них, что присутствовали в предыдущем исследовании.

Цепляться за БА может быть заманчиво, когда вы или ваша компания работали таким образом в течение многих лет, но наука о данных предлагает гораздо более впечатляющий набор инструментов – образно и буквально – для анализа. Благодаря ей разрабатываются и применяются различные аналитические программы и формируется процветающее онлайн-сообщество аналитиков данных, работающих с открытыми исходными кодами для того, чтобы усовершенствовать процесс и поделиться своими достижениями. Возможность использования этих инструментов избавляет человека от необходимости искать информацию вручную, позволяя сосредоточиться на преодолении узких мест, раскрытии возможностей продаж и оценке работоспособности бизнес-подразделения. К сожалению, традиционная зависимость БА от Excel может научить вас плохим привычкам.

Все, что, как вам кажется, вы знаете, – неверно

Все мы рано или поздно сталкиваемся с Excel. Она стала одной из самых важных программ для корпораций, и большинство таблиц существуют в формате XLSX. Тем не менее для Excel характерна тенденция чрезмерного упрощения, и поэтому у вас может сложиться искаженное впечатление о данных. Если вам знакомо только представление данных в Excel, вы должны быть готовы изменить свое восприятие аналитики.

Мы подробно рассмотрим трудности с Excel в главе 5 «Подготовка данных», а здесь лишь отметим: в программном обеспечении, возможно, нет типов данных. Мы, конечно, не имеем дело с ними напрямую, а это означает, что в электронной таблице неподготовленного человека строки, формулы и визуальные эффекты окажутся перепутаны. Несмотря на то что Excel выглядит как таблица, мы можем вставлять числа, слова, ссылки и дроби в одни и те же колонки, тем самым смешивая все типы данных без разбора. Ни один инструмент науки о данных не позволит вам смешивать данные и логику – проблема, которую мы рассмотрим в главе 5. В любой системе управления базами данных логика и данные должны рассматриваться отдельно.

Будьте готовы использовать программу, которая не является Excel. На мой взгляд, одни из лучших программ для анализа массивов данных – R и Python.