Текст книги "Data Science для карьериста"

• Похожа на: Google, Facebook и Microsoft.

• Возраст компании: 20 лет.

• Количество сотрудников: 80 000.

КИТк – влиятельная технологическая компания, продающая облачные сервисы и специализированное ПО для повышения производительности – текстовые редакторы, серверное оборудование и бесчисленное количество разовых бизнес-решений. Свое огромное состояние компания использует для финансирования необычных проектов в области исследований и разработок (НИОКР), таких как беспилотные скутеры и технологии виртуальной реальности (VR). Об их исследованиях говорят в новостях, а большинство технических сотрудников – это инженеры, которые постепенно совершенствуют уже имеющиеся продукты, добавляют дополнительные функции, улучшают пользовательский интерфейс и запускают новые версии.

В КИТк около тысячи дата-сайентистов. Они собраны в команды, каждая из которых поддерживает свой продукт или подразделение. Кроме того, специалиста могут направить в отдел другого профиля для всесторонней поддержки. Например, у команд проектировщиков VR-шлемов, маркетологов, специалистов по продвижению VR-шлемов и менеджеров цепочек поставок есть свой дата-сайентист.

Если бы вы стали членом одной из этих команд по анализу данных, то быстро бы адаптировались. В крупных организациях новых сотрудников нанимают ежедневно, поэтому в компании должны быть стандартные процессы выдачи ноутбука и обеспечения доступа к данным. Также сотрудников обучают работать со специализированным ПО. В команде вам поручат заниматься анализом данных для конкретной области. Это может быть создание отчетов и диаграмм, которые помогут менеджерам обосновать бюджеты проектов. Вам также могут поручить построение моделей МО – они передаются разработчикам для запуска ПО в продакшен.

Скорее всего, в вашей большой команде будет полно опытных специалистов. Поскольку КИТк – компания крупная и успешная, она может привлекать множество профессионалов. Вы будете работать в большой команде, члены которой нередко работают над практически несвязанными задачами, например один сотрудник может выполнять исследовательский анализ на R для директора, а другой – строить модель МО на Python для соседнего отдела. Размер команды – это и благословение, и проклятие в одном флаконе: вы можете обсудить свои идеи со многими экспертами, но большинство из них, скорее всего, не знакомы с вашими конкретными задачами. Кроме того, в команде есть устоявшаяся иерархия. К специалистам на более высоких должностях, как правило, прислушиваются чаще, потому что они опытнее и в своей профессиональной сфере, и в работе с различными отделами КИТк.

Работа вашей команды – это здоровый баланс между поддержанием деятельности компании (например, составление ежемесячных отчетов и ежеквартальное обновление модели МО) и реализацией новых проектов (например, создание новых прогнозов). Руководитель команды должен искать золотую середину между потоком запросов от других команд, которым результаты нужны в ближайшее время, и желанием взяться за что-то инновационное – не востребованное сейчас, но полезное в долгосрочной перспективе. Крупные финансовые возможности КИТк позволяют компании заниматься инновациями и НИОКР гораздо больше, чем другим организациям. Благодаря этому, в свою очередь, команды охотно работают над новыми интересными проектами в Data Science.

КИТк – крупная организация. При таких масштабах не избежать использования различных типов технологий между подразделениями. Один отдел может хранить данные о заказах и клиентах в базе Microsoft SQL Server, другой – записывать все в Apache Hive. Мало того, неупорядоченными являются не только технологии хранения данных, но и сами данные. Неупорядоченные технологии хранения – еще полбеды, ведь сами данные тоже ведутся по разным принципам. Одно подразделение индексирует записи о клиентах по номеру телефона, другое – по адресу электронной почты.

У большинства организаций такого же масштаба есть собственный арсенал технологий. Поэтому вам как сотруднику КИТк придется освоить способы работы с данными, характерные именно для этой компании. Изучение специализированного софта здорово поможет на текущей должности, но не в других фирмах.

Вам как специалисту по данным наверняка понадобится несколько видов инструментов. Поскольку КИТк – компания весьма крупная, она хорошо поддерживает распространенные языки, такие как R и Python. Некоторые команды порой работают с платными языками вроде SAS или SPSS, но это бывает реже. Если вы хотите использовать необычный язык, который нравится вам, но мало кем используется (скажем, Haskell), нужно будет получить согласие руководителя.

Комплекс технологий МО сильно различается в зависимости от отдела. Некоторые группы используют микросервисы и контейнеры для эффективного развертывания моделей, тогда как другие работают с устаревшими производственными системами. Разнообразие стека для развертывания ПО затрудняет подключение к API других команд; единой базы знаний или хотя бы понимания того, что происходит, попросту нет.

Быть дата-сайентистом в КИТк означает иметь потрясающую работу в потрясающей компании. А поскольку эта компания технологическая, сотрудники знают, кто такой специалист по данным и что полезного он может сделать. Когда все понимают вашу роль одинаково, это значительно облегчает работу. Если в компании много дата-сайентистов, значит, у вас будет широкий круг поддержки, а также возможность плавно влиться в команду и получить доступ к необходимым ресурсам. Оказаться в затруднении один на один – редкость.

В то же время у наличия толпы специалистов по работе с данными есть свои недостатки. Стек технологий сложен, в нем непросто ориентироваться, потому что создавался он разными людьми и разными способами. Может так случиться, что анализ, который вас попросили воссоздать, написал человек, который уже уволился, да еще и на незнакомом вам языке. Вам будет сложнее выделиться среди множества других специалистов. Кроме того, может быть непросто найти интересный проект, потому что над многими из них уже работают другие люди.

Как устоявшаяся компания КИТк дает больше гарантий занятости. Риск увольнений есть всегда, но работа здесь не похожа на работу в стартапе, где финансирование может прекратиться в любой момент. Кроме того, в крупных компаниях руководители больше склонны искать новых сотрудников, чем увольнять старых, потому что увольнение сложно юридически.

У сотрудников КИТк много специализаций – это одновременно и хорошо, и плохо. Дата-инженеры, архитекторы данных, дата-сайентисты, маркетологи и другие выполняют разные задачи, связанные с Data Science, а значит, вокруг вас будет много людей, которым можно передать работу. Например, создавать собственную базу данных вас вряд ли заставят. С одной стороны, хорошо иметь возможность делегировать задачи, для которых у вас нет опыта, а с другой – так вы не получите новые навыки.

Еще один минус КИТк – бюрократия. В крупной компании введение новых технологий, поездки на конференции и запуск проектов придется согласовывать с начальством. Хуже того, от проекта, над которым вы работали годами, могут отказаться из-за конфликта между двумя руководителями, а ваш проект может «пострадать от шальной пули». Или, что еще хуже, ваш проект может пасть случайной жертвой конфликта двух руководителей – его могут просто закрыть.

КИТк – отличная компания для дата-сайентистов, которые хотят решать сложные задачи с помощью передовых методов. Это касается и специалистов по принятию решений, планирующих заниматься анализом, и инженеров МО, мечтающих создавать и развертывать модели. У крупных компаний есть масса задач и денег, чтобы пробовать новые вещи. Возможно, вы не сможете самостоятельно принимать важные решения, но будете знать, что внесли в них свой вклад.

Работа в КИТк не подойдет специалистам, которые хотят самостоятельно руководить и принимать решения. В большой компании есть установленные методы, протоколы и модели, которым придется следовать.

• Похожа на: Payless, Bed Bath & Beyond и Best Buy[1]1
  Американские сети магазинов одежды и товаров для дома с низкими ценами. – Примеч. ред.


[Закрыть].

• Возраст компании: 45 лет.

• Количество сотрудников: 15 000 (10 000 в розничных магазинах, 5000 в офисах).

HandbagLOVE – это розничная сеть с 250 точками по всей территории США, которая занимается продажей кошельков и клатчей. Здесь трудятся оформители магазинов и специалисты по повышению качества обслуживания клиентов. Компания на рынке уже давно, но новые технологии осваивать не спешит: прошло довольно много времени, прежде чем у нее появились первый веб-сайт и приложение.

В последнее время продажи HandbagLOVE упали, поскольку Amazon и другие интернет-магазины потеснили компанию на рынке. Руководство осознало очевидное и решило улучшить ситуацию с помощью технологий, инвестируя в онлайн-приложение и Amazon Alexa, а также пытаясь использовать накопленные данные. Финансовые аналитики HandbagLOVE уже много лет прекрасно рассчитывают совокупную статистику по заказам и клиентам, но лишь недавно компания подумала о том, чтобы нанять дата-сайентистов для лучшего понимания клиентов.

Новая группа специалистов по анализу данных была создана на базе службы финансовых аналитиков, которые ранее составляли отчеты по показателям эффективности компании в Excel. После дополнительного привлечения дата-сайентистов команда начала создавать более сложные продукты: ежемесячные статистические прогнозы роста клиентов в R, интерактивные информационные панели для лучшего понимания продаж, а также сегментацию, объединяющую клиентов в удобные группы для целей маркетинга.

Даже после создания моделей МО для новых отчетов и анализа HandbagLOVE далека от внедрения их в непрерывный рабочий процесс. Все рекомендации по продуктам на ее веб-сайте и в приложении основаны на продуктах МО от сторонних производителей. В команде по анализу данных надеются изменить ситуацию, но никому не известно, когда это все же произойдет.

Команда полагается на специалистов по созданию отчетов, а не по машинному обучению, потому что оно для них в новинку. Никто не владел современными методами статистики и МО, так что сотрудникам приходилось вникать во все самостоятельно. Прекрасно, когда люди могут в одиночку изучать новые интересующие их техники. Обратная сторона медали – неэффективные или даже неправильные методы: в компании нет экспертов, которые могли бы проверить работу.

HandbagLOVE наметила общие пути продвижения специалистов по работе с данными на руководящие должности. К сожалению, они не подходят для сферы Data Science: это глобальные цели, скопированные из других областей вроде разработки ПО, потому что никто на самом деле не понимает, какие показатели использовать. Планируя повышение, вы должны убедить своего руководителя, что готовы перейти на следующий уровень, и, если повезет, он сможет получить одобрение для вашей кандидатуры. С другой стороны, если команда будет расти, вы быстро станете в ней старшим.

Сотрудников группы Data Science знают хорошо, потому что они делают отчеты и модели для других отделов компании (маркетинг, цепочка поставок, обслуживание клиентов). Команда пользуется уважением в компании и дружит с другими подразделениями. У дата-сайентистов HandbagLOVE гораздо больше полномочий, чем в других компаниях, из-за размера команды и ее влияния внутри организации. Их встречи с руководителями высшего звена на важных переговорах – обычное дело.

В разговорах о технологиях в HandbagLOVE вы часто слышите фразу: «Ну, мы всегда так делали». Данные о заказах и клиентах хранятся в базе данных Oracle, которая напрямую связана с кассовым аппаратом и за 20 лет ни разу не менялась. Система вышла за пределы своих возможностей и претерпела множество изменений. Тем не менее она все еще работает. Другие данные также собираются и хранятся в центральной базе: информация с веб-сайта, центра обслуживания клиентов, рекламных акций и маркетинговых рассылок. Все эти серверы, которые обслуживает ИТ-команда, располагаются локально (on-prem), а не в облаке.

Когда все данные хранятся на одном большом сервере, можно свободно подключаться и объединять их как угодно. И хотя иногда запрос занимает вечность или перегружает систему, обходными путями обычно получается найти рабочий способ. Большинство аналитических операций выполняется на ноутбуке. Более мощный компьютер для обучения моделей получить непросто. У компании нет стека технологий для машинного обучения, потому что нет МО как такового.

Как сотрудник HandbagLOVE вы очень влиятельны и можете делать все, что считаете нужным. Можно предложить создать модель пожизненной ценности клиента, построить ее и использовать в компании и при этом не просить разрешения у кучи людей. Такую свободу дает сочетание размера компании и новизны сферы Data Science. И она того стоит: перед вами открываются невероятные возможности для принятия лучших, на ваш взгляд, решений. С другой стороны, вокруг не так много людей, к кому можно обратиться за помощью. Вы сами несете ответственность за то, чтобы все работало, а также за последствия в случае неудачи.

Стек технологий устарел, и вам придется потратить много времени на поиск обходных решений, что, безусловно, не очень практично. Возможно, вы захотите использовать более новый способ хранения данных или запуска моделей, но не получите технической поддержки. Если вы не можете создать какую-либо новую технологию самостоятельно, вам придется обходиться без нее.

Заработная плата будет ниже, чем в более крупных компаниях, особенно в технологических. У HandbagLOVE просто нет денег, чтобы платить за анализ данных. Кроме того, компания в любом случае не ищет лучших из лучших – ей просто нужны люди, которые умеют делать базовые вещи. При этом зарплата не будет совсем уж низкой: безусловно, она будет намного выше, чем у большинства сотрудников с тем же сроком работы.

HandbagLOVE подходит для дата-сайентистов, которым нравится принимать собственные решения, но при этом не нужны передовые технологии. Если вы не против использовать стандартные статистические методы и составлять рутинные отчеты, HandbagLOVE станет хорошим местом для развития карьеры. Если же вы хотите связаться с новейшими технологиями МО, то таких проектов будет крайне мало; кроме того, в компании практически не будет людей, которые поймут хоть что-то из того, о чем вы говорите.

• Похожа на: тысячи неудачных стартапов, о которых вы даже не слышали.

• Возраст компании: 3 года.

• Количество сотрудников: 50.

Seg-Metra – молодая компания, чей продукт помогает клиентам оптимизировать веб-сайты с помощью кастомизации уникальных сегментов плкупателей. В начале своей короткой истории Seg-Metra привлекла нескольких известных клиентов к использованию своих технологий и благодаря этому смогла получить больше финансирования от венчурных капиталистов. Теперь, имея миллионы долларов, компания хочет быстро увеличить размеры и улучшить продукт.

Самое крупное усовершенствование, которое основатели компании предлагали инвесторам, – добавление в продукт базовых методов машинного обучения, что было представлено как «передовой ИИ». Получив новое финансирование, основатели компании ищут инженеров МО для реализации задуманного. Им также нужны специалисты по принятию решений для составления отчетности об использовании продукта, чтобы лучше понять, как его оптимизировать.

Новый дата-сайентист вполне может оказаться первым в компании. Или же стать одним из первых и подчиняться, скорее всего, тому, кого взяли раньше всех. Поскольку команда новая, протоколов практически не будет – никаких устоявшихся языков программирования, практик, способов хранения кода или официальных совещаний.

Именно тот дата-сайентист, которого взяли первым, будет отдавать все распоряжения. Скорее всего, культура команды будет зависеть от его личностных качеств. Если этот человек открыт для обсуждения и доверяет другим членам команды, то они смогут принимать решения вместе, например обсуждать, какой язык использовать. Если этот человек привык все контролировать и не готов прислушиваться к мнению других, он будет принимать такие решения самостоятельно.

В такой неструктурированной среде может вырасти очень сплоченный коллектив. Команда Data Science всеми силами пытается заставить работать новые технологии, методы и программные средства, и в результате формируются глубокие связи и дружба. С другой стороны, те, у кого нет власти, могут испытывать огромное эмоциональное насилие со стороны руководства, а поскольку компания небольшая, никто не понесет за это ответственности. Независимо от того, как именно будет развиваться компания Seg-Metra, специалистов по работе с данными здесь ждет непростое время.

Работа команды может захватывать или раздражать – каждый день по-разному. Часто дата-сайентисты проводят анализ впервые, например делают первую попытку использовать данные о покупках для сегментации клиентов или развертывают первую нейронную сеть. Аналитические и инженерные задачи, которые решаются впервые, захватывают дух, ведь это неизведанная территория внутри компании, а специалисты по работе с данными становятся первопроходцами. Иногда работа может быть изнурительной, например когда уже пора предоставить инвестору готовую демоверсию, а модель все еще не сходится. Даже если у компании есть данные, сама инфраструктура может быть настолько запутана, что их просто невозможно использовать. Несмотря на хаотичность работы, выполнение всех этих задач в Seg-Metra помогает дата-сайентистам очень быстро освоить множество навыков.

Поскольку Seg-Metra – молодая компания, ей не приходится поддерживать устаревшие технологии. Кроме того, хочется произвести впечатление на инвесторов, а сделать это гораздо проще, когда располагаешь эффектным стеком технологий. Поэтому Seg-Metra использует самые современные и лучшие методы разработки ПО, хранения и сбора данных, а также анализа и отчетности. Информация хранится в современных облачных сервисах: локально ничего не делается. Дата-сайентисты подключаются напрямую к этим базам и создают модели нейронных сетей МО на крупных экземплярах виртуальных машин Amazon Web Services (AWS) с обработкой графическим процессором. Эти модели развертываются с помощью современных методов программной инженерии.

На первый взгляд технологический комплекс, безусловно, впечатляет. Но компания настолько молода и так быстро растет, что у нее постоянно возникают проблемы с совместной работой различных технологий. Когда специалисты вдруг замечают, что в облаке нет данных, им приходится ждать, пока загруженный задачами дата-инженер решит эту проблему (повезло вообще, если он есть). Было бы здорово, если бы у Seg-Metra была специальная команда разработчиков DevOps для поддержки всего в рабочем состоянии, но пока что бюджет распределен иначе. Кроме того, технологию внедрили так быстро, что даже молодой компании сложно контролировать все ее процессы.

В растущем стартапе Seg-Metra много привлекательного. Благодаря росту компании появляются всевозможные интересные задачи в области анализа данных и среда, где дата-сайентисты вынуждены быстро учиться. На таких должностях можно приобрести навыки, которые помогут быстро начать карьеру в Data Science: например, научиться работать в сжатые сроки, эффективно общаться со специалистами, не занимающимися данными, понимать, когда проект следует продолжать, а когда стоит от него отказаться. Развитие этих навыков, особенно в начале карьеры, может сделать вас гораздо более интересным сотрудником, чем люди, которые работали только в крупных компаниях.

Еще одно преимущество работы в Seg-Metra – возможность работать с новейшими технологиями, что определенно делает процесс приятнее. Ведь очевидно, что новые технологии лучше старых. А ваше резюме станет от этого более впечатляющим. Компании, стремящиеся использовать новые технологии, захотят, чтобы вы им в этом помогли.

Хотя зарплата здесь не такая конкурентоспособная, как в более крупных, особенно в технологических компаниях, эта работа предоставляет опционы на акции, которые в перспективе могут стать чрезвычайно ценными. Если в итоге компания станет публичной или будет продана, эти опционы могут стоить сотни тысяч долларов или больше. К сожалению, вероятность того, что это произойдет, находится где-то между шансами избрания в городской совет и в Конгресс США. Так что этот вариант подходит только любителям азартных игр.

Родриго Фуэнтеальба Картес (Rodrigo Fuentealba Cartes), ведущий дата-сайентист в небольшой государственной консалтинговой компании

Компания, в которой я работаю, предоставляет аналитические, статистические и мобильные решения для государственных учреждений, вооруженных сил и правоохранительных органов, а также для некоторых частных клиентов. Как ведущий дата-сайентист, я единственный, кто отвечает за проекты в области анализа данных во всей компании. У нас нет дата-инженеров, обработчиков данных или каких-либо других должностей, потому что этот отдел появился относительно недавно. Зато у нас есть администраторы баз данных, разработчики ПО и системные интеграторы, а я совмещаю функции архитектора системы/программного обеспечения и разработчика открытого исходного кода. Это может показаться странным и создает определенные сложности, но я справляюсь на удивление хорошо.

Расскажу вам одну любопытную историю из своего опыта. Я работал в проекте, где использовалась архивная информация о многих параметрах окружающей среды, таких как ежедневные погодные условия. Из-за отсутствия на исследуемой территории установленных метеостанций нам не хватало критически необходимых данных. Проект оказался под угрозой, и заказчик решил закрыть его через неделю, если сотрудники не смогут найти информацию.

Я решил прилететь в этот район и опросить нескольких рыбаков. Я спросил, откуда они узнавали, что выходить под парусом безопасно. Они сказали, что обычно отправляют корабль, который передает погодные условия по радио. Я отправился на радиостанцию и нашел у них записи сообщений с 1974 года. Дальше я внедрил алгоритм, который мог распознавать рукописные заметки и извлекать нужную информацию, а затем реализовал конвейер обработки с использованием естественного языка, который мог анализировать строки. Благодаря моему приезду и обнаружению этих необычных данных проект был спасен.

Густаво Коэльо (Gustavo Coelho), руководитель небольшого стартапа по анализу данных

Последние одиннадцать месяцев я работаю в относительно новом стартапе, который специализируется на применении ИИ в управлении персоналом. Мы прогнозируем будущие результаты кандидатов или вероятность того, что их наймет определенная компания. Цель прогноза заключается в том, чтобы ускорить процесс найма. Мы в значительной степени полагаемся на снижение смещения в моделях. Это небольшая компания: у нас работает одиннадцать сотрудников, а команда по работе с данными состоит из пяти человек, включая меня. Вся компания стремится помочь нам внедрить готовые модели в производство.

Работа в небольшом стартапе позволяет мне ежедневно изучать и применять новые концепции. Мне нравится решать, как лучше всего настроить процессы обработки данных, чтобы мы могли масштабировать их и дать возможность нашим специалистам сосредоточиться на анализе данных. Подбор персонала – не технологическая область знаний, поэтому более половины усилий в проекте уходит на объяснение клиентам используемых решений и помощь им в освоении новой методологии. И когда мы наконец получаем зеленый свет, дальше много времени уходит на координацию с ИТ-отделом клиента и на их интеграцию в наш конвейер данных.

Один из минусов работы в Seg-Metra – большой объем работы. Рабочая неделя длительностью 50–60 часов не редкость, и компания ожидает, что каждый будет делать все, что может. С точки зрения руководства, если все не будут работать вместе, компания не добьется успеха. Вы и правда станете единственным человеком, использующим все дни отпуска? Эта среда может быть чрезвычайно токсичной, наполненной злоупотреблениями и выгоранием сотрудников.

Компания нестабильна, и, чтобы оставаться на плаву, Seg-Metra рассчитывает на поиск новых клиентов и помощь инвесторов, а это означает низкую гарантию занятости. Вполне возможно, что в какой-то момент в компании примут решение уволить сотрудников или объявить о банкротстве. И все это может произойти без предупреждения. Отсутствие гарантий занятости особенно тяжело для семейных людей, именно поэтому основная масса сотрудников состоит из молодежи. Это также может быть недостатком, если вы хотите работать с более разнообразной и опытной командой.

В целом Seg-Metra дает прекрасную возможность работать с интересными технологиями, быстро научиться многому и иметь небольшой шанс заработать кучу денег. Но для этого требуется выполнять огромный объем работы и находиться в потенциально токсичной среде. Так что эта компания лучше всего подходит для специалистов, которые хотят получить опыт, а затем двигаться дальше.