Текст книги "Проект «Феникс». Роман о том, как DevOps меняет бизнес к лучшему"

Я пытаюсь отбросить ощущение провала, пока иду на встречу CAB. Я размышляю над тем, как мне рассказать плохие новости Вэсу и Патти, когда захожу в переговорку, в которой Патти назначила встречу.

Все мысли о Стиве исчезают, когда я вижу, что там происходит.

Практически каждый сантиметр стены покрыт белыми бумажками. Каталожные карточки висят на всех досках по двум стенам. И висят они еще и не по одной – кое-где к доске прикреплены до десяти карточек под одной скрепкой.

На столе валяются двадцать или даже тридцать кучек с карточками.

На дальней стороне стола два парня, которые работают с Патти, согнулись над столом, изучая одну из карточек. Мгновенье спустя они кладут ее на две другие, лежащие рядом с ними.

«Черт возьми», – говорю я.

«У нас проблема», – говорит Патти.

«Недостаточно места для карточек?» – говорю я, и шучу я только отчасти.

Прежде чем Патти отвечает, я слышу, как Вэс входит в комнату. «Святые угодники! – говорит он. – Откуда все эти карточки? Они все на эту неделю?»

Я оборачиваюсь к нему: «Ты удивлен? Большая часть из них от сотрудников из твоей группы».

Он осматривает стены и затем карточки на столе: «Я знал, что мои ребята действительно много работают, но здесь же около двухсот изменений».

Патти открывает свой ноутбук, чтобы показать нам документ: «С прошлой пятницы подали заявки на примерно 437 изменений на эту неделю».

Впервые Вэс теряет дар речи. В конце концов, он встряхивает головой и говорит: «И теперь предполагается, что мы рассмотрим их все и утвердим? Эта встреча запланирована на час – но нам же нужно несколько дней, чтобы со всем разобраться!»

Он смотрит на меня. «Заметь, я не говорю, что мы не должны, но если мы собираемся делать это каждую неделю…»

И снова он замолкает, пораженный задачей, стоящей перед нами.

Если честно, я чувствую себя так же. Конечно, заставить всех менеджеров записать свои изменения на всю неделю – это лишь первый шаг. Но я никак не ожидал такого поворота.

Я заставляю себя радостно сказать: «Это отличное начало. Как и всегда, темнее всего перед рассветом. Нас с энтузиазмом поддержали технические руководители, так что теперь нам просто нужно разобрать все эти изменения. Есть идеи?»

Патти первая берет слово. «Ну, никто не говорил, что мы должны сами рассмотреть все изменения, – возможно, мы можем часть делегировать».

Я слушаю идеи Патти и Вэса и потом говорю: «Давайте вернемся к нашим целям: собраться вместе и узнать, что делают другие сотрудники, разобраться в ситуации, держать руку на пульсе и дать аудиторам доказательства того, что мы взяли процесс контроля изменений в свои руки.

Нам нужно сфокусироваться на наиболее рискованных изменениях, – продолжаю я. – Правило 80/20 в этом случае работает так: двадцать процентов изменений несут восемьдесят процентов риска».

Я снова смотрю на кучки карточек перед нами и вытаскиваю пару наугад, пытаясь хоть чем-то вдохновиться.

Держа в руках карточку, на которой нарисовано большое хмурящееся лицо, я спрашиваю: «Что такое PUCCAR?»

«Это бесполезное приложение, – говорит Вэс с отвращением, – это приложение Parts Unlimited, которое проверяет клиринг чеков и соответствие банковским требованиям, которое кто-то установил почти два десятка лет назад. Мы зовем его «пукер», потому что каждый раз, когда его хоть немного меняешь, оно взрывается, и никто не знает, как наладить его работу. Производитель отошел от дел черт знает сколько лет назад, но мы никак не можем его заменить, потому что нет финансирования».

Я спрашиваю: «Если мы знаем, что это приложение все время рушится, зачем его изменять?»

Вэс быстро отвечает: «Мы пытались этого не делать. Но иногда бизнес-правила меняются, и мы тоже должны им следовать. Оно работает с операционной системой, которая уже не используется, поэтому это всегда немного сложно…»

«Понятно! Это рискованное изменение. Какие еще изменения вроде пукера вы предложили?»

Мы складываем отдельную кучку из примерно пятидесяти карточек, предлагающих изменения в приложения Rainbow, Saturn или Taser, а также изменения сети и определенных баз данных, которые могут затронуть часть или даже весь бизнес.

«Даже глядя только на эти карточки, я чувствую, что у меня сердце сейчас выскочит, – говорит Вэс. – Некоторые из этих изменений очень опасны».

Он прав. Я говорю: «Ладно, давайте эти все назовем «Хрупкие изменения». Это изменения, связанные с высоким риском, их нужно авторизовывать у CAB. Патти, подобные изменения всегда должны быть в приоритете на наших встречах».

Патти кивает, все записывая, и говорит: «Поняла. Мы вывели категорию изменений высокого риска, на которые надо не просто подать запрос, но и авторизовать до выполнения».

Мы быстро создали список десяти наиболее хрупких сервисов, приложений и инфраструктур. Любое изменение, которое затрагивает какую-либо из этих систем, требует одобрения CAB.

Патти добавляет: «Нам нужно создать какую-то стандартную процедуру для этих изменений, а также найти людей, которые будут не просто знать, но и отвечать за них, если что-то пойдет не так».

Она добавляет с улыбкой: «Ну, вы знаете, вроде как пожарные и «Скорая», которые ждут на посадочной полосе, готовые заливать самолет специальной пеной, когда он приземлится, весь в огне».

Вэс смеется и говорит: «Да, а в случае с PUCCAR нужно еще пригласить кучку следователей и мешков для трупов. И пиарщика, который уже готов отвечать на злобные звонки из бизнес-отдела, говоря, что у некоторых спасаемых нами клиентов была аллергия на используемую нами пену для тушения».

Я смеюсь. «Вы знаете, а это интересная идея. Давайте позволим бизнесу выбрать эту самую пену. Нет причины, по которой вся ответственность должна ложиться на наши плечи. Мы можем отсылать письмо бизнес-руководству с вопросом, когда лучшее время для наших работ. Если мы сможем предоставить им данные о результатах предыдущих изменений, они возможно отложат запланированное».

Мне очень нравится идея Патти, и я уверен, что мы на правильном пути. «Ладно, но у нас все еще остается четыре сотни карточек. Идеи?»

Вэс в это время методично разбирал карточки, раскладывая их на две кучки. Он берет карточку из большей кучи: «Это стопка изменений, которые мы делаем постоянно. Вроде обновления налоговых ставок в системе POS. Не думаю, что мы должны их опасаться.

С другой стороны, изменения вроде «увеличение тред пула Java-приложений» или «установка пакета исправлений от поставщика Kumquat для решения проблем с производительностью».

«Что нам со всем этим делать? – говорит Вэс. – Я просто недостаточно компетентен в этих вопросах, чтобы действительно что-то решать. Я не хочу быть такой чайкой, которая прилетает, испражняется на людей и потом улетает, понимаете?»

Воодушевленная, Патти говорит: «Отлично! Первая группа – это изменения с низкой вероятностью риска, то, что называется «стандартные изменения». Это изменения, которые мы осуществляли много раз удачно, их мы заранее одобряем. Их по-прежнему нужно будет вносить, но проводить можно и без собрания».

Когда все кивают, она продолжает: «И у нас остается около двухсот изменений средней степени риска, которые нам нужно рассматривать».

«Я согласен с Вэсом, – отвечаю я. – В этих случаях мы должны довериться тому руководителю, в чьей группе они проводятся, так как он или она знают больше. Но я бы хотел, Патти, чтобы сотрудники продолжали информировать всех, кого их действия могут затронуть, и получали ОК ото всех этих людей».

Некоторое время я думаю и говорю: «Возьмите приложение Джона. Прежде чем запрос на такое изменение поступил бы к нам, нужно было, чтобы он получил согласие ото всех владельцев приложений и баз данных, а также от бизнес-отдела. Если бы он это сделал, для меня этого было бы достаточно. Наша роль видится мне в том, чтобы убедиться, что все точки над «i» расставлены. На этом уровне меня больше беспокоит интеграция процессов, а не сами изменения».

Патти печатает: «Давайте проверим, все ли я правильно поняла: для сложных средних изменений мы решаем, что тот, кто проводит изменение, ответственен за то, чтобы получить одобрение ото всех людей, которых оно может затронуть. Если он сделал это, то записывает его на карточку, чтобы мы могли одобрить это изменение и поставить в расписание».

Я улыбаюсь и говорю: «Ага. Как считаешь, Вэс?»

В конце концов, он говорит: «Думаю, сработает. Давайте попробуем».

«Хорошо, – говорю я. Затем я обращаюсь к Патти: – Ты можешь проследить, чтобы все следовали регламенту?»

Патти улыбается и говорит: «С удовольствием».

Она смотрит на доску, постукивая карандашом по столу, раздумывая. Она говорит: «Сегодня понедельник. Мы всем объявили, что сегодняшние изменения не требуют одобрения. Я предлагаю продлить срок амнистии до завтра и собрать полное собрание CAB в среду, чтобы составить расписание для оставшихся изменений. Это даст всем время подготовиться».

Я смотрю на Вэса. Он говорит: «Это хорошо, но я уже думаю о следующей неделе. Мы должны сказать всем, чтобы они продолжали заполнять карточки, и давайте начнем собираться еженедельно начиная с пятницы».

Патти выглядит довольной (как и я) тем, что Вэс планирует наперед, а не издевается. Она говорит: «Я разошлю всем инструкции в ближайшую пару часов».

После того как она заканчивает записывать, она добавляет: «Еще одно, последнее. Я хочу подчеркнуть, что мы используем на это дело двух людей, и меня, кстати, тоже, которые налаживают этот ручной процесс. Это очень напряженный труд. В конце концов, нам надо будет это как-то автоматизировать».

Я киваю. «Конечно же, это не постоянный формат. Но давайте проведем парочку встреч CAB в таком виде, пока не выведем все правила. Я обещаю, мы пересмотрим сам процесс».

Встреча заканчивается, и мы все выходим, улыбаясь. Это впервые в моей команде.

Глава 9
Новый вид работы

9 сентября, вторник

Это самая бесчеловечная встреча по поводу бюджета из всех, на которых я присутствовал. Дик сидит в конце комнаты, внимательно слушая и судействуя. Мы все подчиняемся ему, потому что именно он ответственен за составление годового плана. Сара сидит рядом с ним, печатая что-то на айфоне.

В конце концов, и я беру телефон. Наверное, что-то сверхсрочное случилось. Он вибрировал целую минуту.

Я читаю: «Инцидент 1-й категории: обвалилась система обработки кредитных карт. Все магазины пострадали».

Дерьмо.

Я знаю, что должен уйти с совещания, хотя понимаю, что все постараются растаскать мой бюджет. Я встаю, пытаясь крепко держать огромный ноутбук и не дать ему развалиться на части. Я уже почти вышел, когда Сара говорит: «Еще проблема, Билл?»

Я кривлюсь. «Ничего такого, с чем мы не справимся».

В действительности любой сбой 1-го уровня автоматически квалифицируется как очень большая проблема, но я не хочу сам вкладывать оружие ей в руки.

Когда я добираюсь до NOC, то сажусь рядом с Патти, которая разговаривает по конференц-связи. «Эй, ребята, Билл только что присоединился к нам. Как ты знаешь, система ввода заказов обвалилась, поэтому мы заявили о сбое первого уровня. В данный момент мы пытаемся установить, какие изменения были внесены».

Она делает паузу и смотрит на меня. «И я совсем не уверена, что у нас есть ответ».

Я обращаюсь ко всем: «Патти задала довольно простой вопрос. Итак, какие изменения осуществлялись сегодня и могли привести к сбою?»

Повисает тяжелое молчание, как будто все смотрят по сторонам на своих коллег с подозрением и избегают смотреть друг другу в глаза.

Я уже готов сам начать говорить, как слышу: «Это Крис. Я уже говорил Патти раньше и повторяю снова, никто из моих разработчиков ничего не менял. Так что вычеркните нас из своего списка. Скорее всего, это изменение в базе данных».

Кто-то на другом конце стола со злостью говорит: «Что? Мы ничего не меняли – ну, скажем, ничего, что могло бы задеть системы ввода заказа. А ты уверен, что это никак не связано с патчем операционной системы, который пошел не так, как планировалось?»

Кто-то горячо говорит: «Конечно же, нет. У нас не было в расписании никаких изменений, которые могли задеть эти системы, и нет на ближайшие три недели. Спорю на пятьдесят баксов, это было сетевое изменение – они всегда вызывают проблемы».

Закрывая руками глаза, Вэс кричит: «Ради бога, ребята!»

Выглядя абсолютно разочарованным, он говорит сидящим напротив него менеджерам: «Вам может быть тоже нужно защитить свою честь, а? Очередь дойдет до всех».

И действительно, руководитель команды, занимающейся сетями, скрещивает руки на груди, выглядя очень обиженным. «Вы знаете, это очень нечестно, что именно нашу группу всегда винят во всех сбоях. У нас не было запланировано никаких изменений на сегодня».

«Докажи», – говорит менеджер баз данных.

Тот становится абсолютно красным, голос срывается. «Это чушь собачья! Ты просишь меня доказать, что мы ничего не делали! Как ты это, черт побери, докажешь? Кроме того, я думаю проблема в изменениях в файерволе. Большая часть сбоев за последнюю пару недель была вызвана именно ими».

Я знаю, что именно я, наверное, должен положить конец этому безумию. Вместо этого я откидываюсь на стуле и продолжаю наблюдать, одной рукой прикрывая рот, чтобы скрыть злость и не позволить самому себе сказать что-нибудь грубое.

Патти выглядит абсолютно растерянной и поворачивается ко мне: «Никто из команды Джона не участвует сейчас в совещании. Его команда проводит все обновления защитных систем. Давай я попробую еще раз связаться с ним».

Я слышу по громкой связи, как кто-то что-то печатает, а затем говорит: «Ммм, кто-нибудь может проверить ее сейчас?»

Слышны звуки – несколько человек что-то печатают, видимо, пытаясь получить доступ к системам ввода заказов.

«Подождите-ка! – говорю я громко, практически вылетая из своего стула и показывая пальцем в телефон. – Кто только что сказал это?»

Снова тишина.

«Это я, Брент».

Вот дела.

Я заставляю себя сесть обратно и беру глубокий вдох. «Брент, спасибо тебе за проявленную инициативу, но в случае с такого рода инцидентами мы должны обсуждать любые действия, которые мы в связи с ними предпринимаем. Последнее, чего нам хотелось бы, так это сделать все еще хуже и усложнить и без того непростую ситуацию…»

Прежде чем я успеваю закончить, кто-то прерывает меня: «Эй, ребята, системы опять заработали. Хорошая работа, Брент».

О, да ладно вам.

Я сжимаю губы.

Конечно, даже такие недисциплинированные действия могут привести к удаче.

«Патти, разберись с этим, – говорю я. – И мне нужно будет увидеть тебя и Вэса в твоем кабинете немедленно», – я встаю и выхожу из комнаты.

Я стою в кабинете Патти, пока они оба не приходят.

«Позвольте мне быть предельно четким. В случаях со сбоями первого уровня мы не можем себе позволить снова оказаться в такой ситуации – просто сидеть и не знать, что делать. Патти, с этого момента, как человек, отвечающий за решение подобных ситуаций, к общему собранию ты должна иметь полное представление обо всех изменениях, которые могут иметь к этому отношение.

Ты ответственна за то, чтобы вся информация была у нас на руках, и это должно быть несложно, так как мы запускаем процесс контроля проводимых изменений. И эта информация должна исходить от тебя, а не ото всех подряд в аудитории. Это понятно?»

Патти смотрит на меня, очевидно расстроенная. Я пытаюсь немного смягчить свои слова. Я знаю, она много работала, а я очень сильно давлю на нее.

«Да, абсолютно ясно, – говорит она. – Я поработаю над документацией этого процесса и сделаю его общепринятым настолько быстро, насколько смогу».

«Этого недостаточно, – говорю я. – Я хочу, чтобы ты улучшала эту практику и проводила учебные тревоги каждые две недели. Мы должны сделать так, чтобы все привыкли решать эти проблемы проверенным путем и знали, как это делается, до того как мы соберемся на встречу. Если мы не сможем сделать этого на учебной тревоге, как мы можем ожидать, что люди сообразят, что делать, во время реальной экстренной ситуации?»

Видя ошарашенное выражение ее лица, я кладу ей руку на плечо. «Слушай, я ценю все, что ты делаешь. Это важная работа, и я не знаю, что бы мы без тебя делали».

Затем я поворачиваюсь к Вэсу: «Доведи до сведения Брента, что во время подобных происшествий мы сначала обсуждаем догадки, которые есть у каждого из нас. Я не могу этого доказать, но я уверен, что это Брент и вызвал сбой, а когда осознал это – отменил изменение».

Вэс хочет ответить, но я не обрываю его.

«Положи этому конец, – говорю я с нажимом. – Никаких больше неавторизованных изменений и никаких больше самостоятельных исправлений во время сбоев.

Ты можешь контролировать своих людей или нет?»

Вэс выглядит удивленным и изучает мое лицо какое-то время. «Да, могу, босс».

Мы с Вэсом провели бессонную ночьсо вторника на среду в конференц-зале «Феникса». Запуск уже через три дня. И чем меньше у нас дней, тем хуже все выглядит.

С облегчением я возвращаюсь в кабинет координации изменений.

Когда я вхожу, практически весь CAB уже на месте. Разбросанные карточки исчезли. Вместо этого все они висят на стенах или же аккуратно сложены на столик рядом со входом, озаглавленные «Изменения, ожидающие подтверждения».

«Я всех приветствую на очередной встрече по управлению изменениями, – начинает Патти. – Как вы можете увидеть на доске, все стандартные изменения уже вписаны в расписание. Сегодня мы будем рассматривать и распределять только те изменения, которые связаны со средней или высокой степенью риска. Затем мы рассмотрим сам план изменений, чтобы внести некоторые поправки – не буду говорить ничего сейчас, но, думаю, вы сами поймете, что это требует вашего внимания».

Она берет первую стопку карточек. «Первое изменение высокой степени риска – это изменение правил в фаерволе, предложил Джон, назначить на пятницу». Затем она перечисляет людей, которые обсудили и подписали предлагаемое изменение.

Она обращается к нам с Вэсом: «Билл и Вэс, вы утверждаете это изменение на пятницу?»

Я доволен тем, что им занялись столько человек, поэтому я киваю. Вэс говорит: «Я тоже. Эй, неплохо. Двадцать три секунды на утверждение одного изменения. Мы побили свой прошлый рекорд на пятьдесят девять минут!»

Раздаются аплодисменты. Патти выглядит очень довольной, потому что на утверждение оставшихся восьми изменений высокой степени риска уходит даже меньше времени. Раздаются еще аплодисменты, а один из ее помощников размещает карточки на доске.

Патти берет карточку из стопки средней степени риска. «Было предложено 147 изменений. Я попросила каждого из вас обсудить то, что вы предлагаете, с теми, кого они затронут. Девяносто из этих изменений уже можно вносить в расписание, и мы повесили эти карточки на доску. Я распечатала список с ними, чтобы вы все могли с ним ознакомиться».

Поворачиваясь к нам с Вэсом, она говорит: «Я проверила десять процентов из этого списка, и пока все хорошо. Я продолжу следить за тенденцией, если вдруг нужно будет ужесточить контроль. Если никаких возражений нет, я думаю, мы закончили с изменениями средней степени риска. Перед нами сейчас стоит более сложная проблема, к которой нам и нужно обратиться».

Когда Вэс говорит: «Я не возражаю», я киваю Патти, чтобы она продолжала, и она указывает на доску.

Я думаю, что вижу, в чем дело, но молчу. Один из руководителей указывает на доску и спрашивает: «Сколько изменений стоит на пятницу?»

Бинго.

Патти ослепительно улыбается и говорит: «173».

Становится понятно, что на доске половина изменений стоит на пятницу. Из оставшихся половина записана на четверг.

Она продолжает: «Я не думаю, что 173 изменения, которые будут реализованы в пятницу, это плохо, но боюсь, что это может привести к конфликту интересов и ресурсов. К тому же пятница – это день запуска «Феникса».

Если бы я была авиадиспетчером, – продолжает она, – я бы сказала, что в воздушном пространстве слишком много самолетов. Кто-нибудь хочет изменить свой план полета?»

Кто-то говорит: «Есть три изменения, которые я могу сделать сегодня, если никто не возражает. Я не хочу находиться вблизи от аэропорта, когда «Феникс» зайдет на посадку».

«Да, что же, везет тебе, – ворчит Вэс. – Некоторые из нас просто обязаны быть здесь в пятницу. Я уже вижу дым, бьющий из-под крыльев…»

Еще двое инженеров просят перенести их изменения на более ранние сроки. Патти подходит к доске и перемещает карточки, убеждаясь, что они не спорят с другими запланированными изменениями.

Пятнадцать минут спустя доска выглядит уже совсем по-другому. Меня совсем не радует, что все стараются сдвинуть свои изменения как можно дальше от пятницы, как будто зверьки убегают из леса в преддверии пожара.

Смотря, как все двигают свои карточки туда-сюда, я понимаю, что меня беспокоит что-то еще. Не только образ кровавой резни и бойни вокруг «Феникса». Напротив, это что-то, связанное с Эриком и тем заводом. Я смотрю на карточки.

Патти не дает мне сосредоточиться: «…Билл, который сделает заключение о том, как мы все осуществили. Все изменения на неделю утверждены и вставлены в расписание».

Пока я пытаюсь прийти в себя, Вэс говорит: «Ты проделала действительно отличную работу, организовывая это, Патти. Ты знаешь, я громче всех критиковал подобные решения. Но, – он показывает на доску, – это просто прекрасно».

Раздаются звуки одобрения, Патти сияет. «Спасибо. Это только первая неделя, и это самое широкое собрание, которое у нас когда-либо случалось. Но прежде, чем мы станем радоваться, давайте и на следующей неделе так сделаем?»

Я говорю: «Конечно же. Спасибо за то, что потратила на это столько времени, Патти. Продолжай в том же духе».

Когда встреча заканчивается, я остаюсь, смотря на доску.

Несколько раз за эту встречу какая-то мысль не давала мне покоя. Было ли это что-то, что сказал Эрик, что я не заметил раньше? Что-то связанное с работой?

В прошлый четверг Вэс и Патти проводили ручную опись всех наших проектов, и они обнаружили сотни задач. Это было выяснено в ходе личных бесед со всеми сотрудниками. Они определенно представляют собой две категории работы: бизнес-проекты и внутренние IT-проекты.

Смотря на доску изменений, я понимаю, что вижу еще один тип работы. Согласно словам Патти, это 437 кусочков… работы… которую мы выполняем на этой неделе.

Я понимаю, что эти изменения – это третья категория работы.

В то время как Патти двигала карточки с пятницы на более ранние дни, они меняли наше расписание. Каждая из этих карточек определяет, что моя команда планирует делать в этот день.

Конечно же, каждое из этих изменений намного меньше, чем целый проект, но это все же работа. Каково соотношение между изменениями и проектами? Они в равной степени важны?

И как так могло случиться, что до сегодняшнего дня ни одно из этих изменений нигде не фиксировалось, ни в одной системе? Откуда тогда все исходили?

Если изменения – это вид работы, который отличается от проектов, значит ли это, что мы ведем больше сотни проектов? Сколько подобных изменений приходится на один из сотни проектов? Если ни одно из них не соотносится с нашими проектами, должны ли мы над ними работать? Если бы у нас было достаточно персонала, чтобы заниматься сразу всеми проектами, значило бы это, что у нас нет достаточно оборудования и времени, чтобы осуществить все эти изменения?

Я разговариваю сам с собой, потому что чувствую, что я на пороге какого-то значимого озарения. Эрик спрашивал меня, какой в моей организации эквивалент тому столу на заводе. Управление изменениями подходит под эту роль?

Внезапно я начинаю смеяться над тем абсурдным количеством вопросов, которые только что сам себе задал. Я чувствую себя как дискуссионный клуб одного спикера. Эрик завлек меня в какую-то философскую чертовщину.

Задумавшись на мгновенье, я решаю, что изменения действительно являются другой категорией работы, но не знаю почему. Получается, что три из четырех типов работы я уже обнаружил. Ненадолго я задаюсь вопросом, какой же четвертый.