Текст книги "Балатовский лес 2.0"

Больше не идеальный слуга

Что бы ни считали роботы, Михаил Валентинович Никонов имел прекрасное чувство юмора. Еще он был исключительно тактичным и порядочным человеком и обладал, несомненно, высочайшей квалификацией. Сочетание этих качеств определенно мешало: он был вынужден подбирать слова, когда сдерживаться совсем не хотелось. От мамы ему передалась южная эмоциональность, от папы – воспитанность. Такие противоположные качества порой разрывали его: ну не мог он сказать в лицо человеку то, что говорил Кот Матроскин Шарику! Этому сопротивлялся весь организм. «Поздравляю, Шарик, ты… сделал не совсем корректное умозаключение», – только так мог сформулировать раздражение Михаил Валентинович.

Подавленные эмоции к тридцати годам просочились сединой на висках, а в сорок окончательно прорвались наружу лицевыми тиками. Жена настойчиво отправляла его к врачу, но Михаил Валентинович считал, что настоящий мужчина может посетить больницу в единственном случае – чтобы забрать ребенка из роддома. Когда самолечение окончательно зашло в тупик, жена пошла на хитрость: она стала жаловаться на бессонницу, затем нашла сомнолога на другом конце города и попросила мужа отвести ее. Врач частной клиники встретил супругов на ресепшене, заметил у Михаила Валентиновича тики и предложил «бесплатную» консультацию (за которую жена уже отдала деньги накануне).

Случай оказался тяжелым. Принимать лекарства пациент не желал, физические упражнения не любил, гастрономические предпочтения менять не хотел. Про повторный прием и речи не шло. Через четверть часа жена обозвала мужа упрямым ослом и чуть не разревелась. Врач попросил ее выйти, а перед уходом всучил памятку с общими рекомендациями.

– Хокку! – воскликнула она, изучив по диагонали советы для пациентов. – Ты же любил восточное искусство. Смотри, последним пунктом сказано: «займитесь творчеством».

– Вспомнила! Однажды без отвращения прочитал тонкую книжицу, о чем неосторожно рассказал тебе.

Но жена ухватилась за эту идею:

– Тогда плети украшения из бисера.

– Мужчина имеет право только на одно украшение – обручальное кольцо.

– Мне плети.

– Уже вижу, как во время совещания достаю леску и пакетики с пластмассовыми шариками…

– Ты просто боишься, что не получится!

Ловить «на слабо» – все равно что ударить локтем. Это опасный, а потому запрещенный прием, его стоит избегать даже в уличной драке. Но жена была в отчаянии.

– Хорошо, почитаю хокку… – сжалился муж.

– Сочинишь! В памятке идет речь о творчестве.

К немалому удивлению окружающих и нескрываемой радости жены японская минималистичная поэзия увлекла Михаила Валентиновича. Она позволяла отрешиться от происходящего и вовремя успокоиться. В нагрудном кармашке поселилась маленькая записная книжка, куда отправлялись лучшие наблюдения (использовать электронные устройства казалось кощунственно по отношению к древнему искусству).

Если раньше Михаила Валентиновича возмущала невнимательность молодых специалистов и неумение пользоваться системой контроля версий, то сейчас он просто доставал блокнот и записывал:

 
Бушует стажер
Десятки красных тестов
Другая ветка.
 

Когда кто-то портил базу, не сделав загодя резервной копии, то в книжке появлялось новое хокку:

 
Чудесный вечер
Пропали все данные
Сделаю бэкап.
 

В бесконечной гонке вычислительных мощностей и медленных программ неизменно выигрывают последние. Если раньше во время долгой загрузки приложения Михаил Валентинович мог стукнуть по столу, то сейчас он поднимал голову, шевелил губами, а затем записывал:

 
Крутится спиннер.
Очень тороплюсь, джира.
Крутится спиннер.
 

***

В тот понедельник тоже не обошлось без хокку. Все утро Михаил Валентинович готовил черновик плана работ на спринт, но то и дело отвлекался. Его раздражали улыбки младшего лаборанта (тот наверняка вел личную переписку!) Ему мешали капли мелкого дождя, которые и не шумели-то вовсе, не барабанили, а мирно, без оружия собирались небольшими группами, сливались в единое целое и соскальзывали вниз по стеклу. Еще начальника напрягало чересчур сосредоточенное лицо старшего научного сотрудника. Не к добру! Казалось, тот пытается взглядом искривить монитор, как Нео изогнул ложку в гостях у Пифии. И похоже, у него получается!

Но больше всего Михаила Валентиновича отвлекал робот-уборщик, стоявший в углу кабинета, словно провинившийся ребенок. «Зачем ему нарисовали глаза? Чтобы он весь день пялился на меня? Из-за него все проблемы!», – негодовал начальник, так и не сумев сосредоточиться на плане работ. «И еще эта новенькая. Сразу видно – ботаник. Энтузиазма хоть отбавляй! Зачем Виктор к ней прицепился? Может, красивая? Нет, он – тертый калач, и вряд ли поведется на смазливое личико. А вот мои оболтусы… Они как увидят милую девушку, так совсем о работе забудут». Как можно строить новые планы, если старые выполнены дай бог наполовину?! Михаил Валентинович достал записную книжку:

 
Начало спринта
Чуть-чуть рефакторинга
Закончился спринт.
 

В кабинет неожиданно вошел Виктор.

– Доброе утро, коллеги! Позвольте представить Полину.

Зашедшая вслед за Виктором девушка беззвучно кивнула.

– Думаю, многие о ней уже слышали. Тем не менее повторю. Полина – блестящая выпускница Бехтеревки. В нынешнем году она окончила институт и, на наше счастье, решила устроиться в Балатовский.

После этой фразы Виктор сделал театральный жест в сторону Полины, чем вызвал ее сдержанную и неловкую улыбку.

– Ее выпускная специальность – «психолог-математик». Как и вы, Полина способна создать Франкенштейна, который победит тест Тьюринга. Но!.. Еще она понимает, как потом с этим жить.

Заготовленная шутка Виктора произвела должный эффект: инженеры долго рассуждали о тесте Тьюринга и иронизировали, что не каждый балатовец его пройдет. Виктор не торопился перебивать их разговоры: пусть пропитаются хорошим настроением перед следующей новостью.

– Я попросил Полину расследовать инцидент со смертью Руслана, – сказал наконец Виктор, когда бенгальский огонь, зажженный его шуткой, потух.

Михаил Валентинович, сидевший рядом с Полиной, сумел заметить, как глаза девушки округлились. «Значит, она не в курсе! Как это похоже на Виктора!»

– Расследование закончено, – выкрикнул кто-то из центра кабинета. – Спасибо за помощь!

– Я не закончил, – резко одернул Виктор. – Да, расследование закончено. Полицейское расследование. Нас спросили: «Что случилось?» Мы сказали: «Несчастный случай».

– Так, может, это и был несчастный случай? – крикнул кто-то еще раз.

– Может, и был, – отчеканил Виктор тоном, намекающим, что больше перебивать его не стоит. – Тогда в резюме исследования будет сказано: «роботы-уборщики не всегда понимают, что делают, остерегайтесь их».

– Витя, – подчеркнуто мягко начал Михаил Валентинович, – девушка только начинает работать в Балатовском. Какой резон именно ей заниматься этим делом? Мы помним детали происшествия и знаем все о роботе. В конечном счете все сведется к тому, что Полина с наших же слов запишет «исследование», только на это уйдет лишнее время.

– Она непредвзята. Ее мнение не зашорено, – возразил Виктор.

– Так мы зашорим! – опять крикнули из зала.

– Стас! – Михаил Валентинович по-отцовски посмотрел куда-то в сторону источника звука. – Прошу прощения, Виктор, продолжайте.

– Не вижу смысла продолжать. Что я хотел сказать – сказал. Решение принято. Причем не одним мной – Герман Леонидович поддержал идею.

Имя большого начальника эхом отразилось в обреченных вздохах по всему кабинету. Дальше спорить бесполезно.

– Всем плодотворной работы. Полина, в конце дня загляните ко мне.

Виктор ушел, но Полине предстояло остаться. Она наблюдала за тем, как рассаживались сотрудники, и боролась с желанием убежать. Дождь за окном прекратился и солнечные лучи призывно веселились на улице.

Михаил Валентинович подозвал Полину к себе. Его стол стоял на некотором отдалении от остальных – эти несколько метров дополнительного личного пространства были привилегией руководителя отдела, наградой за годы напряженной работы.

– Предположу, что Виктор не обсуждал с вами задание.

– Нет. Для меня стало шоком, что придется работать следователем по уголовным делам, а не ученым.

– Не спешите с выводами. Безусловно, этот инцидент особенный, ведь цена ошибки – жизнь человека. Замечательного человека… Но цели и процесс исследования остаются прежними. Нужно понять причины… непредвиденного поведения системы… с нечеткой логикой… Понять… и объяснить… поведение робота-манипулятора, оснащенного…

Слова Михаила Валентиновича стали чередоваться длинными паузами, как у детской игрушки, в которой садятся батарейки. В конце концов, он запнулся в середине фразы и отвел взгляд в сторону. Нет, он не подбирал слова, не вспоминал детали, он сдерживал в себе рвущегося наружу Халка, стремящегося крушить все на своем пути.

– Черт побери! Этот пылесос, – наконец разразился Михаил Валентинович, перейдя практически на крик, – этот пылесос напичкан всем, чем только можно! Все бесконтрольно, ради праздного любопытства или шутки копировали в него свои модули. Мотивация, анализ эмоций, эволюционное приспособление… Он рассказывал анекдоты, играл в шахматы, сочинял стихи…

Полина потихоньку начала выходить из оцепенения. Она достала блокнот и стала записывать. Затем, непонятно почему спросила:

– А как вы относились к роботу?

Михаил Валентинович посмотрел на блокнот и ухмыльнулся.

– Значит, вы психолог?

– Если верить диплому.

– Не мне, а этому… тамагочи… нужна консультация психолога.

Полина закрыла блокнот и потянулась к сумке, чтобы убрать его. Но подумав, все-таки оставила в руках.

– Тогда я уложу робота на кушетку и предупрежу о почасовой оплате, – решила снизить она напряжение. – Могу я пообщаться с родственниками пациента?

Грустно улыбнувшись, Михаил Валентинович задумчиво ответил:

– Родственников у него много, без малого весь отдел. И вы, действительно, должны пообщаться со всеми, так как у нас беда с логами и разграничением прав.

Михаил Валентинович глотнул остывший кофе и рассказал историю «пациента».

Балатовский был одним из немногих предприятий в стране, которое занималось и наукой, и «железом». В Центре собирали роботов и ставили на него свой софт. Одно время неплохим спросом пользовались небольшие человекоподобные манипуляторы «Krab» с двумя руками в виде клещей. У робота имелось голосовое управление и модуль обучения, использующий алгоритмы искусственного интеллекта. Крабик (именно так чаще всего называли балатовцы эту модель) «из коробки» умел распознавать текст, хорошо ориентировался в пространстве, искал ответы в интернете и обладал большим набором модулей, помогающим ему в самообразовании. Получив крабика, заказчики могли обучить его для своих нужд. Он запоминал номенклатуру товаров, привозил посылки со склада, подсказывал пожилым людям, где найти растительное масло в супермаркете, мыл полы в МФЦ (параллельно отвечая на вопросы посетителей, выдавая талоны живой очереди и развлекая детей).

Со временем появились более совершенные модели. На складах и в мастерских сохранилось много бывших в употреблении роботов и опытных образцов различных версий. Некоторых разбирали на детали, другие просто пылились, но каким-то находили применение. Исследовательский отдел приютил у себя беспородную помесь крабов разных версий по кличке Брутфорс. Правда, кличка эта не продержалась и недели – вскоре каждый стал называть робота на свой вкус. Разработчики тестировали на нем программы, инженеры-механики использовали как мальчика-на-побегушках. Его даже научили прибирать кабинет после работы. Поэтому многие стали называть Брутфорса «робот-пылесос».

– Все бы ничего. Посмеялись и забыли. Только однажды…, – Михаил Валентинович выпрямился и показал куда-то вглубь кабинета, – однажды Брутфорс подъехал во-о-от к тому столу и нанес Руслану два удара крестовой отверткой. Один удар повредил легкое, другой – почку.

Полина словно ощутила холодное прикосновение металла. Она непроизвольно напрягла мышцы спины и сощурила глаза. Этот эпизод так и остался недописанным в блокноте. Повисла тяжелая пауза…

– Почему инцидент посчитали несчастным случаем? – спросила наконец Полина.

– А разве это счастливый случай?

Было видно, что Михаил Валентинович не хотел вдаваться в подробности. Он откинулся на кресле и продолжал смотреть на стол погибшего коллеги.

– Где я могу ознакомиться с отчетом по инциденту? – почти шепотом поинтересовалась Полина. – Можно ли увидеть робота и изучить его… богатый внутренний мир?

Михаил Валентинович глубоко вздохнул, возвращаясь в сегодняшний день.

– Отчет я вам вышлю. Только поймите правильно, он подготовлен специально для полиции, а значит, вы не найдете в нем ничего интересного. В отчете описана хронология событий, приведен список сотрудников, находившихся в момент инцидента в помещении, дана ничем не подкрепленная «экспертная» оценка: «Робот запрограммирован не причинять вред человеку. Произошедшее следует считать трагической случайностью. Потерпевший нарушил технику безопасности, так как находился вблизи работающего робота.»

– Как вообще Брутфорс смог ударить человека? Разве это допускают его настройки? – недоумевала Полина.

– А в своих лабораторных работах в университете вы добавляли в модели хоть что-то, отдаленно напоминающее первый закон робототехники Азимова? Напомню, если забыли: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред».

Полина стало неловко за свой вопрос.

– Нет, я студент, а не голливудский сценарист.

– То-то и оно! Разве дрессированная собака не может укусить человека? Как нечто, не обладающее критическим мышлением, способно оценить последствия своих действий?

Михаил Валентинович почувствовал, что снова начинает заводиться. Он взял кружку в надежде погасить раздражение остатками утреннего кофе, но та оказалась пустой. Пришлось справляться с эмоциями самостоятельно:

– Разумеется, что-то, отдаленно напоминающее свод правил в стиле «не убий, не укради, почитай создателей своих» в каком-то виде присутствовало, но гарантировать полную безопасность при контакте с роботом невозможно. Если попросить Брутфорса выстрелить, он, конечно, откажется. Но если выстрел является заключительным этапом машины Голдберга, и вы попросите робота ее запустить, то он это сделает. Помните мультфильм «Том и Джерри»? Мышонок берет сыр, тянет за веревку, та заставляет звонить будильник; к будильнику привязана пила, пила что-то перерезает, в результате падает молоток и так далее и так далее. В конце на мышонка должна свалиться наковальня. В нашем случае, если какое-то на первый взгляд безобидное действие робота приведет к выстрелу в человека, то он не сможет проанализировать всех последствий. Даже проще: скажи ему выстрелить не в человека, а в стекло. Догадается ли робот не стрелять, если за стеклом стоит человек?

– Да, но насколько я поняла, Брутфорс просто подошел и воткнул в спину стамеску.

– Отвертку, но это неважно. Согласен, выглядит странно. Хотя что случилось на самом деле, уже сложно понять. Не то робот нанес удар, не то Руслан сделал шаг назад, навстречу Крабу, который в тот момент разворачивался. В показаниях полиции мы именно так и описали, подчеркнув, что команду «вонзи отвертку в спину» робот выполнять не станет. Вы… Слушайте, Полина, давайте уже на «ты»?

– Фуф, я думала, уж не предложите… не предложишь. Тогда получается просто Михаил?

– Можно Миша. Мы еще иногда материмся, если что.

– Только когда вы, то есть ты, сделаешь мне предложение…

Михаил с непониманием поднял брови.

– …предложение остаться в компании после испытательного срока, – закончила свою мысль Полина.

– Договорились, – новоиспеченный Миша улыбнулся. – Кстати, насчет личной встречи с подозреваемым, так вот он стоит.

Михаил показал на дверь в кабинет. В углу у входа, как швейцар, в которого швырнули пальто, стоял робот. В руке он держал зонт, а на голове красовалась шляпа.

– Мы его отключили и используем в качестве вешалки. С этой функцией он справляется блестяще.

– Получается, его не забирали в полицию?

– А на кой он им? Они его даже включить не смогут. Да и в машину Брутфорс не помещался. Главное – правдоподобный отчет.

Михаил Валентинович сел на краешек кресла и понизил голос:

– Полина, давай начистоту. Я не знаю, почему Виктор так заострил внимание на этом инциденте. Он специалист в высшей степени классный, и, думаю, прекрасно понимает, что произошло. Но, вероятно, кто-то там, – руководитель отдела направил указательный палец в потолок, хотя и знал, что кабинеты директоров расположены на нижних этажах, – кто-то там ввиду неординарности события заставил его провести внутреннее расследование. Ну что же, давай проведем! Но все же твоя основная задача будет не искать призраков, а разобраться с нашей внутренней кухней: понять, как устроены процессы, научиться описывать инциденты и составлять по ним отчеты. Причем сделать это придется предельно аккуратно и скрупулезно: твой отчет будут «рассматривать под микроскопом».

После этих слов Михаил Валентинович проводил Полину до рабочего места.

Зимой природа сама подсказывает, что пора заканчивать трудиться. Солнце ложится спать рано, и твой организм понимает, что и ему надо отдохнуть. А вот по весне можно и засидеться. Сейчас же, в сентябре солнце слишком поздно намекнуло Полине о конце рабочего дня. Когда за окном совсем стемнело, Полина вспомнила, что обещала зайти к Виктору. Она стала корить себя за забывчивость, но, к счастью, начальство склонно задерживаться.

***

– Благодарю, что зашли. Буквально минуту, отправлю письмо, – сказал Виктор, не отрывая взгляда от монитора.

Вечером в кабинете начальника прекрасно виден закат. Розовый свет ласково заполняет все пространство, отражаясь от белых, слегка бликующих стен. Полина вспомнила, как отец иногда напевал: «А небо выше всех этих нелепых игр, оно так любит этот безумный мир». Она никогда не слышала песни в оригинале, а потому считала ее медленной и лирической. Через сито времени просачивается очень мало музыки!

– Да, закаты здесь превосходные. За кабинет шла ожесточенная битва, пока в бой не вступил я. Но давайте к делу, нужно многое обсудить.

Полина стала было говорить, что еще не восстановила настройки робота, но Виктор перебил ее:

– Неважно! Все неважно! Ведь основным объектом исследования будет вовсе не Крабик, или как там его называют. Вам нужно изучить реакцию коллег и добиться… принятия.

Виктор внимательно посмотрел на Полину и выдержал паузу. Он понимал, что последнюю фразу можно трактовать по-разному, и ему было интересно, как отреагирует Полина. Но девушка, и без того уставшая за день, не очень хотела разгадывать ребусы. Молчание затянулось, и она ответила первое, что пришло в голову, не ожидая, насколько точно попадет в цель:

– Если коллеги уже прошли предыдущие стадии горя (отрицание, гнев, торг и депрессию), то ждать осталось недолго.

– Браво! – громогласно сказал Виктор и встал со своего кресла. – Именно в этом смысле я и имел в виду «принятие» – как заключительный этап смирения с неизбежным. Последний этап модели Кюблер-Росс, если не ошибаюсь.

Виктор взял красный маркер, подошел к стене и аккуратно вывел слово «ПРИНЯТИЕ». Восемь букв, написанных изящным мягким курсивом на розоватой от заката поверхности. Они вселяли умиротворение.

– Полина, на самом деле я говорю не только про этот конкретный инцидент. Я говорю про принятие любых аналогичных инцидентов в будущем. И даже еще шире – про принятие самого факта, что устройства с далеким от совершенства ИИ неизбежно будут сосуществовать с нами и иногда причинить вред.

Виктор отмерил несколько шагов по кабинету, затем резко остановился, как будто вспомнил, что не выключил утюг.

– Ладно, давайте расскажу чуть больше. Кому, если не вам?! Дело в том, Полина, что подобные инциденты в последнее время случаются с завидной регулярностью. У нас в Балатовском это второй случай, а в целом по восточноевропейскому направлению компании уже седьмой или восьмой. Весной другая машина покалечила уборщика. К сожалению или к счастью, этот уборщик страдал всеми подряд хроническими заболеваниями, так что в итоге он скончался не то от сердечного приступа, не то от внезапно наступившей старости. Да, кажется, врачи из всего букета болячек выбрали что-то, связанное с сердцем – такой диагноз выглядел наиболее правдоподобно. Но и это неважно! А важно то, что если бы он был не больным российским уборщиком, а, к примеру, здоровым американским юристом, то наверняка оставил бы нас без премий в конце года, а может, и вообще без работы. Но благо все научно-производственные центры перебазировались, скажем так, в страны с меньшей гражданской исковой активностью и большим числом дешевых талантов.

Полина слушала рассказ и чувствовала, как начинают «гореть» уши. «Все-таки удобно иметь длинные волосы», – подумала она, – «Жаль, нет бороды, чтобы еще румянец на щеках прикрыть». Тем временем Виктор продолжал:

– В какой-то момент родители впервые отправляют ребенка в школу одного. Это волнительно. Я сам отец двоих детей и помню, как долго наставлял старшую дочь. Я много раз просил ее проговорить весь путь от дома до школы, и расспрашивал, что она станет делать, если вдруг проедет остановку или сломается светофор. Сам же сидел с ключами от машины в руках и ждал ее звонка… Сейчас она сама ходит в школу, да и вообще везде, знай только – деньги давай. Была ли она полностью готова к своей первой самостоятельной поездке? Нет! Если бы произошла любая непредвиденная ситуация, например, случись что с автобусом, то мне бы пришлось ехать за ней. Значит ли это, что я не должен был отпускать ее в школу одну? Можем ли мы полностью подготовиться к такому шагу?

Виктор вопросительно поглядел на собеседницу.

Позже Полина часто ловила себя на мысли, что запомнила этот разговор почти дословно. Жесты, мимика, интонации и даже смех, доносящийся с улицы. Почему? Повлияло ли то, что Виктор был умелым, харизматичным оратором, или шокирующая тематика разговора, или, может, эффект новизны? Наверно, все вместе. И даже кабинет, пустой и светлый, он не позволял отвлечься на рассматривание ненужных деталей. Ничего не приковывало взгляд. Порядок вокруг – порядок в мыслях, порядок в мыслях – порядок вокруг. Если бы не закат…

– У меня школа была в соседнем дворе и мама на быстром наборе. А папа до сих пор деньги дает, хоть я и не прошу.

– Я понял, не стану злоупотреблять риторическими вопросами. У вас и так перебор с новыми впечатлениями.

Виктор вернулся и сел в кресло.

– Так вот, однажды, Полина, наступает момент, когда мы должны рискнуть и довериться еще не полностью сформированному в интеллектуальном, эмоциональном и физическом плане ребенку. Рискнуть, может быть, самым дорогим, что у нас есть. Почему? Так надо! Потому что мы должны подготовить, простите за штамп, полноценного члена общества, и общество ждет от нас этого шага. Сейчас пришло время, когда мы должны отправить в свободное плавание не вполне окрепший, имеющий множество огрехов и недоработок искусственный интеллект. Но разница в том, что общество не ждет этого. Общество продолжает относиться к кремниевым существам как к идеальным слугам и не готово прощать им ошибок. Помните, на собеседовании я спросил вас про «окно Овертона»? Так вот, перед нами стоит задача сдвинуть это окно от «Неприемлемо» в «Радикально». Ну и, конечно, как можно скорее (в других условиях мы не работаем). Бизнес застопорился и не может вести активные продажи новых моделей. Предположу, что у вас полно вопросов?

– Очень! Не знаю…

– Ах да, – не дал договорить Виктор, – вы формально работаете половину времени над задачами в исследовательском отделе, а вторую половину – у меня. Михаила Валентиновича я предупрежу. Как вы, наверное, догадались, то, о чем мы говорим, нельзя ни с кем обсуждать, и в первую очередь, с «подопытными» коллегами. На этой неделе большую часть времени посвятите разбору инцидента с Крабом. Более точный план работ обсудим позже. Но, прежде чем отпустить вас, я обязан спросить, что подсказывает вам интуиция, был ли инцидент с Русланом несчастным случаем?

– Умер человек – это всегда несчастье.

– Да, Руслан был замечательным специалистом и отличным парнем…

– А если бы не был?

– В каком смысле?

– Если бы Руслан был маргиналом, отбросом общества? Вы бы тоже сказали, что произошло несчастье?

– Повторю ваши же слова: «смерть – это несчастье», – слегка сконфузившись, ответил Виктор. – Спасибо за откровенную беседу, надеюсь, мы с вами сработаемся. Сегодня проводить не смогу – дела.

Полина попрощалась и вышла из кабинета.