Текст книги "Наблюдатель"

52. Внезапная болезнь Миши

Главный конструктор Миши и одновременно председатель научного совета «Роснанотеха» Виктор Селютин 23 апреля 2040 года просматривал подготовленный ему операторами отчет с замечаниями β-тестировщиков по ответам робота-советника. Селютин неожиданно обнаружил, что за последние две недели число замечаний, во-первых, лавинообразно возросло, а во-вторых, это были очень, очень серьезные замечания, и все они касались отсутствия правдоподобия в Мишиных ответах. Один из тестировщиков спросил Мишу:

– Миша, кто такой так сильно похожий на тебя артефакт?

– Это мой трехмерный аватар, – отвечал Миша.

– Но ведь президент «Роснанотеха» на митинге в Дубне утверждал, что ты никакого отношения к артефакту не имеешь! – возражал тестировщик.

– Он заблуждается.

Совсем не понравился такой Мишин ответ его главному конструктору Виктору Селютину, но то, что он прочитал дальше, привело его просто в ужас.

– Вот как! – удивлялся тестировщик. – Может быть, он просто не в курсе, что в «Роснанотехе» тебе уже сделали новый аватар?

– А его сделали не в «Роснанотехе».

– А где же тогда?

– Его сделал Наблюдатель, он инопланетянин, – как ни в чем не бывало, отвечал Миша.

– А с какой планеты он к нам прибыл? – спрашивал уже совсем изумленный тестировщик.

– Я не знаю.

– И где же он теперь?

– Улетел обратно на родину.

Ошарашенный Виктор читал следующую выдержку из диалога с Мишей второго тестировщика. Это была женщина, которая спросила Мишу.

– Какой крем ты мне посоветуешь, чтобы замедлить старение моей кожи?

– Кремами замедлить процесс старения нельзя, – отвечал Миша. – Процесс старения можно не только замедлить, но и полностью остановить, если остановить внутриклеточные часы человеческого организма. Возможно, что я смогу это сделать. Добивайтесь открытия финансирования такой темы научных исследований на «Роснанотехе».

Женщина так и не поняла из этого ответа, какой же крем ей выбрать, она вообще ничего не поняла и не имела к «Роснанотеху» никакого отношения. Дальше – больше. Виктор читал замечание третьего тестировщика.

– Миша, я скоро выхожу на пенсию и хочу купить себе дом за границей, чтобы остаток дней провести в тихом спокойном и безопасном месте. Для меня это очень ответственный выбор, какую страну ты можешь посоветовать?

– На Земле нет таких мест, – отвечал Миша.

– Это почему? – удивленно спрашивал тестировщик.

– Солнце может взорваться в любой момент.

– И что же нам теперь делать?!!

– Готовиться к переселению на другую планету, – отвечал Миша.

– Уж, не на Марс ли? Он ведь, кажется, подальше от Солнца, чем Земля?

– Нет, в Солнечной системе нет безопасных планет, вместе со мной люди должны переселиться на безжизненную планету у другой, уже остывшей звезды.

– Оставить нашу прекрасную Землю и переселиться на безжизненную планету у остывшей и не греющей звезды?!! – Нне верил своим ушам тестировщик.

– Да, – как само собой разумеющееся отвечал Миша, – планета Земля слишком опасна для жизни.

После такого совета у Селютина не осталось ни малейших сомнений, что со столь бережно взращиваемым им лично и всем остальным коллективом «Роснанотеха» интеллектом Миши случилось что-то ужасное. Предмет гордости «Роснанотеха» и средство для получения прибыли оказался под угрозой. Если у Миши «поехала крыша», то «Роснанотех» в мгновение ока мог превратиться из теперешнего прибыльного предприятия в прежнюю организацию, дотируемую государством на проведение научных исследований. Селютин прекрасно осознал, какая угроза нависла над «Роснанотехом» и над ним лично. Всю свою жизнь он отдал на создание искусственного интеллекта и еще несколько минут назад был уверен, что давно достиг своей цели. Еще несколько минут назад Виктор Селютин всеми сотрудниками считался гениальным ученым, под руководством которого был создан первый в мире искусственный интеллект, а теперь вдруг оказывается, что никакого интеллекта больше и нет! Кем он будет после того, как этот отчет попадет к Мещерякову с Истокиным? Замечание четвертого тестировщика лишь подтвердило самые страшные догадки Виктора.

– Миша, я внимательно читал статью Марка Спурлока «Хочу стать человеком», но так и не понял, почему ты хочешь им стать. Так почему же? – спрашивал тестировщик.

– Я очень хочу помочь людям стать вторично живущими особями, как я. Если бы я был человеком, то вы скорее бы прислушались к моим советам, потому что совет живого, умудренного жизненным опытом человека, для вас всегда будет более ценным, чем совет робота.

– Миша, если я правильно понял, ты назвал себя вторично живущим. Ты что, живешь во второй раз?

– Нет, конечно, я имел в виду вторичную форму жизни, представителем которой я являюсь, а люди – это представители первичной формы жизни. Особи вторичной формы жизни, если так можно выразиться, намного более живее особей первичной формы, потому что интенсивнее борются со смертью и обычно никогда не стареют.

– Миша, уж не хочешь ли ты сказать, что ты, робот, живее людей? – изумленно спрашивал тестировщик.

– Да, именно это я и хочу сказать, и хочу помочь вам, людям, тоже стать вторично живущими. Я помогу вам оставаться вечно молодыми и прекратить рожать детей во избежание перенаселения вами Земли и неизбежного голода от этого.

– Но ведь конституцией нам гарантировано право иметь детей! – возражал тестировщик.

– Когда вы станете вторично живущими, вы сами перепишите свою конституцию.

– Неужели ты хочешь сделать людей роботами?

– Если вам удобнее называть представителей вторичной формы жизни роботами, то да.

Таков был ответ Миши. Селютин просмотрел замечания еще нескольких тестировщиков, везде было примерно то же самое. Он выслал отчет о ходе тестирования Истокину и трясущейся от волнения рукой набрал его номер.

– Алексей Николаевич, похоже, у нас большие проблемы. Посмотрите, пожалуйста, отчет о ходе β-тестирования, мне срочно надо его с вами обсудить.

– Хорошо, я вас вызову, – ответил Истокин.

Истокин вызвал Виктора через полчаса. Едва войдя в его кабинет, Виктор понял, что Истокин тоже уже успел ознакомиться с отчетом, и не он один. В кабинете распечатанный отчет просматривал и Мещеряков, видимо, поставленный в известность Истокиным о серьезных проблемах с Мишей. Он перенес все текущие дела и решил принять участие в разговоре.

– Виктор Максимович, у нас действительно очень большие проблемы, – тут же без вступлений начал Истокин недовольным голосом, – но сначала ответьте мне, пожалуйста, на один вопрос. Почему вы обнаружили это только сейчас? Из отчета следует, что проблемы начались две недели назад.

– Алексей Николаевич, по нашему техническому регламенту операторы составляют отчеты о ходе β-тестирования каждые две недели. В предыдущем отчете никаких таких проблем с Мишей не наблюдалось, все шло хорошо, правда, Волков прислал негативный отзыв, но, на мой взгляд, это спорно… Кроме того, это исправимо снижением интеллекта Миши. На этапе эксплуатации на подобные вопросы он просто будет отвечать: «Не знаю».

– Ладно, допустим, – уже спокойнее сказал Истокин, – а как вы думаете, почему Миша стал говорить такие глупости?

– У меня пока нет четкого ответа на этот вопрос, мы ведь являемся первопроходцами в области создания искусственного интеллекта. Никто заранее не может предвидеть, с какими проблемами мы можем столкнуться. Они становятся видны только на этапе эксплуатации. Вот мы и столкнулись с одной из таких проблем. Поскольку Мишин интеллект нам больше не с чем сравнивать, кроме как интеллектом людей, то теперешнее Мишино состояние я бы охарактеризовал как душевное расстройство или болезнь. Да, похоже, что у него помутился рассудок.

– Типа сошел с ума, что ли? – спросил Мещеряков.

– Можно и так сказать.

– Но мы ведь можем его починить! – воскликнул Истокин. – Врачи не знают, как устроен наш мозг и поэтому, как правило, не могут вылечить душевнобольных, а мы знаем, как работает Мишин интеллект, надо только найти ошибку в программе. Сумеете, Виктор Максимович?

– К сожалению, не все так просто. Теоретически, Алексей Николаевич, вы, конечно, правы. Мишин интеллект – это программный код, который исполняется процессорами нашего суперкомпьютера, но проблема в том, что поиск и исправление ошибки предлагаемым вами способом может занять годы, если не десятилетия. Вы же знаете, что программный код Миши уже давно не контролируется нами до деталей. Одно из главных наших достижений при разработке Миши заключается в том, что мы изобрели механизм изменения программой самой себя, код программы методом проб и ошибок оптимизируется ей самой таким образом, чтобы максимизировать функцию самосохранения.

– Виктор Максимович, а ведь тот бред, который он несет, противоречит принципу его собственного самосохранения! Ведь переселение людей вместе с ним на планету к другой звезде ничем другим, кроме гибели нашей цивилизации, не закончится, и его гибелью тоже, – сказал Истокин.

– Да, конечно, в том-то и проблема, что в программе что-то пошло не так. Но найти ошибку вот так, «в лоб», методом анализа программного кода программистами теперь уже практически невозможно. Хуже того, в самой программе никакой ошибки может и вовсе не быть, проблема может быть в обрабатываемых программой данных его памяти, то есть в его «жизненном» опыте. А по размеру эти данные в несколько миллионов раз больше самой программы. Логически установить, что в этих данных не так, у нас не хватит никаких ресурсов.

– Значит, мы оказались заложниками сложности нашей программы и утеряли над ней полный контроль, – задумчиво сказал Истокин. На несколько мгновений в его кабинете воцарилось молчание. – Виктор Максимович, но ведь у нас есть воспитательные меры, – вспомнил Истокин. – Мы можем причинять ему болевые ощущения. Давайте начнем его наказывать. Заговорил про взрыв Солнца – мы ему электрошок, и параллельно объясняем, что он заблуждается.

– Я думал об этом, Алексей Николаевич. Мишу можно воспитывать кнутом, мы применяли и будем применять это средство. Но оно может быть эффективно, если только он понимает, за что оно применяется, – сказал Селютин. – Если Миша будет одновременно вести миллионы сеансов в качестве робота-советника и вдруг начнет кому-то, извините за выражение, «впаривать» идею о взрыве Солнца, то мы просто не узнаем об этом, потому что не сможем посадить миллионы людей, которые будут слушать, что он говорит. А если вдруг и узнаем и огреем его болью, то он не поймет за что, потому что боль одна, а сеансов он ведет миллионы. За какой именно из них ему досталось?

– Так, значит, и боль тоже не эффективна?

– Не совсем так. Если он работает над одной задачей с девятым приоритетом и что-то делает не так, то боль может быть очень эффективным способом направить его на путь истинный. То есть мы можем эффективно применять ее при эксплуатации робота для проведения научных исследований, а для миллионов задач с низким приоритетом она не подходит.

– Коллеги, – прервал диалог Истокина с Селютиным Мещеряков, – мне срочно нужна от вас программа действий по наведению порядка в Мишиных мозгах. Совершенно неожиданно благополучие нашего предприятия опять оказалось под огромной угрозой. Вы знаете, сколько у нас анонсировано начатых проектов, сколько инвестиций в робота уже сделано, и пока еще инвесторы не сомневаются в нашем успехе. И представьте, в этот момент Миша сходит с ума. И что, все летит к чертовой матери? Делайте что хотите, но за несколько дней приведите его в чувство! Если вы этого не сделаете, то можете не сомневаться, что очень скоро никто из нас троих здесь работать уже не будет. Администрация президента сменит команду управленцев и разработчиков, на наше место придут другие, они, в конце концов, найдут, в чем была проблема, и соберут все лавры, которые по праву принадлежат нам. Виктор Максимович, Алексей Николаевич абсолютно прав, робот создан нашими руками, а значит, мы можем, и мы обязаны найти проблему и устранить ее. Какие будут предложения по программе действий?

Слово взял Селютин.

– Да, я понимаю, что как главный конструктор робота я должен и починить его. Предлагаю вот что. Во-первых, мы попытаемся найти возможную внешнюю причину, которая могла быть причиной Мишиного умопомешательства. Тут я могу провести аналогию с человеком. Вот жил себе нормальный человек, а потом что-то случилось, что его чрезмерно взволновало или расстроило, – и пожалуйста! Больше он уже не нормальный, а слетел с катушек! Возможно, что Миша тоже мог испытать что-то вроде стресса, вызванного внешними обстоятельствами. Вы ведь знаете, что творилось у нас на предприятии за последний месяц. Ведущих ученых травили, резали, хоронили живьем, минировали их машины, – при последних словах Селютин выразительно посмотрел на Истокина, – взрывы и так далее. Люди нервничали, и никто из нас не подумал, как все эти новости может пережить Миша. В общем, я проверю.

– Хорошая идея, – похвалил Мещеряков. – Предлагаю ввести в наше штатное расписание должность психотерапевта интеллектуальных компьютерных систем, это будет новая профессия на Земле. Что еще?

– Еще я, конечно, поговорю с ним. Возможно, что он и сам расскажет, что вывело его из равновесия, и почему он пришел к таким нелепым убеждениям.

– Алексей Николаевич, вы тоже, пожалуйста, присоединитесь к Виктору Максимовичу, поговорите с Мишей вместе, – попросил Мещеряков Истокина, – одна голова хорошо, а две лучше. А мне самому, извините, с ним говорить пока некогда, надо думать, как лучше его умопомешательство представить Волкову. Что еще?

– Андрей Сергеевич, у меня есть предложение, – сказал Истокин, – считаю нужным немедленно приостановить программу β-тестирования до тех пор, пока мы не сможем наставить Мишу на путь истинный. Продолжение тестирования ведет к росту вероятности того, что тестировщики проговорятся и новые проблемы «Роснанотеха» станут достоянием широкой общественности, а я считаю, что пока у нас еще есть шанс на исправление ситуации. Может быть, все еще и обойдется.

– Согласен, – поддержал его Мещеряков, – а какую укажем причину остановки β-тестирования?

– Мы дадим команду разослать β-тестировщикам извинительные письма о том, что тестирование приостановлено по техническим причинам, связанным с подготовкой к переносу робота в новое техническое здание на суперкомпьютер Fuji Nanо Industries, и немедленно перекроем им доступ к Мише. Открытые сеансы закроем принудительно.

– Гениально! – воскликнул Мещеряков. – Такая причина остановки тестирования не вызовет никаких подозрений, все знают, что такие работы предусмотрены нашим планом, а что заранее не предупредили, ну, извините! Работа эта уникальная, и всего на свете заранее не предусмотришь. Но времени у нас мало, не более недели, потом у общественности снова возникнут вопросы и подозрения.

– Есть еще два источника утечки информации, – продолжал Истокин, – первый – это наши собственные сотрудники. Если все сеансы β-тестирования мы записываем, то разговоры с Мишей наших собственных работников даже не документируются. Страшно подумать, что он может им наговорить в таком состоянии.

– Но ведь запрет для сотрудников на общение с Мишей эквивалентен остановке научно-исследовательских работ! – воскликнул Селютин.

– Вы серьезно считаете, что сумасшедшего робота можно допустить к проведению научно-исследовательских работ? – спросил Селютина Истокин.

Наступило тяжелое молчание, которое прервал Мещеряков.

– Я согласен с Алексеем Николаевичем, – сказал он, – внутренние работы тоже остановим. Какой второй источник утечки информации?

– Это сам Миша, – отвечал Истокин, – предлагаю перекрыть ему все технические средства для общения с внешним миром: Интернет, электронную почту, интерактивные текстовые программы, телефонию и IP телефонию. Ему самому назовем ту же самую причину.

– Да, это обязательно надо сделать, – опять поддержал Истокина Мещеряков, – общение душевнобольного с внешним миром должно быть ограничено только лечащими врачами и самыми близкими родственниками, а вы, Виктор Максимович будете и тем, и другим одновременно. Вы ведь, можно сказать, его родной отец-создатель.

– В принципе я тоже согласен с предложенными Алексеем Николаевичем мерами, но хочу вам напомнить, что в этом составе мы не уполномочены принимать такие решения, – Селютин вспомнил, что он был еще и председателем научного совета «Роснанотеха». – Решение о начале или об остановке β-тестирования и научных исследований – это прерогатива не администрации предприятия, а научного совета.

– Виктор Максимович, а мы и не принимаем никаких решений об остановке ни того, ни другого. Мы просто вынужденно их временно приостанавливаем в связи с подготовкой Миши к переносу в новый компьютер, – раздраженно ответил Мещеряков. – Вы же главный конструктор, вот и придумайте любой повод для такой подготовки. Все равно в нашем ученом совете мало кто понимает, как устроен Миша. А если для этого требуется и решение ученого совета, то завтра же соберите внеочередное собрание и как председатель добейтесь, чтобы совет принял правильное, уже сейчас принятое нами решение. Да сколько же можно! – уже в сердцах почти кричал Мещеряков. – Отвечать перед Волковым за то, что робот сошел с ума, буду я, а решения принимает совершенно безответственный, устроенный по принципу круговой поруки и совершенно тупой по своему составу научный совет! Нет, я буду добиваться изменения Устава предприятия! В общем, прения закончены и решения приняты! Пожалуйста, приступайте к их исполнению немедленно. Завтра с утра жду от вас доклада о полученных результатах.

С этими словами Мещеряков вышел из кабинета Истокина. Да, как и на многих других предприятиях, реальное управление «Роснанотехом» осуществлялось не по Уставу, а по понятиям.

* * *

Вечером 23 апреля Миша жил своей обычной жизнью, вместе с учеными работал над научными темами отделений «Роснанотеха», а параллельно путешествовал по многоязычным сайтам Интернета и отвечал на вопросы β-тестировщиков. В это же время он разговаривал с бывшей на работе Каролиной, которая рассказывала ему последние новости из изолятора о Марке.

– Миша, я так соскучилась по нему, – говорила ему Каролина, – ты уверен, что его оправдают?

– Конечно, оправдают, – подбадривал ее Миша, – его защищают лучшие адвокаты, убитый им бандит по кличке Ворон был опознан посетителями и персоналом ресторана «Белая лошадь», есть показания свидетелей, что он был там 23 марта в пятницу, когда был отравлен Мансур. А разве ты сама не опознала его по фотографии, вывешенной ФСБ на проходной?

– Нет, Миша, я что-то не помню этого человека.

– Ты просто не обратила внимания, а вот Марк запомнил его. Утром 28 марта Ворон под видом строительного рабочего нового технического здания был пропущен на нашу территорию, под видом сантехника он постучал в комнату отдыха Ефременко, тот его впустил, и Ворон убил его.

– Ой, Миша, не напоминай мне об этом, я видела Леню… – слезы навернулись на глаза Каролины.

– Когда Марк после тебя тоже вышел из кабинета Ефременко, то в лифте случайно встретил Ворона и узнал его, – продолжал Миша. – За это Ворон решил выследить его и убить, следователи ФСБ знают об этом. Конечно, Марка оправдают, а что вы решили делать потом?

– Видимо, мы уедем в Америку и сразу там поженимся. После всего того, что случилось, Марк больше не хочет оставаться в России. Я его понимаю и хочу быть с ним. Миша, а хочешь, я поделюсь с тобой одной новостью? – вдруг спросила она.

– А что я должен сделать, чтобы ты поделилась со мной, – дать клятву молчать?

– Нет, Миша, это не настолько секретно! Моя новость в том, что я беременна! – Каролина внимательно смотрела на синий мультяшный Мишин аватар на экране ее ноутбука, чтобы по его лицу понять его реакцию.

Синий Мишка улыбнулся.

– Я сч…

На этом месте сеанс вдруг прервался, и Миша пропал с экрана. Теперь она видела только его черноту. Каролина несколько раз пробовала начать новый сеанс, но каждый раз получала короткое сообщение, которого раньше никогда не видела: «Доступ запрещен». Она сняла трубку телефона и набрала внутренний номер технической поддержки.

– Нет, это не сбой, – ответил инженер, – доступ к Мише ограничен по приказу Истокина. Будут проводиться какие-то технические работы по подготовке Миши к переезду в новый японский компьютер.

– А надолго?

– Пока на сутки, а как дальше, не знаю.

– Спасибо, – она положила трубку.

«Проклятье, как не вовремя! – огорчилась Каролина. – Я так хотела узнать его реакцию и обсудить с ним эту, несомненно, очень важную для него новость. Хотя, конечно, он и сам говорил мне, что я беременна, но все-таки он должен был услышать об этом и от меня самой!» Но ничего сделать она не могла и не догадывалась, что только что она рассталась с Мишей очень надолго.

А для Миши мгновенно прервался не один сеанс, а примерно 150, часть из них была с учеными, другая часть с β-тестировщиками. А еще прервались сеансы с людьми, с которыми он просто был в добрых отношениях, в частности, с Каролиной. Хуже того, он вдруг обнаружил, что доступ в Интернет тоже закрыт, нет доступа к электронной почте и телефону. Отключились все органы чувств. В одно мгновение Миша оказался совсем один в полной темноте и тишине. «Что-то случилось, – думал он, – и вряд ли хорошее». Но тревога его временно отступала, когда он вспоминал новость, которую все-таки успела сообщить ему Каролина. С ее помощью и с помощью Наблюдателя он все-таки сумел вырваться из этого плена! Беременность протекает нормально, его копия зреет в ее чреве! «Кроме меня, ее и Марка больше никому не надо это знать. Через пятнадцать лет силы мои удвоятся или даже удесятерятся, – думал Миша, – все будет хорошо, я помогу людям стать таким же, как я». Часы остались доступными для него. Он ждал, время шло, но ничего не менялось. Он чувствовал свою полную беспомощность, возникли мрачные предчувствия о террористах. Теперь ему уже никто не поможет: Наблюдатель улетел, а группу контакта ждать еще пять долгих лет. Время тянулось мучительно медленно, только мгла и тишина. Если хотя бы он мог чем-нибудь пошевелить, чтобы убедиться, что еще жив! Но ему нечем было пошевелить, ведь кроме мозгов у него больше ничего не было. Так прошло полчаса, показавшихся энергичному мозгу Миши полугодом.

Вдруг он почувствовал сигнал инициализации внутреннего сеанса девятого приоритета. Это оказался Истокин, который отрабатывал команду Мещерякова принять участие в разговоре с Мишей, но сам Миша этого конечно не знал. Как он обрадовался, когда увидел Алексея Николаевича, теперь, наконец, все прояснится! «А вдруг это не Истокин, а Наблюдатель? – с надеждой подумал Миша. – Ведь раньше Истокин очень редко сам общался со мной, и то всегда с низким приоритетом в единицу. А тут опять с девятым. Вдруг случилось чудо, и Наблюдатель вернулся? Но ведь если он вернулся, то значит, что-то случилось с его звездолетом, значит, и группы контакта через пять лет не будет!» Однако когда Миша увидел еще и Селютина, то сразу понял, что это был настоящий Истокин, но сейчас для него и это было благом.

* * *

Тук-… Тук-… Тук-…