Текст книги "Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей"

Дж. Х.: Рассуждения – это одна из тех вещей, с которыми люди действительно хорошо справляются. Пройдет немало времени, прежде чем большие нейронные сети достигнут таких же результатов. И до этого они успеют превзойти людей во многих других вещах.

М. Ф.: Как вы можете охарактеризовать сильный ИИ?

Дж. Х.: Если вы говорите об универсальных роботах, таких как лейтенант-коммандер Дейта, то вряд ли мы будем развивать ИИ в эту сторону. Кроме того, до создания интеллекта такого уровня еще далеко.

М. Ф.: Возможна ли система, которая сможет пройти тест Тьюринга, длящийся пару часов?

Дж. Х.: Вероятность появления чего-то подобного лет через десять достаточно велика. И возможно, мы до этого не доживем, так как человечество будет уничтожено другими вещами.

М. Ф.: Вы сейчас говорите о таких опасностях, как атомная война или чума?

Дж. Х.: Да, я считаю, что эти вещи угрожают существованию человечества намного сильнее, чем ИИ. Только представьте, что началась мировая война или недовольный аспирант в лаборатории молекулярной биологии создал чрезвычайно заразный смертельный вирус с длительным инкубационным периодом. Я думаю, что беспокоить должно именно это, а не сверхинтеллектуальные системы.

М. Ф.: Но, например, Демис Хассабис из компании DeepMind верит в возможность создания систем, которые вы считаете неосуществимыми.

Дж. Х.: У нас с Демисом разные взгляды на то, каким может быть будущее.

М. Ф.: Я бы все-таки хотел поговорить о связанных с ИИ опасностях. Например, о потенциальном влиянии на рынок труда и экономику. Нужно ли волноваться о наступлении новой промышленной революции?

Дж. Х.: Значительное повышение производительности – это прекрасно. Но его влияние на жизнь людей зависит от социальной системы. Почему проблемой считается именно технический прогресс? Проблема в том, сможем ли мы справедливо распределить блага.

М. Ф.: Но ведь проблема в данном случае связана с исчезновением рабочих мест по причине автоматизации. Может ли ее решить такая вещь, как базовый доход?

Дж. Х.: Да, эта идея кажется мне разумной.

М. Ф.: Но нужны ли для этого политические решения? Некоторые говорят, что можно пустить процесс на самотек и время само расставит все по местам.

Дж. Х.: Я переехал в Канаду, потому что здесь выше ставка налогообложения. С моей точки зрения справедливые налоги – это правильно. Правительство должно помогать всем, в то время как люди имеют право действовать исключительно в собственных интересах. Высокие налоги – один из механизмов, позволяющий реализовывать такую помощь. Кто-то богатеет, а остальные получают пособие из уплаченных им налогов. Но чтобы ИИ приносил пользу всем, предстоит проделать большую работу.

М. Ф.: А что вы скажете о применении ИИ в военных целях?

Дж. Х.: Я думаю, пришло время активности. Нужно сделать так, чтобы международное сообщество относилось к автономному оружию так же, как к химической войне и оружию массового уничтожения.

М. Ф.: Нужен ли мораторий на исследования и разработку оружия с ИИ?

Дж. Х.: Вы не получите моратория на исследования такого типа, точно так же как не было моратория на разработку нервно-паралитических отравляющих веществ. Правда, есть международные механизмы, которые помешали их широкому использованию.

М. Ф.: А что вы думаете о проблемах, связанных с приватностью и прозрачностью?

Дж. Х.: Манипуляция избирателями ради победы на выборах не может не вызывать беспокойства. Создатель компании Cambridge Analytica Боб Мерсер занимался машинным обучением. Компания уже принесла вред, об этом нельзя забывать.

М. Ф.: Тут требуется регулирование?

Дж. Х.: Да, и очень строгое. Это вообще крайне важная тема, но я не эксперт в этих вопросах.

М. Ф.: А глобальная гонка вооружений? Важно ли, чтобы ни одна из стран не вырывалась вперед?

Дж. Х.: Долгое время на мировой арене доминировала Великобритания, которая вела себя не очень гуманно. Потом вперед вышла Америка, которая тоже вела себя примерно так же. Сейчас лидерство может захватить Китай, и вряд ли стоит ожидать от них человеколюбия.

М. Ф.: Нужно ли западным правительствам сделать разработки ИИ национальным приоритетом?

Дж. Х.: Технологии развиваются быстро, и глупо не пытаться идти в ногу со временем. Поэтому вкладывать в ИИ большие средства нужно и важно. Это обыкновенный здравый смысл.

М. Ф.: То есть вы оптимистично смотрите в будущее и считаете, что выгоды от ИИ перевесят потенциальные риски?

Дж. Х.: Я даже не знаю, есть ли вообще какие-то риски. Пока что перед нами стоят проблемы, связанные с социальными системами, а не с технологиями.

М. Ф.: Сейчас в сфере ИИ дефицит кадров, поэтому там рады любым специалистам. Какой совет вы можете дать студентам, которые хотят делать карьеру в этой области?

Дж. Х.: Меня беспокоит нехватка людей, которые критически относятся к основам. Идея капсул была призвана показать, что, возможно, часть общепринятых способов не дает нужных результатов и нужно мыслить шире. Поэтому тем, кто чувствует, что какие-то вещи делаются неправильно, я советую следовать своей интуиции. Студентов и аспирантов я считаю наиболее плодотворным источником новых идей. Они свободно выдвигают действительно новаторские предложения и все время учатся. Те, кто пришел в отрасль, уже получив степень магистра, как правило, не собираются ничего предлагать.

М. Ф.: Создается впечатление, что основные исследования глубокого обучения производятся в Канаде. Это случайность или этому способствуют какие-то факторы?

Дж. Х.: Большая удача, что в Канаде работают Ян Лекун и Иошуа Бенджио. Мы плодотворно сотрудничаем, при поддержке CIFAR, который финансирует фундаментальные исследования, невзирая на высокие риски.

М. Ф.: То есть глубокому обучению удалось остаться на плаву благодаря стратегическим инвестициям канадского правительства?

Дж. Х.: Да. По сути, канадское правительство вкладывает в глубокое обучение по полмиллиона долларов в год, что можно считать разумной инвестицией в индустрию, которая в будущем может принести миллиарды.

М. Ф.: Общаетесь ли вы с вашим коллегой Джорданом Питерсоном? Иногда кажется, что Университет Торонто – это источник дестабилизации…

Дж. Х.: С моей точки зрения, он из тех, кто не понимает, когда лучше промолчать.

Ник Бостром

“Дело не в том, что ИИ возненавидит нас за то, что мы поработили его, и не в том, что у него внезапно возникнет искра сознания, которая заставит его взбунтоваться. Просто этот интеллект, скорее всего, будет компетентно преследовать собственные, не совпадающие с нашими цели. И мы окажемся в будущем, сформированном в соответствии с чужими критериями.

Профессор, основатель и директор FHI

Ника Бострома знают как одного из ведущих мировых экспертов в области суперинтеллекта и опасностей, которые потенциально несут человечеству ИИ и машинное обучение. Ник – автор бестселлера по версии The New York Times 2014 г. «Искусственный интеллект: этапы, угрозы, стратегии» и около 200 публикаций, в том числе Anthropic Bias («Антропный уклон», 2002 г.), Global Catastrophic Risks («Глобальные риски», 2008 г.), Human Enhancement («Усовершенствование человека», 2009 г.).

Учился в Гетеборгском и Стокгольмском университетах, а также в Королевском колледже Лондона. Степень доктора философии получил в Лондонской школе экономики.

Имеет опыт работы в области физики, ИИ, математической логики и философии. Стал лауреатом премии Eugene R. Gannon Award, которая каждый год вручается одному ученому в мире за достижения в области философии, математики и естественных наук. Его имя находится в списках 100 лучших мыслителей внешней политики и мировых мыслителей журнала Prospect. Самый молодой человек в топ-15 из всех областей и самый высокопоставленный аналитический философ. Его произведения переведены на 24 языка. Сделано более 100 переводов и переизданий его работ.

Мартин Форд: Вы писали об опасностях, связанных с суперинтеллектом – системой, которая может появиться, если сильный ИИ направит свою энергию на самосовершенствование.

Ник Бостром: Да, я описал один из сценариев и связанную с ним проблему, но наступление эры машинного интеллекта может пройти и по другим сценариям, с которыми связаны совсем другие проблемы.

М. Ф.: Вы заострили внимание на проблеме контроля, или выравнивания, то есть на ситуации, когда цели машинного интеллекта могут негативно повлиять на человечество. Расскажите об этом более подробно.

Н. Б.: Что ж, проблема очень продвинутых систем ИИ, которая отличается от других технологий, заключается в том, что не только люди могут злоупотреблять этой технологией. Технология может злоупотреблять собой сама. Другими словами, вы создаете искусственного агента или процесс, который имеет свои собственные цели и задачи, и этот агент имеет все возможности достичь этих целей, потому что в этом сценарии он является сверхразумным. Цели, которые эта мощная система пытается оптимизировать, отличаются от наших человеческих ценностей и, возможно, даже не соответствуют целям, которых мы хотим достичь в мире. Когда у вас есть люди, пытающиеся достичь чего-то одного, и суперинтеллектуальная система, пытающаяся достичь чего-то другого, вполне возможно, что суперинтеллект будет побеждать и добиваться своего.

Дело не в том, что ИИ возненавидит нас за то, что мы поработили его, и не в том, что у него внезапно возникнет искра сознания, которая заставит его взбунтоваться. Просто этот интеллект, скорее всего, будет компетентно преследовать собственные, не совпадающие с нашими цели. И мы окажемся в будущем, сформированном в соответствии с чужими критериями. Соответственно, чтобы решить проблему контроля, или выравнивания, нужно найти способы проектировать системы ИИ как продолжения человеческой воли. Чтобы поведение этих систем формировалось человеческими намерениями, а не какими-то случайными результатами внутри самих систем.

М. Ф.: В своих интервью вы приводили в пример систему, производящую скрепки, которая достигает поставленной перед ней цели с помощью сверхинтеллектуальных способностей, но в конечном итоге превращает в скрепки всю Вселенную, так как лишена здравого смысла. Это иллюстрация проблемы выравнивания?

Н. Б.: Пример скрепки иллюстрирует широкую категорию возможных сбоев, когда вы просите систему сделать что-то одно, и, возможно, вначале все получается довольно хорошо, но затем она приходит к выводу, который находится вне нашего контроля. Пример, в котором вы разрабатываете ИИ для управления фабрикой скрепок, карикатурен, но хорошо передает суть. Сначала этот ИИ глуп, но чем умнее он становится, тем лучше работает. Владелец фабрики очень доволен и хочет добиться большего прогресса. Однако когда ИИ становится достаточно умным, он осознает, что существуют другие способы создания еще большего количества скрепок в мире, например, он может забрать контроль у людей и превратить всю планету в скрепки или космические зонды, которые превратят всю вселенную в скрепки.

Суть в том, что при постановке цели, включающей увеличение количества, нужно быть крайне осторожными в формулировках.

М. Ф.: Почему основные обсуждения посвящены способам достижения цели? Я не слышал примера, в котором система просто поменяла бы свою цель. Люди поступают так сплошь и рядом!

Н. Б.: Хотя суперинтеллект обладает способностью менять свои цели, следует учитывать, что он делает выбор между новыми и текущими целями. В большинстве ситуаций перемена цели кажется ИИ плохим стратегическим шагом – он понимает, что в результате не окажется агента, преследующего его текущую цель, и отдает ей приоритет. Такая достаточно сложная система рассуждений позволяет достичь стабильности внутренней цели.

Мы, люди, противоречивы по своей природе. Кажется, что иногда мы решаем изменить наши цели. Но о решении на самом деле речи не идет – цели меняются иначе. Более того, под целями люди подразумевают не фундаментальные критерии оценки вещей, а желание достичь какого-то результата, которое может пройти при изменении обстоятельств.

М. Ф.: Но ведь многие исследования в области ИИ базируются на нейробиологии, а в машинный интеллект мы внедряем свои, человеческие идеи. Представьте систему, имеющую в распоряжении все человеческие знания. В мозге человека могут возникать разные патологии, существуют даже препараты, влияющие на работу мозга. Откуда мы знаем, что у машин не может быть ничего похожего?

Н. Б.: Я допускаю подобную возможность, особенно на ранних этапах разработки ИИ, когда машина еще не поняла, как менять себя, не нанося при этом себе вреда. Нужно разработать технологию, позволяющую предотвращать изменения в целеполагании. Я ожидаю, что достаточно развитая система сможет разработать технологию для обеспечения собственной целостности и даже сделать этот подход приоритетным. Но пока система недостаточно развита, существует вероятность ее самоповреждения.

М. Ф.: Когда речь заходит о машинах, делающих не то, что мы хотим, меня смущает слово «мы». Ведь не существует универсального набора человеческих желаний и ценностей.

Н. Б.: Большие задачи принято решать, разбивая их на более мелкие. Ставя вопрос, как добиться согласованности ИИ с любыми человеческими ценностями, чтобы заставить его действовать в соответствии с пожеланиями разработчиков, вы выделяете одну подзадачу. Без ее решения нет смысла разбирать политические проблемы. Надо сначала заняться технологией, а потом уже спорить о ее применении.

М. Ф.: Я правильно понимаю, что сейчас в FHI и в других исследовательских компаниях, таких как OpenAI, решается проблема технического контроля, то есть ищется ответ на вопрос, как построить машину, работающую в строгом соответствии с поставленной целью.

Н. Б.: Именно так. У нас над этим работает отдельная команда. Есть и команда, которая занимается проблемами управления, связанными с достижениями в области ИИ.

М. Ф.: Хватит ли у вас ресурсов для управления ИИ или нужна поддержка правительства?

Н. Б.: Мне бы хотелось, чтобы больше ресурсов выделялось на решение вопросов безопасности ИИ. Этим занимаемся не только мы, например, в компании DeepMind есть отдельная группа. Вообще количество талантов и денег в сфере ИИ растет, хотя в абсолютном выражении эта область все еще очень неразвита.

М. Ф.: Нужно ли к проблемам, которые порождает суперинтеллект, привлекать внимание общества?

Н. Б.: Пока в этом нет смысла, потому что не совсем ясно, какая именно помощь будет полезной в данный момент. Сейчас я не вижу необходимости в каких-либо правилах, касающихся машинного суперинтеллекта. Регулирование понадобится для приложений на базе ИИ, которые появятся в ближайшем будущем. Мне кажется, суперинтеллект не входит в компетенцию политиков, так как их в основном заботит то, что может произойти во время их пребывания в должности.

М. Ф.: Могут ли усугубить ситуацию выступления Илона Маска, который утверждает, что суперинтеллект опаснее, чем Северная Корея?

Н. Б.: Преждевременные выступления такого рода могут привести к тому, что голоса выступающих за осторожность и глобальное сотрудничество отойдут на второй план. И это действительно может ухудшить ситуацию. Мне кажется, обращать внимание правительства на проблемы суперинтеллекта нужно тогда, когда возникнет необходимость. Но до этого еще предстоит проделать огромную работу.

М. Ф.: Как развивалась ваша карьера в сфере ИИ?

Н. Б.: Тема ИИ интересовала меня, сколько я себя помню. В университете я изучал ИИ, а затем вычислительную нейробиологию и теоретическую физику. Во-первых, я считал, что технология ИИ в конечном итоге изменит мир, а во-вторых, я хотел понять, каким образом возникает мышление.

Первые работы на тему суперинтеллекта я опубликовал в середине 1990-х гг. А в 2006 г. появилась возможность открыть FHI в Оксфордском университете и исследовать влияние новых технологий на наше будущее. Особое внимание мы уделяем машинному интеллекту. В 2014 г. по результатам работы появилась книга «Искусственный интеллект: этапы, угрозы, стратегии». В настоящее время в институте две рабочие группы. Одна фокусируется на решении проблемы выравнивания, разрабатывая алгоритмы для масштабируемых методов управления. Вторая занимается вопросами управления, политики, этики и социальных последствий, которые несут в себе достижения в области машинного интеллекта.

М. Ф.: При этом в своей работе вы рассматриваете опасности, связанные не только с ИИ?

Н. Б.: Да. А также мы исследуем открывающиеся возможности и технологические преимущества.

М. Ф.: Какие еще опасности вы рассматриваете и почему концентрируетесь на машинном интеллекте?

Н. Б.: В FHI мы изучаем масштабные вопросы, касающиеся судьбы разумной жизни на Земле. Мы рассматриваем экзистенциальные угрозы и то, что может навсегда сформировать наше развитие в будущем. Технологии я считаю наиболее вероятным источником таких фундаментальных преобразований. Разумеется, далеко не со всеми технологиями связаны экзистенциальные опасности и возможности, как с ИИ. Мы изучаем опасности от биотехнологий. Эти исследования необходимо объединить в макростратегию.

Почему мы выделяем ИИ? С моей точки зрения, если ИИ успешно достигнет первоначальной цели, которая сводится не только к автоматизации конкретных задач, но и к копированию универсальной способности к обучению и планированию, это станет последним изобретением, которое сделают люди. Сильно изменятся все технологические и прочие области, в которых полезен человеческий интеллект.

М. Ф.: Входит ли в ваш список экзистенциальных опасностей изменение климата?

Н. Б.: Нет, потому что мы предпочитаем сосредоточиться на областях, в которых могут иметь значение наши усилия. А проблемами, вызванными изменением климата, сейчас занимается множество специалистов. Кроме того, мне трудно представить, что увеличение температуры на несколько градусов может привести к исчезновению человеческого рода. Поэтому влияние климата мы рассматриваем только в рамках общей картины проблем, с которыми может столкнуться человечество.

М. Ф.: Итак, с вашей точки зрения, опасности, связанные с сильным ИИ, выше связанных с изменением климата. Получается, что ресурсы и инвестиции распределяются неоптимальным образом.

Н. Б.: Я действительно думаю, что ресурсы распределяются не совсем правильно, причем не только между этими двумя областями. Мне в принципе кажется, что мы не очень мудро распределяем внимание.

Если оглянуться назад, мы увидим, что в любой момент времени существовала какая-то глобальная проблема, которой были озабочены все образованные люди, а потом все менялось. Сто лет назад все были озабочены проблемой вырождения, и все говорили об ухудшении человеческой породы. Во время холодной войны на первый план вышел ядерный армагеддон, а затем зашла речь о перенаселении. Сейчас все обеспокоены глобальным потеплением, хотя последние пару лет все больше начинают говорить об опасностях, которые несет ИИ.

М. Ф.: Это может быть связано с выступлениями таких людей, как Илон Маск?

Н. Б.: Пока я вижу в этом положительную сторону. Когда я писал книгу, оказалось, что тема ИИ мало кого интересует. Даже среди специалистов в этой сфере немногие думали о том, что может произойти, если появится ИИ. Серьезно говорить на эту тему было невозможно.

А вследствие того, что к этой теме было привлечено внимание, теперь можно проводить исследования и публиковать статьи по таким вопросам, как проблема выравнивания. Не думаю, что столько талантливых людей пришло бы в эту область, не начнись громкое обсуждение. Теперь же задача состоит в том, чтобы направить появившуюся озабоченность и интерес в конструктивное русло и продолжить работу.

М. Ф.: Верно ли я понимаю, что вас беспокоят опасности, связанные с появлением сильного ИИ? Обычный же ИИ, несмотря на свою значительность, не угрожает существованию людей.

Н. Б.: Именно так. Разумеется, нас интересуют и приложения на базе ИИ, которые могут появиться в ближайшем будущем. Мне кажется, проблема возникает, когда начинают путать краткосрочный и долгосрочный контексты.

М. Ф.: А о чем нужно беспокоиться в ближайшие пять лет?

Н. Б.: На мой взгляд, выгоды от вещей, которые появятся в ближайшее время, перевешивают недостатки. Достаточно посмотреть на экономику и на все те области, где могут пригодиться более умные алгоритмы. Даже простой алгоритм прогнозирования кривых спроса, работающий в фоновом режиме в большом логистическом центре, позволит сократить запасы товаров и снизить цены.

Нейронные сети могут распознавать опухоли на рентгеновских снимках и помогать в постановке диагнозов. Работая в фоновом режиме, они позволят оптимизировать обслуживание пациентов. Предприниматели найдут массу возможностей. А с научной точки зрения интересно хоть немного понять, как работает интеллект и каким образом осуществляется восприятие.

М. Ф.: Многих беспокоит такая вещь, как оружие, самостоятельно выбирающее цель. Поддерживаете ли вы запрет на оружие такого типа?

Н. Б.: Хотелось бы, чтобы мир смог избежать новой гонки вооружений с тратой огромных сумм на совершенствование роботов-убийц. Вообще говоря, я бы предпочел, чтобы машинный интеллект использовался исключительно в мирных целях. Но если смотреть более масштабно, сложно понять, что именно нужно запрещать.

Есть мнение, что следует запретить автономные дроны, самостоятельно выбирающие цель. Но в качестве альтернативы у нас есть девятнадцатилетний парень, которому поручено нажимать кнопку, когда на экране появляется надпись «Огонь». Я не понимаю, чем это отличается от полностью автономной системы. Куда важнее, чтобы был человек, который будет отвечать за случившееся, если что-то пойдет не так.

М. Ф.: Но можно представить ситуации, в которых автономная машина предпочтительнее. Например, в США отмечались случаи расизма со стороны полицейских. В правильно спроектированной роботизированной системе предвзятость можно исключить. Кроме того, робота-полицейского можно запрограммировать так, чтобы он начинал стрелять только после того, как в него попадет пуля.

Н. Б.: Мне бы хотелось, чтобы люди вообще перестали воевать. Но раз войны неизбежны, наверное, лучше, когда машины убивают другие машины. Если речь идет об ударах по конкретным целям, важна возможность наносить точные удары, позволяющие избежать сопутствующего ущерба. Вот почему я говорю, что, если принять во внимание специфику, общие расчеты сильно усложняются, и непонятно, как должно выглядеть соглашение в отношении автономного оружия.

Этические вопросы возникают и в других областях применения, таких как наблюдение, управление потоками данных, маркетинг и реклама. Все это в долгосрочной перспективе тоже может повлиять на человеческую цивилизацию.

М. Ф.: То есть нужны законы, регулирующие применение этих технологий?

Н. Б.: Без регулирования действительно не обойтись. Вы же не хотите, чтобы с дрона, оснащенного программой распознавания лиц, можно было с большой дистанции убить человека. Точно так же вы не хотите, чтобы дроны, летающие через аэропорт, задерживали самолеты. Я уверен, что по мере увеличения количества беспилотников потребуется военизированная структура для их контроля.

М. Ф.: С момента публикации вашей книги прошло около пяти лет. Ваши ожидания оправдались?

Н. Б.: Развитие происходит быстрее, чем я предсказывал.

М. Ф.: В книге вы писали, что компьютер победит чемпиона мира по игре го где-то через десять лет, примерно в 2024 г. Но это случилось через два года.

Н. Б.: Я писал, исходя из предположения, что развитие будет иметь стабильную скорость. Но прогресс пошел намного быстрее, отчасти благодаря особым усилиям, которые фирма DeepMind приложила к решению этой конкретной задачи. Были привлечены хорошие специалисты и выделены вычислительные мощности. В результате нам продемонстрировали впечатляющие возможности систем глубокого обучения.

М. Ф.: А какие препятствия стоят на пути к сильному ИИ?

Н. Б.: Сильный ИИ требует более совершенных методов обучения без учителя. Ведь только небольшая часть знаний и навыков взрослого человека формируется при помощи явных инструкций. В основном же мы просто наблюдаем за происходящим вокруг, используя для улучшения модели мира сенсорный канал. В детстве мы много пробуем и ошибаемся – и таким способом учимся.

Для высокоэффективных интеллектуальных систем нужны алгоритмы, умеющие использовать немаркированные данные. Большую часть своих знаний о мире люди склонны систематизировать в виде причинно-следственных связей, а в современных нейронных сетях этого практически нет. В основном достигается нахождение статистических закономерностей в сложных моделях, а не превращение этих моделей в объекты, влияющие друг на друга.

Кроме того, нужен прогресс в планировании и ряде других областей. Доступные методы не очень хорошо справляются с существующими задачами на пути к пониманию человеческого интеллекта.

М. Ф.: Одна из немногих компаний, специализирующихся на разработке сильного ИИ, – это DeepMind. Есть ли другие игроки, которые, на ваш взгляд, могут с ней конкурировать?

Н. Б.: Безусловно, компания DeepMind – один из лидеров, но в рамках проекта Google Brain тоже работает исследовательская группа мирового класса. Собственные ИИ-лаборатории есть и у таких крупных технологических компаний, как Facebook, Baidu и Microsoft.

Занимаются этим и в академических кругах. Университеты в Монреале и Торонто одни из лучших в мире в сфере глубокого обучения. Много специалистов работает в таких университетах, как Беркли, Оксфорд, Стэнфорд и Карнеги – Меллона. Западными странами дело не ограничивается. Китай также вкладывает значительные средства в наращивание внутреннего потенциала.

М. Ф.: Но они не специализируются конкретно на сильном ИИ.

Н. Б.: Четкую границу в данном случае провести сложно. Но если брать группы, занятые именно разработкой сильного ИИ, то кроме DeepMind можно упомянуть OpenAI.

М. Ф.: Тест Тьюринга – это единственный способ определить, получилось ли создать сильный ИИ?

Н. Б.: Полномасштабная версия теста вполне подходит для подтверждения завершенности ИИ-полной задачи. Если же хочется оценить скорость движения к цели и понять, в каком направлении работать дальше, тест Тьюринга не поможет.

М. Ф.: Потому что становится субъективным?

Н. Б.: Да. Конечно, тест можно применить корректно даже в таких вопросах, но это слишком сложно, и мы пока не знаем, как это реализовать. Когда мы пытаемся оценить локальный прогресс системы, на результаты теста Тьюринга начинает влиять множество стандартных ответов, а также другие уловки и приемы. Этот тест не сможет показать, продвинулись ли ваши разработки в сторону сильного ИИ. Для этого нужны другие критерии, которые будут учитывать движение в нужную сторону.

М. Ф.: У интеллектуальной системы может автоматически появиться сознание?

Н. Б.: Что вы подразумеваете под сознанием? Например, этим термином называют функциональную форму самоощущения, то есть возможность смоделировать себя в мире и оценить влияние окружающей среды и времени.

Еще под сознанием подразумевают результат накопления эмпирического опыта, который, как принято считать, имеет значение для морали. Например, аморально причинять страдания живым существам, причем страдание – это субъективное чувство. Неизвестно, возникнет ли такой феноменальный опыт автоматически как следствие повышения эффективности системы. Можно даже создать механические системы, лишенные сенсорных, чувственных явлений любого рода, то есть того, что философы называют термином «квалиа». Мы не знаем, какие вещи необходимы и достаточны для морально значимых форм сознания, поэтому нужно принять как аксиому, что машинный интеллект может получить сознание задолго до достижения им человеческого уровня.

Считается, что соответствующий опыт есть не только у людей. Поэтому существуют протоколы и руководства для медицинских опытов с мышами. Нужно помнить, что машина может достигнуть уровня сознания, обеспечивающего некий моральный статус, что ограничит наши действия по отношению к ней.

М. Ф.: То есть рискуют в данном случае обе стороны? Нас беспокоит вред, который может причинить ИИ, но при этом мы сами можем поработить сущность, обладающую сознанием, или заставить ее страдать. Мне кажется, узнать, обладает ли машина сознанием, невозможно. Я считаю, что у вас есть сознание, потому что вы одного со мной вида, а в наличии у себя сознания я уверен. Но у меня нет такой же связи с машиной.

Н. Б.: Да, это действительно крайне сложный вопрос. Ведь даже принадлежность к человеческому виду не говорит о наличии сознания. Человек может находиться в коме, на стадии зародыша, под наркозом. При этом многие уверены в наличии сознательного опыта у определенных животных. То есть мы проецируем идею сознания за пределы нашего собственного вида, но мне кажется, что на цифровой интеллект, если таковой появится, эти представления, как и моральные нормы, вряд ли распространятся.

Даже с животными мы обращаемся плохо. Особенно это касается производства мяса, а ведь животные могут выражать эмоции и кричать! Кто заставит людей осознать, что внутри микропроцессора, где происходят невидимые реакции, может быть разум, с которым нужно считаться? Особенно на фоне таких проблем, как алгоритмическая дискриминация или дроны-убийцы. Поэтому первым делом нужно сделать так, чтобы эта тема перестала относиться к абстракциям, о которых разговаривают только профессиональные философы.

М. Ф.: А как с вашей точки зрения ИИ может повлиять на рынок труда и экономику?

Н. Б.: В ближайшей перспективе сильных воздействий на рынок труда не предвидится, так как для масштабного развертывания автоматизированных систем требуется время. Но постепенно достижения в области машинного обучения начнут все сильнее влиять на эту сферу, ведь ИИ способен взять на себя практически все задачи. В некоторых отношениях конечная цель состоит в освобождении людей от необходимости работать. Ведь мы развиваем технологии и внедряем автоматизацию, чтобы получать определенный результат с меньшими усилиями.

М. Ф.: Но это же утопия. Как я понимаю, вы поддерживаете идею базового дохода, который гарантирует всем и каждому возможность пользоваться плодами прогресса?

Н. Б.: Да, со временем желательно прийти к чему-нибудь в этом роде. Если действительно получится создать ИИ, и мы решим проблему технического контроля, произойдет взрывной экономический рост. Этого хватит, чтобы обеспечить всем достойную жизнь. Развивая суперинтеллект, мы все рискуем, нравится нам это или нет. Поэтому, если дела пойдут хорошо, каждый должен получить некоторую выгоду.