Текст книги "Все под контролем: Кто и как следит за тобой"

Алан Тьюринг

Многие считают Алана Тьюринга [Alan Turing] отцом искусственного интеллекта. Он действительно является одним из основателей компьютерной науки. Во время Второй мировой войны благодаря усилиям Тьюринга британское правительство смогло вскрыть шифры, при помощи которых нацистский режим держал связь со своими подводными лодками и военачальниками. После войны Тьюринга все больше и больше стала интересовать идея создания компьютера, который мог бы вести себя подобно человеку. Сегодня Тьюринг известен благодаря тесту Тьюринга, простому эмпирическому правилу, позволяющему установить, действительно ли компьютер думает и обладает самосознанием или он имитирует человеческий разум. Суть этого теста заключается в практическом испытании, происходящем приблизительно так: человека помещают в изолированную комнату с компьютером. После этого ему предоставляется возможность общаться с другим человеком и с компьютерной программой, при этом все общение происходит исключительно с помощью клавиатуры и экрана. Если испытатель не может различить машину и человека, то компьютерная программа признается такой же интеллектуальной и разумной, как и человек. [Фотография любезно предоставлена Компьютерным музеем (Бостон, Массачусетс) и Историческим центром (Маунтинвью, штат Калифорния)]

«Играть в шахматы на уровне гроссмейстера при поддержке компьютера – способ удовлетворения своих амбиций, в то время как противник в Чили, Аргентине или Австралии осознает свою слабость перед гроссмейстером и сдается, – говорит Грунд. – Получение удовольствия от сознания, что ваш компьютер стал победителем, достаточно странно».[228]228
  Интервью автору, 25 августа 1997.


[Закрыть]

ICC не считает проблемой сам факт подключения к системе компьютеров и роботов, говорит Грунд. Действительно, в системе ICC всегда есть достаточное количество компьютерных оппонентов готовых сразиться и помочь всем желающим повысить свой уровень. Но эти программы никогда не лгут и не притворяются людьми. Если вы пошлете такой программе сообщение: «Привет», она ответит: «Извините, но я всего лишь компьютер. Это мне Вы сказали „привет“».

«Люди, которые нарушают правила и пытаются выдать свои компьютеры за людей, не правы с точки зрения морали, – говорит Грунд. – Шахматы – честная игра. А обманывать в честной игре по меньшей мере трусость. Это бесчестно».

Шахматный клуб Интернета является хорошей базой для развития межчеловеческих связей с использованием компьютерных технологий, а установленные в нем правила применимы гораздо шире. Люди должны быть юридически защищены от попыток компьютеров выдать себя за людей. Такой маскарад является по сути мошенничеством. Из этого не следует, что надо запретить использовать компьютеры в общении между людьми. Но обязанность помечать все свои сообщения как сгенерированные машиной должна стать законом для всех компьютеров. Более того, все машинные сообщения должны содержать подробную информацию, каким образом можно связаться с человеком, ответственным за данный компьютер, т. е. с оператором. Это единственный способ правомерной интеграции интеллектуальных программ в человеческое общество.

Компьютер как ваш агент

Информационная перегрузка – одна из серьезнейших проблем, с которой сталкиваются сегодня работники умственного труда. Каждый день на нас сваливаются тысячи сообщений по электронной почте, web-страниц и газетных статей. Информация льется на нас со страниц книг и журналов, из радио, с телевидения, из инструкций по использованию, с видеокассет, из новых фильмов, с досок объявлений и даже рекламы в небе.

Один из ключевых механизмов, предлагаемых современными технологиями для борьбы с информационной перегрузкой, – это интеллектуальный агент. Идея такой программы состоит в том, что она знает ваши интересы и предпочтения и использует данную информацию для фильтрации огромного потока информации, врывающегося в вашу жизнь таким образом, что вы видите лишь то, что желали бы увидеть. Хотя для создания таких агентов предлагалось использовать самые разные технологии, первой на рынке появилась технология называемая совместной фильтрацией.

Идея совместной фильтрации чрезвычайно проста. В реальном мире слишком много газет, записей, книг, фильмов, радио– и телевизионных станций, чтобы можно было уделить внимание всему этому разнообразию. Но вам это и не нужно. Вместо этого, вы спрашиваете своих друзей об их предпочтениях. Рано или поздно вы определяете, с кем из ваших друзей вы сходитесь во вкусах по части музыки и новостей, а чьи интересы так же далеки от вас, как планета Юпитер. Вы определяетесь, кому доверять. Конечно, такое сотрудничество – процесс двусторонний, и вы тоже будете давать рекомендации своим друзьям. И естественно, когда вы обнаружите, что кому-то из друзей приходятся по вкусу ваши советы, вы больше станете доверять его советам. Но до того, как вы узнаете это, вам, возможно, придется организовать собственный список рассылки.

Компьютеризованная совместная фильтрация автоматизирует этот процесс. Рекламщики утверждают, что совместная фильтрация может быть использована для доставки информации потребителю более точно, чем, например, поиск по ключевым словам. Они утверждают, что могут сформировать общественное мнение на безликом в другой ситуации web-сайте.

Известный онлайновый книжный магазин Amazon.com использует разновидность совместной фильтрации, чтобы помочь покупателям в выборе книг. В основе системы лежит теория о том, что если существует книга, которая нравится одновременно двум людям, вероятнее всего, существует и еще целый ряд книг, которые заинтересуют их обоих. Система пытается найти пересечение интересов разных людей, и у нее это неплохо получается. Например, если вы выберете «Практическую безопасность UNIX и Интернета» [Practical UNIX & Internet Security], одну из моих книг, Amazon сообщит вам:

Клиенты, которые купили эту книгу, купили также «Построение межсетевых экранов в Интернете» Брента Чапмена и др. [Building Internet Firewalls by D. Brent Chapman et al.]; «Основы компьютерной безопасности» Деборы Рассел и Г.Т. Гэнджеми [Computer Security Basics by Deborah Russel]; «Администрирование сетей TCP/IP» Крейга Ханта и Гиджи Эстабрук (редактор) [TCP / IP Network Administration by Craig Hunt and Gigi Estrabook (editor)]; «Краткий курс системного администрирования: в помощь системным администраторам UNIX (карманный справочник)» Элин Фриш [Essential System Administration: Help for UNIX System Administrators (Nutshell handbook) by Eleen Frish].

После того как вы покупаете на Amazon.com несколько книг, система анализирует ваши покупки и строит огромную матрицу, содержащую корреляции между вами и всеми остальными клиентами. Когда я захожу на web-сервер Amazon, он встречает меня, например, таким приветствием: «Здравствуйте, Симеон Л. Гарфинкель! Мы можем порекомендовать вам книги по темам „Компьютеры и Интернет“, „Документальная литература“, „Развлечения“ и другие». Если я выберу раздел «Документальная литература», система порекомендует мне пять книг:

«Холодный гнев: История о вере и могуществе политиков» Мери Бет Роджерс и Билла Мойерса (введение) [Cold Anger: A Story of Faith and Power Politics by Mary Beth Rogers, Bill Moyers (introduction)]; «В поисках приватности: Закон, этика и развитие технологий» Джудит Вагнер Дисью [In Pursuit of Privacy: Law, Ethics and the Rise of Technology by Judith Wagner Decew]; «Технология и приватность: Новый ландшафт» Филипа Эгра (редактор), Марка Ротенберга (редактор) [Technology and Privacy: The New Landscape by Philip Agre (editor), Marc Rotenberg (editor)]; «Ваше право на приватность: Базовое руководство по законным правам в информационном обществе (сборник Американского союза за гражданские свободы)» Эвана Хендрикса и др. [Your Right to Privacy: A Basic Guide to Legal Rights in an Information Society (An American Civil Liberties Union Handbook) by Evan Hendricks, et al.]; «Диалог между классами и другие уроки первичной организации» Линды Стоут и Говарда Зинна [Bridging the Class Divide and Other Lessons for Grassroots Organizing by Linda Stout, Howard Zinn].

Совершенно очевидно, что Amazon знает, что я покупал книги по определенной тематике, и хочет помочь мне купить еще!

Другие системы потенциально гораздо более сложны. Когда я был аспирантом MTI и работал в Лаборатории медиа, там было большое количество различных видов интеллектуальных агентов. Джон Оруэнт [John Orwant], научный сотрудник, разработал программу Doppelganger.[229]229
  J. Orwant, «For Want of a Bit the User was Lost: Cheap User Modeling», IBM Systems Journal, 35: 3 &4, 1996.


[Закрыть] «Doppelganger – мистическое чудовище из германского фольклора, которое выбирало невинного человека и подглядывало за ним из тени, наблюдая за его привычками, встречами, эмоциями и особенностями, – объяснял Оруэнт. – Через некоторое время Doppelganger начинал походить на этого человека, вести себя как этот человек, и в конечном счете становился этим человеком незаметно для всех».

Созданный Оруэнтом программный Doppelganger пытался сделать то же самое. Программа наблюдала за действиями человека и пыталась построить его модель: что ему нравится и не нравится, наиболее значимые события его жизни. Чем больше информации о вас могла собрать программа, тем точнее она подстраивалась под вас. После этого Doppelganger делал свою базу данных доступной другим программам на вашем компьютере, отвечая на их запросы. Например, глядя, какие электронные издания вы читаете, Doppelganger строил модель ваших предпочтений: какие статьи вам нравятся, а какие нет. На следующий день программа для чтения электронных газет могла спросить Doppelganger, включать или нет конкретную статью в ежедневную подборку для вас. Чтобы не нарушить личную тайну пользователя, вся конфиденциальная информация при передаче ее по компьютерной сети шифровалась при помощи PGP.[p67]p67
  PGP (Pretty Good Privacy) – программа для шифрования и цифровой подписи сообщений, разработанная Филом Циммерманом [Phi Zimmermann].


[Закрыть] Другой сотрудник Лаборатории медиа, Макс Метрал [Мах Metral] разработал ассистента для электронной почты. Программа наблюдала за действиями пользователя, строила его модель, после чего пыталась ее задействовать. Например, если программа замечала, что вы читаете электронные письма от вашей матери сразу же после их получения, то программе начинала автоматически открывать их для вас сразу после их поступления в почтовый ящик, после чего складывала в отдельную папку.[230]230
  Yezdi Lashkari, Max Metral and Pattie Maes «Collaborative Interface Agents» («Агенты совместного интерфейса»), MIT Media Laboratory, 1994 (не опубликовано). Доступно для загрузки по адресу ftp://ftp.media. mit.edu/pub/agents/interface-agents/generic-agents.ps.


[Закрыть]

Нет никаких причин, по которым программа останавливалась бы на этом. Умная программа для чтения почты может делать разбор входящей корреспонденции и помещать найденную там информацию в базу данных на естественном языке. После этого вы можете задать программе вопрос, например: «Когда я последний раз получал сообщение из Франции?» или: «Как называется модель нового ноутбука, недавно анонсированная IBM?» Компьютер даст вам ответ при помощи этой базы данных.

Это вовсе не научная фантастика. В 1991–1996 годах Агентство перспективных исследований американского Министерства обороны [US Department of Defense Advanced Research Project Agency, DARPA] спонсировало конкурс «Конференция по распознаванию сообщений» [Message Understanding Conference, MUC]. Целью конкурса было создание компьютерной программы, которая извлекала бы информацию из большого количества текстовых сообщений и облекала ее в машиночитаемую форму. В рамках MUC-6 участники написали программу, которая могла сканировать газетные статьи и искать в них информацию об изменениях среди руководящего персонала. Например, MUC-6 был предоставлен следующий текст:

МсСаnn создал новую, так называемую глобальную систему сотрудничества, состоящую из всемирно известных финансовых директоров и творческих партнеров. Известно, что Питер Ким [Peter Kim] был приглашен в сентябре в WPP Group's & Walter Thompson на должность вице-президента, главного специалиста по стратегическому планированию.

В результате получились следующие данные:

«ОЧЕРЕДН_СОБЫТИЕ-940224 0133-3»:= ОЧЕРЕДН_ОРГ: «ОРГАНИЗАЦИЯ-94 022 4 0133-1» ПОСТ: «Вице-президент, главный специалист по стратегическому планированию»

ВХ_И_ВЫХ: «ВХ__И_ВЫХ-9402240133-5» ПРИЧИНА_ВАКАНСИИ: ПРОЧ_НЕИЗВ

КОММЕНТАРИЙ: «Ким стал вице-президентом… в МсСапп» «ВХ И ВЫХ-9402240133-5»:=

ВХ/ВЫХ_ЛИЧНОСТЬ: «ЛИЧНОСТЬ-94 022 40 133-5»

НОВЫЙ__СТАТУС: ВХ

В_РАБОТЕ: ДА

ПРОЧ_ОРГ: «ОРГ-9402240133-8»

ОТН_ПРОЧ_ОРГ: ВНЕШН_ОРГ

КОММЕНТАРИЙ: «Ким пришел из другой организации (должность не упомянута)» / «Точно известно, что сейчас он работает, назначен несколько месяцев назад»

«ОРГАНИЗАЦИЯ-9402240133-1»:=

ОРГ_НАЗ: «McCann-Erickson»

ОРГ_ПСЕВДОН: «МсСапп»

ОРГ ОПИСАН: «одно из крупнейших мировых агентств»

ОРГ_ТИП: КОМПАНИЯ

«ОРГ-9402240133-8»

0РГ_НАЗ: «J. Walter Thompson»

ОРГ_ТИП: КОМПАНИЯ

«ЛИЧНОСТЬ-94 022 4 0133-5»

ЛИЧН_ИМЯ: «Питер Ким»

В конечном счете вы можете использовать такую программу для создания большой машиночитаемой базы данных из неструктурированной информации, типа сообщений электронной почты или газетных статей.

Другая система была разработана в рамках проекта START в Лаборатории ИИ Массачусетского технологического института [MIT AI Lab].[231]231
  Информационный сервер START, называемый «START Natural Language Question Answering System» находится по адресу http:// www.ai.mit.edu/projects/infolab. Упомянутый «Географический справочник ЦРУ 1999» [русское издание: Географический справочник ЦРУ'2000. Екатеринбург: У-Фактория, 2001.] доступен по адресу http://www. odci.gov/cia/publications/factbook.


[Закрыть] В отличие от MUC, START была спроектирована, чтобы отвечать на вопросы, заданные на английском языке. Например, вы могли задать START вопрос:

«WHAT DOES START STAND FOR? [Для чего предназначена START?]

И получить ответ:

START stands for the Syntactic Analysis Using Reversible Transformations.

[START[p68]p68
  Видимо, аббревиатура и создана из этого предложения: SynTactic Analysis using Reversible Transformations.


[Закрыть] предназначена для синтаксического анализа с использованием обратимых преобразований.]

Борис Кац [Boris Katz], научный сотрудник Лаборатории ИИ, дал программе прочитать информацию об институте и поместил ее на web-сервер Лаборатории. Любой человек мог задать программе типовой вопрос и получить адекватный ответ. Например, вы могли спросить: „Где находится Лаборатория ИИ?“ и получить ответ: „Лаборатория искусственного интеллекта Массачусетского технологического института находится в Кембридже. Почтовый адрес лаборатории – MIT AI Laboratory, 545, Technology Square, Cambridge, MA 02139“.

Система также знала, как получить доступ к информации на других компьютерах в Интернете. Например, вы могли напечатать запрос:

= =» SHOW ME A MAP OF CAMBRIDGE

[Покажи мне карту Кембриджа]

Система ответила:

Sorry, I don't have a map of Cambridge Massachusetts.

Click on the map of Massachusetts if you want to see it.

(Простите, но я не располагаю картой Кембриджа, штат Массачусетс.

Активируйте ссылку «карта штата Массачусетс», если желаете посмотреть на нее.)

Щелчок мышью на подчеркнутом тексте вызывал карту штата Массачусетс с сервера Time Warner Pathfinder.

Вы можете задать START вопрос о населении Иордании, и она, проконсультировавшись в «Географическом справочнике ЦРУ», даст ответ, что в июле 1999 года оно составляло 4 561 147 человек. Вы можете спросить ее о времени в Сиэтле, и она, обратившись к базе данных временных зон, а также к значению текущего времени в Кембридже, ответит на ваш вопрос.

Хотя START может показаться похожей на другие понимающие естественные языки программы, засоряющие в последние 30 лет область искусственного интеллекта, у нее есть одна важная особенность. Другие системы используют сложные выражения, написанные на загадочном компьютерном языке, чтобы получить знания, задать вопросы и посмотреть на результат; большая же часть START написана непосредственно на английском языке. Это значит, что огромное количество относительно неподготовленных людей могут вводить в нее информацию. Это также означает, что программа может самообучаться путем чтения информации, которая уже находится в Интернете.

Технология агентов-помощников существует уже сегодня и постоянно совершенствуется. Но кто контролирует агентов?

Агент, который может предвидеть ваши действия и желания может оказать неоценимую помощь человеку в борьбе с информационной перегрузкой. Но такой агент также может стать мощным инструментом в руках того, кто хочет заставить вас приобрести определенный продукт. Прогнозирующий агент может также стать незаменимым и для того, кто желает причинить вам вред.

Извлечение «я»

До своего ухода из Федеральной комиссии по торговле Кристина Варни [Christine Varney] написала для радиостанции National Public Radio следующий маркетинговый сценарий от имени агента:

Предположим, что каждый год на годовщину свадьбы вы посылаете цветы своей жене. Я замечаю, что в этом году вы этого не сделали. Я знаю также, что в настоящее время она находится не в Сан-Франциско, а в отеле Four Seasons в Лос-Анджелесе, и спрашиваю вас, необходимо ли мне послать ей цветы? Ваша реакция, восхищение или раздражение, зависит от одной вещи – вашего согласия.[232]232
  Christine Varney, член комиссии FTC, обращение к John McChesney в передаче national Public Radio «All Things Considered», 10 июня 1997.


[Закрыть]

Действительно, восхититесь вы или испытаете раздражение, зависит от многих факторов. Если вы планировали встретиться с женой в этом отеле, вы останетесь довольны таким советом. Если вы полагаете, что ваша жена отправилась навестить свою больную маму в нью-йоркской провинции, то такое сообщение вполне может привести к разводу. А если ваша жена числится пропавшей, такое сообщение поможет вам найти ее. Согласие не фигурирует явно в этой истории. Вы могли дать согласие программе на это действие, если являетесь владельцем кредитной карты, но сам факт мог вызвать у вас раздражение. С другой стороны, даже если вы не дали такого согласия, программа сообщила вам важную информацию, которую вы не знали, и вы должны быть благодарны ей за это. Утверждение Варни ошибочно по другой причине: для практической реализации этой не слишком футуристической рыночной стратегии с использованием агента согласия не требуется. Вся необходимая для реализации описанного Варни сценария информация доступна сегодня банкам и компаниям, имеющим дело с кредитными картами.

Если что и сдерживает появление таких программ, то это вовсе не отсутствие согласия клиентов, а отсутствие строгого рыночного обоснования, что такое программное обеспечение принесет компаниям дополнительную прибыль.

Марк Ротенберг [Marc Rotenberg] из Информационного центра электронной приватности [Electronic Privacy Information Center] полагает, что агенты следующего поколения будут сканировать всю доступную персональную информацию о личности, после чего строить прогнозирующую модель для использования маркетологами и другими заинтересованными лицами. Ротенберг назвал это извлечением «я».

Извлечение «я» – одна из наиболее значимых угроз неприкосновенности частной жизни и личностной уникальности со стороны компьютеров. Ваш профиль будет содержать информацию о каждом документе, который вы когда-либо читали, о каждом человеке, которого вы знаете, о каждом месте, которое вы посещали, о каждом произнесенном когда-либо вами и записанном слове. Ваша уникальность будет теперь существовать не только внутри вас, но и внутри вашей модели. «Она будет знать о вас больше, чем вы сами знаете о себе, – говорит Ротенберг. – С этого момента мы теряем не только индивидуальность, мы теряем индивидуумов».[233]233
  Из личной электронной почты, 27 августа 1997.


[Закрыть]

Фактически первый опыт извлечения «я» уже состоялся. В конце 1980 года Джанет Колоднер [Janet Kolodner], аспирантка одного из пионеров искусственного интеллекта в Йельском университете – Роджера Шенка [Roger Schank], создала программу под названием CYRUS. Программа Колоднер была попыткой моделирования памяти государственного секретаря президента Картера – Сайруса Вэнса [Cyrus Vance]. Вспоминает исследователь-историк искусственного интеллекта Даниэль Кревье:

Программа действительно осознавала себя в качестве Вэнса и получала свою «память» из новостей о Вэнсе, перехватываемых с помощью FRUMP [еще одна программа искусственного интеллекта]. Однажды ей был задан вопрос, встречалась ли жена Вэнса с женой израильского премьер-министра Бегина. CYRUS вспомнила, что Вэнс и Бегин принимали участие в мероприятии, на котором были вместе с женами, и дала точный ответ: «Да, на официальном обеде в январе 1980 года в Израиле».[234]234
  Crevier, AI: Tumultuous History.


[Закрыть]

Технологических методов предотвращения извлечения «я» не существует. Но если мы хотим, чтобы неприкосновенность частной жизни сохранилась в будущем, такие технологии должны быть взяты под контроль. Существует целый ряд способов установления такого контроля.

Одним из законных средств противодействия извлечению «я» может стать авторское право. Американское законодательство и международные соглашения предусматривают специальный вид авторского права – авторское право на компиляцию. Это право защищает газеты, компакт-диски и другие виды носителей сборной информации, даже если отдельные их элементы не являются объектом защиты авторского права. Доктрина авторского права на компиляцию могла бы быть распространена и на отдельные компоненты жизни человека. Вы можете не претендовать на защиту при помощи авторского права каждого произнесенного вами предложения, названия каждого купленного вами продукта или названий улиц, на которых вы проживали с момента рождения. Но когда эти разрозненные факты объединяются в целое, они могут быть использованы против вас. Физические и юридические лица, уличенные в такой практике, должны быть подвергнуты штрафу или тюремному заключению.

Другим путем борьбы с этой проблемой может стать принятие и исполнение жестких законов, запрещающих накопление и обобщение персональной информации без исключительного разрешения субъекта этих данных. Законодатели должны четко придерживаться третьего принципа Кодекса о справедливом использовании информации: недопустимо использовать персональную информацию, полученную с одной целью для другой цели, без разрешения субъекта этой информации.[p69]p69
  Необходимость получения разрешения субъекта и соответствия целей использования целям сбора предусмотрена, например, в предложенной Симоной Фишер-Хюбнер [Simone Fischer-Hiibner] модели управления доступом к информации, нашедшей практическую реализацию в проекте RSBAC. См. «From a Formal Privacy Model to its Implementation» (http://www.rsbac.org/niss98.htm).


[Закрыть] Необходимость подтверждающего разрешения на накопление данных и их использование в определенных целях, так же должна быть предметом регулирования закона.