Текст книги "Сценарии будущего. Как жить и работать в мире, захваченном нейросетью и роботами"

Будущее криптомечты

У сегодняшних «цифровых поколений» куда больше интереса к управлению своими данными, ведь они с детства живут в цифровом контексте. Когда цифровые аборигены[9]9
  Собирательное обозначение людей, родившихся после цифровой революции и привыкших получать информацию через цифровые каналы.


[Закрыть] сами станут родителями, у них будет особый запрос на обращение с данными их детей, потому что они выросли в мире, в котором информация имеет ценность и может быть использована злоумышленниками или корпорациями. Для цифровых аборигенов понятия «контроль над данными» и «способность самостоятельно принимать решения» практически эквивалентны: если о тебе знают слишком много, то могут тобой манипулировать. Далеко не все хотят бороться за эту самостоятельность, но связь между данными и решениями уже выстроена в их сознании, даже если явно не вербализирована.

Поколение Альфа[10]10
  Поколение людей, родившихся с середины 2010-х по середину 2020-х годов.


[Закрыть] получает доступ к технологиям раньше, чем их предшественники: в среднем они приобретают первый смартфон в 9 лет, тогда как представители поколения Z[11]11
  Поколение людей, родившихся примерно с 1997 по 2012 год.


[Закрыть] – только в 12 лет. Альфа-дети гораздо чаще просят разрешения у родителей, прежде чем записывать или публиковать контент с их участием. Родители также становятся более осведомленными: 71 % опрошенных заявили, что уже беспокоились о публикации фотографий своих детей в интернете. Поколение Альфа придает больше значения контролю, свободе воли и целенаправленности в своем опыте работы со СМИ, чем их родители (в основном миллениалы[12]12
  Поколение людей, родившихся примерно с 1981 по 1996 год.


[Закрыть]).

Этот запрос на персональный контроль в СМИ и технологиях может еще сильнее углубиться с развитием генеративного искусственного интеллекта: во всем мире почти 20 % детей получили доступ к ChatGPT через веб-браузер всего через год с небольшим после запуска.

Запрос на контроль над собственными данными может распространиться на любые технологии: в доступе к ним индивид может сравняться с корпорациями и другими организациями, а присутствие государства как медиатора между акторами станет необязательным для сохранения общественного строя. С развитием технологий общественный договор может стать алгоритмом, причем самоисполняющимся. Роль же государства как регулятора общественного договора перейдет к техническим средствам.

Автоматизация общественных договоров сильно упростит социально-экономические процессы, экономя время и силы людей. Онлайн-сервисы заменят не только привычные прежде вызов такси по телефону через диспетчерскую службу, поход в магазин или голосование на выборах, но даже процесс частного торга – функционалом приложения для поиска лучшей цены.

В отличие от человека, алгоритм не будет преследовать целей, не заложенных в него изначально. Власть машин не эксклюзивна: человек может сделать много разных устройств, изменить алгоритмы и правила или вообще разрушить механизмы. Например, люди просыпаются утром по звонку будильника, но могут изменить время сигнала или отключить будильник и проспать. При этом будильник не захочет разбудить вас пораньше и не будет заставлять неукоснительно следовать его воле.

Пожалуй, в качестве современного примера умеренного техноанархического сообщества можно привести участников экономических отношений на товарной или фондовой бирже. Фьючерс или опцион – автоматический договор на поставку товара. Если условие выполнено, то вы получите товар, а если нет, то автоматически спишется штраф. Повсеместное внедрение технологий, замещающих традиционные институты, будет долгим процессом, требующим масштабной перестройки уже существующих систем взаимоотношений. В мире без привычных нам посредников и регуляторов потребуется гораздо больше осознанности, самостоятельности и разумности.

Несмотря на нейтральный по своей природе характер любой технологии, использование технических средств для анонимизации коммуникаций и финансовых транзакций – это инструмент в руках киберпреступников, скрывающихся от правоохранительных органов и отмывающих украденное через криптовалютные миксеры. В большинстве стран техноанархизм воспринимается государством как нежелательный конкурент или даже угроза традиционным институтам. Это приводит к регулированию и сдерживанию: обязательной сертификации ввозимых и выпускаемых устройств, запретам и ограничениям на оборот криптовалюты, непременной идентификации личности при осуществлении значимых действий и т. д.

Однако быстрое развитие технологий в определенной отрасли способствует техноанархизму. Государство не успевает подчинить эту сферу, и роль регулятора берут на себя технические устройства и алгоритмы, которые и осуществляют социально-экономические процессы. Несмотря на кажущуюся слабость политической воли адептов техноанархизма, можно привести пример их абсолютной победы – глобальная сеть интернет. Когда техническое достижение способно кардинально изменить жизнь людей, удержать его под контролем одного правительства или корпорации невозможно. Более того, интернет не просто меняет жизнь людей – он слишком выгоден для всех участников, чтобы отказываться от него полностью. В Китае, с его развитой и самодостаточной внутренней экосистемой и внедренной с 2003 года системой фильтрации содержимого интернета «Золотой щит», тем не менее есть мостики в глобальную сеть. Да что там, даже в закрытой от всего мира изнутри и снаружи Северной Корее есть несколько точек доступа.

В то же время с развитием алгоритмов и появлением мощного ИИ у машин может появиться более сильный хозяин, чем создавший их человек. В этом случае мы можем стать рабами машины, не заметив и не осознав изменения своих функций и ролей.

Меланж должен течь не переставая

– Матрица повсюду. Она окружает нас. Даже сейчас она рядом с нами. Ты видишь ее, когда смотришь в окно или включаешь телевизор. Ты ощущаешь ее, когда работаешь, идешь в церковь, платишь налоги. Целый мирок, надвинутый на глаза, чтобы спрятать правду.

– Какую?

– Что ты только раб, Нео. Как и все, ты с рождения в цепях. С рождения в тюрьме, которой не почуешь и не коснешься. В темнице для разума.

к/ф «Матрица» (реж. братья Вачовски), студии Warner Bros., Village Roadshow Pictures, Groucho II Film Partnership, Silver Pictures, 2001

Может ли в основе интернета будущего лежать уважение к пользователю, его времени и информации, а не его эксплуатация?

Сомневаюсь, потому что уважение к пользователю неудобно для государств. Пока я пишу эту книгу, мне регулярно приходится разгадывать до пяти (Карл!) капч Google для каждого поискового запроса, потому что я запрашиваю информацию с российских IP-адресов, хотя раньше сомнений в моей человеческой природе не возникало. Именно так безобидное цифровое рабство превращается в цифровую сегрегацию, когда одним для получения информации требуется больше прыжков с бубном, чем другим, а то и вовсе доступ для них ограничен.

В нынешней дискуссии о «хороших» и «варварских» цивилизациях подразумевается, что варварам доступ к информации совершенно не нужен, а может, даже и вреден. И очень удобно, что варвары уже оцифрованы поголовно, иногда целыми народами. Для перехода из касты варваров в «хорошую» цивилизацию могут быть предусмотрены специальные процедуры. К примеру, Европейский союз предлагает выдавать «русским в изгнании» специальные «демократические паспорта». Будет ли у пользователя с таким «правильным» паспортом меньше проверок для предоставления доступа к информации в поисковой системе?

Сомневаюсь еще и потому, что уважение к пользователю неудобно для корпораций. Чтобы осознать масштабы вероятного цифрового рабства, достаточно понять, что в метавселенных с обычного пользователя они смогут получать еще больше «надоев» персональных данных. А увеличение надоя – одна из ключевых целей корпораций. Системы расширенной реальности можно использовать для отслеживания взгляда, паттернов движений, их изменения в ответ на эмоциональные стимулы, а также для измерения некоторых физиологических показателей. Отчасти то же самое касается и дополненной реальности – даже навигаторы подразумевают трекинг местоположения автомобиля или смартфона и конкретизацию направления движения. Со сбором более подробных данных станет доступна большая глубина поведенческих паттернов и появятся новые целевые аудитории.

Контроль корпораций или других акторов над окружающими нас бизнес-экосистемами вместе с изменениями в законодательстве могут привести к тому, что неповиновение им вызовет отказ от работы с таким человеком.

Я неоднократно сталкивался со следующей позицией людей: «Пусть собирают мои данные и профилируют меня, если это позволяет корпорациям предоставлять мне более удобный сервис». Битва за приватность проиграна не потому, что шифропанки оказались слабее, а потому что тем, за кого они боролись, эта свобода не нужна. Не надо насильно переводить бабушку через дорогу, менять ей пароль и рассказывать о рисках утечки персональных данных: она для себя уже все решила и готова отдать их за удобство и комфорт.

Как мы моргаем или потеем, с какой частотой бьется наше сердце или как расширяется зрачок при виде брендовой сумки – именно в таких данных кроются необходимые для гиперкастомизации коммерческого предложения возможности, потому что реакцию зрачка или скорость сердцебиения не подделать.

Исследователи Вашингтонского университета представили инновационные «термальные серьги», способные фиксировать температуру тела и уровень стресса, а также отслеживать овуляцию и менструальные циклы. Так что мониторинг сенситивных биометрических данных – вопрос не ближайшего будущего, а очень даже настоящего: их начинают собирать сразу после того, как внук подарит новые стильные серьги бабушке, заботясь о ее здоровье.

До того, как интернет стал коммерческим пространством, люди самостоятельно контролировали свои онлайн-взаимодействия. Развитие сетевых технологий в 1990-х и даже в начале 2000-х годов было окутано техноутопизмом и романтизированным киберпанком, идеями о пользе технологий для всего общества и создании более открытого пространства, в котором люди могли бы свободно собираться в сообщества, выражать идеи и строить бизнес.

С момента коммерциализации онлайн-пространств технологические гиганты с их централизованными платформами сделали интернет местом, где заправляют алгоритмы, ориентированные на извлечение прибыли, что, помимо появления компаний с капитализацией в триллионы долларов, подняло серьезные проблемы, связанные с неприкосновенностью частной жизни, личной безопасностью, поляризацией общества, сегрегацией, предвзятостью, разжиганием ненависти, сексуальными преследованиями и дезинформацией в глобальном масштабе.

Человек для корпораций – не только потребитель, в нуждах которого надо разбираться, но и трудовой ресурс, который нужно использовать эффективно и не расходовать попусту. Неспроста многие компании занимаются «управлением человеческими ресурсами», а не «развитием человеческих талантов» или «раскрытием человеческого потенциала». Инструменты для анализа выполнения целевых показателей эффективности, учета времени на работу и отдых, присутствия на рабочем месте и даже распознавание направления взгляда уже привели к буквальной цифровизации деловой активности каждого сотрудника. Представьте, какие возможности для управления рисками и повышения эффективности откроются, если проникнуть в активность и мысли работника еще глубже.

Возможный сценарий «Корпоративный надзор»

Цифровое рабство – Суверенитет корпораций

2024 год – Корпорации внедряют обязательное ПО для мониторинга удаленных сотрудников.

Корпоративный мониторинг эффективен, только когда сотрудник находится внутри корпоративного контура, используя ноутбук, электронную почту и информационные системы корпорации. Поэтому с переходом на удаленные и гибридные режимы работы у работодателя появляются белые пятна, которые не позволяют использовать человека-ресурс максимально эффективно. Компании стараются вернуть утраченный контроль, проникая в дом, быт и семью работника. Работодатели получают доступ к веб-камерам, микрофонам и активности на экранах, а отслеживание местоположения и биометрии становится частью трудовых договоров.

2026 год – Домашние устройства сотрудников интегрируют в корпоративные сети наблюдения.

Умная домашняя инфраструктура готова к принципиально новому использованию, а производители формируют новую и намного более устойчивую бизнес-модель: вместо продажи оборудования потребителям, гораздо эффективнее раздавать оборудование бесплатно, продавая корпорациям даже не данные, а инструменты для мониторинга и управления рисками. Сотрудник включает чайник – значит, «гоняет чаи» и мало работает. Запускает музыку – значит, отвлекается и расфокусируется. Разговаривает с умной колонкой – значит, может выдать корпоративные секреты. У него повышается пульс во время разговора с руководителем – значит, обманывает. ИИ круглосуточно анализирует поведение, настроение и привычки работников, а оценка алгоритмами продуктивности и лояльности влияет на карьерные перспективы.

2028 год – Корпорации диктуют режим дня, питание и занятия сотрудников вне работы.

Когда-то люди шутили, что холодильник считает, сколько раз его открывали, а теперь смиряются с тем, что так оно и есть. Несогласие с политикой тотальной прозрачности работодателя приводит к увольнениям, профсоюзы подавляются, а коллективные действия и самоорганизация пресекаются предиктивной аналитикой.

2030 год – Работодатели влияют на личные связи и семейную жизнь сотрудников.

2032 год – Дети сотрудников с рождения попадают под наблюдение корпораций.

Корпоративный контроль маскируется под программы благополучия и поддержки семьи. В отдельных компаниях несогласованные с работодателем отношения и зачатие детей влекут штрафы. Способности и наклонности детей анализируются для будущей «оптимальной» занятости, а индивидуальные траектории развития определяются интересами бизнеса.

2034 год – Грань между корпорацией и личной жизнью полностью стерта.

Гиперконтроль, принудительная прозрачность, психологическое давление и страх становятся новой нормой трудовых отношений и корпоративной культуры, а общество раскалывается на элиту топ-менеджеров и бесправных подконтрольных работников.

В январе 2023 года на хакерском сайте BreachForums анонимный пользователь опубликовал 45 ГБ исходного кода систем Яндекса. Оказалось, что компания отслеживает огромное количество информации о пользователях: курят ли они, на каком этаже находятся, в каком составе семьи живут, сколько лет их детям, интересуются ли они консольными видеоиграми и многое другое. Конечно, есть подозрение, что подобное практикуют многие, просто у Яндекса была утечка, а у других – не было. Но пока не посмотришь в исходный код, этого всего как бы и нет. Сами себя компании по рукам бить не станут.

И автор этого текста, и читатель – мы и есть та самая бабушка, описанная выше. В конце концов, зная реакцию конкретного индивида на тот или иной стрессор, можно подсовывать его в нужный момент, чтобы человек купил, выбрал, проголосовал… И тогда он превратится в бесконечную шахту по добыче данных, а сами данные – в универсальный ценный актив. В таком случае человека можно не увольнять, даже если он перестал быть эффективным на фоне продвинутого ИИ. Наоборот, нужно держать его внутри экосистемы, чтобы ручеек данных продолжал поступать: «Меланж должен течь не переставая».[13]13
  Меланж (также «спайс» и «пряность») – в романе Фрэнка Герберта «Дюна» вещество, необходимое для межзвездной навигации и занимающее центральное место в этой вселенной.


[Закрыть]

Эволюция социального рейтинга

Добро пожаловать, мой сын, Добро пожаловать в машину. Где ты был? Все в порядке, мы знаем, где ты был.

Pink Floyd «Welcome to the Machine», альбом «Wish You Were Here», студия Harvest, 1975

В Китае социальный рейтинг анонсирован в 2014 году и законодательно введен в 2021 году. Изначально предназначенный для оценки крупных компаний, таких как Tencent, Alibaba и Baidu, рейтинг быстро перерос в общенациональную программу. Стартуя с 1000 баллов, каждый гражданин оценивается по 160 тысячам параметров и своими действиями может как поднять, так и опустить рейтинг. Китайский социальный рейтинг практически идентичен классификации надежности и финансовой устойчивости для компаний: с 1050 баллами у гражданина индекс ААА, с 1000 – А+, с 900 – В, ниже 849 – С.

Инициативы о внедрении подобных систем обсуждаются в разных странах и на разных уровнях. Например, в Казахстане в 2023 году запущена «Цифровая карта семьи» с автоматическим начислением баллов, позволяющая получить финансовую и социальную поддержку от государства. В России обсуждений на государственном уровне пока не слышно, но отдельные инициативы запускаются. Так, ученые из Российского государственного социального университета с 2022 года разрабатывают свою концепцию рейтинга в виде двухкомпонентного скоринг-кода, например 47–29. Первое число – социальный статус и «заслуги» человека, а второе – социальный уровень и оцифровка его «перспектив» с точки зрения государства. В РГСУ ожидают, что органы власти всех уровней и общественные организации смогут использовать эту систему «для реализации оперативной и объективной социальной поддержки населения». Даже планируемое название этой рейтинговой системы – «Мы»[14]14
  «Мы» – роман-антиутопия Евгения Замятина, написанный в 1920 году, изображающий общество тоталитарного контроля государства над личностью, где имена и фамилии заменены буквами и номерами.


[Закрыть] – подразумевает отказ от личных интересов в пользу общественных.

Сегодняшние программы лояльности корпораций могут постепенно трансформироваться в программы сегрегации. Чем больше вы открываетесь, тем большую скидку получаете на услуги глобальных экосистем. Высокий рейтинг гарантирует более комфортную жизнь и качественный сервис, а низкий – ущемление в правах. Когда все социально-экономические задачи потребителя решаются в рамках одной экосистемы, выпадение из нее становится крайне болезненным и неудобным, а то и невозможным.

Наиболее прогрессивные корпорации уже предлагают комплексные программы лояльности. Например, Яндекс по программе «Плюс» начисляет кэшбэк баллами, которые можно тратить на товары и услуги в пределах экосистемы. При этом отдельные сервисы учитывают дополнительные количественные и качественные критерии. Так, приложение для краткосрочной аренды автомобилей «Драйв» формирует «профиль вождения», в котором фиксирует:

• стиль вождения за последние 200 км;

• резкие маневры – ускорения и торможения, перестроения, крутые входы в повороты;

• превышения скорости больше 20 км/ч.

Пользователям с рейтингом от 96 до 100 начисляют дополнительные 10 % кэшбэка, с рейтингом выше 42 – предлагают более широкий выбор автомобилей, а с рейтингом ниже 41 придется платить за аренду дороже.

Боитесь социального рейтинга «как в Китае»? А он уже здесь, и вы его активно составляете – каждый день:

• Водитель был пристегнут? А вы были пристегнуты? В салоне хорошо пахло? Вы довольны машиной? Сделайте соответствующую пометку в приложении.

• Здесь нельзя парковаться. Водитель будет ждать три минуты и может уехать, поставив вам плохую оценку.

• Высокий рейтинг в каршеринге открывает доступ к новым машинам. Превышение скорости снижает рейтинг, поэтому везите себя прилично.

• Если будете платить картой регулярно, то получите повышенный кешбек. Если станете вести себя неприлично, то баллы лояльности обнулят.

• Нарушают правила дорожного движения? Позвоните и сообщите об этом – нарушителя уволят.

• Плохое обслуживание? Напишите всю правду в соцсетях и поставьте одну звездочку.

• Он из этих? Или из тех? Давайте занесем его в специальные списки тех или этих.

Идея составить рейтинговую таблицу неизбежно возникает после оцифровки огромного количества социально-экономических взаимодействий. Государствам такая таблица нужна как для обеспечения безопасности, так и для более эффективной социальной и финансовой поддержки. Корпорациям она дает дополнительные механизмы удержания потребителя внутри экосистемы. Присвоение рейтинга клиенту также позволяет минимизировать риск мошенничества и экономить на аналитике.

Это снижает расходы корпораций на обслуживание и ускоряет доставку клиентских сервисов, упрощая идентификацию для совершения платежей и получения доступа к цифровым ресурсам. Корпорации готовы поделиться с клиентом сэкономленным в виде кэшбэка или баллов лояльности, что привяжет его еще сильнее. Зачем вырываться из комфортной экосистемы, если здесь кастомизированные услуги и товары, бесшовная оплата и доставка, а также кредитование с минимумом или вообще без документов? От потребителя требуется лишь раскрывать о себе максимум информации и соглашаться на мониторинг.

Клиентов с высоким рейтингом награждают бонусами, лучшими предложениями и максимальным выбором. Если вы лояльны к власти, не допускаете просрочек по кредитам, ведете здоровый образ жизни и не имеете проблем с законом, то можете получить повышенный кэшбэк, низкую ставку по кредиту, дешевую автостраховку, налоговые вычеты и персональные предложения от торговых сетей.

Штрафы за любое отклонение от желаемого поведения снизят рейтинг, и клиенту придется платить больше, а получать меньше. Отклонения могут варьироваться от страны к стране, включая громкую музыку, «токсичные» слова в переписке, нарушение правил дорожного движения, «антипрививочные» убеждения, неправильное питание, низкую успеваемость детей в школе, – сотни и тысячи социальных и бытовых нарушений неотвратимо повлияют на жизненные возможности.

Социальный рейтинг превратится в цифровое рабство в тот момент, когда подписка и мониторинг станут обязательным условием не только для комфорта и удобства, но и для существования в современном цифровом мире. Даже при наличии нескольких экосистем на выбор, жизнь вне их станет затруднительной, если вообще возможной.

Сбор данных о человеке в целях профилирования, постоянный мониторинг финансовых транзакций и социальных взаимодействий могут привести к ограничению его прав и свобод, искусственно затрудняя или ограничивая использование сервисов, находящихся за пределами экосистемы. С накоплением массивов чувствительных данных о человеке, утечки информации в результате хакерских атак или технических неисправностей, а также злоупотребления полученными данными, могут нанести ему невосполнимый финансовый и репутационный ущерб.

Кроме того, растет зависимость от технологий: люди становятся пленниками своих гаджетов и онлайн-сервисов. Они вынуждены быть подключенными к сети, чтобы постоянно обмениваться данными, обновлять программы и устройства. В случае недоступности технологии или сервиса человек оказывается «выключенным» из привычных социально-экономических взаимодействий. Наконец, угрозой становится и растущее могущество самих экосистем. Продолжение тенденции к монополизации и олигополии сделает эти структуры настолько сильными, что они будут определять качество жизни людей.

Возможный сценарий «Кибер-крепостничество»

Цифровое рабство – Полная цифровизация

2025 год – Правительства и корпорации повсеместно внедряют системы социального рейтинга.

С тотальной оцифровкой всех особенностей и качеств человека у корпораций и государств появляется возможность фильтровать людей на основе социального рейтинга, который складывается из их поведения, репутации, публичных заявлений и даже ДНК. Баллы начисляются за «правильное» поведение и вычитаются за «проступки», низкий рейтинг ограничивает доступ к работе, кредитам, образованию и услугам.

2026 год – Алгоритмы рейтингов становятся более инвазивными и непрозрачными.

ИИ отслеживает действия людей онлайн и оффлайн, анализируя их связи и влияние. Инакомыслие, критика власти, работодателя, экосистемы и даже просто «нежелательные» контакты строго, но справедливо наказываются снятием баллов. Люди с высоким рейтингом получают привилегии и ресурсы, а низший класс – ограничения. Доступ в престижные районы городов, заведения и транспорт требуют определенного количества баллов. Для «выпавших» из системы людей с низким рейтингом практически не остается возможности вернуться в общество: большинство видов работ для них недоступно, а возможности социальных взаимодействий за пределами собственного маргинального круга общения ограничены.

2028 год – Общество расслаивается на касты в зависимости от социального рейтинга.

Для людей с крайне низким рейтингом фактически введено «цифровое крепостное право». Появляется «теневой рынок» людей, на которых уже не распространяется даже правовая защита. Их используют для грязной работы, например разметки датасетов или фильтрации контента со сценами насилия. Такие люди не имеют социальной мобильности, сильно ограничены в возможностях выбора и физически привязаны к тому или иному месту работы, подобно крепостным. Они лишаются свободы передвижения, должны отрабатывать баллы на принудительных работах, а попытка побега из системы грозит полной социальной смертью и изоляцией.

2032 год – Дети наследуют рейтинг родителей и несут ответственность за их «долги».

Единственный способ повышения рейтинга – многолетнее покорное служение. Кому посчастливится, может найти себе «помещика» и стать постоянным обслуживающим персоналом, но в основном маргиналы зарабатывают на жизнь временными подработками. Некоторым людям с плохим цифровым профилем приходится безупречно работать на тяжелой рутинной работе десятилетиями, чтобы выправить рейтинг и дать путевку в жизнь своим детям.

2034 год – Общество полностью разделилось на рейтинговую аристократию и бесправных «крепостных».

Верхушка купается в роскоши и власти, а низы влачат жалкое существование в цифровом рабстве. Всеобщая слежка, страх и взаимное недоверие уничтожают остатки человечности. Выбраться из «крепостной» касты практически невозможно.