Текст книги "Сценарии будущего. Как жить и работать в мире, захваченном нейросетью и роботами"

Цивилизационные развилки

Возможных вариантов развития событий – множество, среди них есть как предельно оптимистичные, так и крайне пессимистичные, а реальное будущее, вероятнее всего, будет содержать элементы разных сценариев. Человечество ждут десятки развилок с противоположными возможностями и крайностями, поэтому каждый из нас должен понимать последствия того или иного выбора, хотя бы потому, что эта сложносочиненная навигация не только отзовется эхом где-то через столетия, но и отразится уже на наших с вами жизнях.

Проще всего представить разноплановые возможности развития цивилизации в виде бинарных развилок, где можно пойти направо или налево. Мы рассмотрим несколько таких развилок, сопровождая каждую современными и историческими прецедентами, гипотезами о том, каким образом люди могут прийти к одному из выборов, и возможными сценариями на их основе. Эти развилки следует понимать как гипотетические экстремумы противоположных путей развития в политике, обществе, экономике и технологиях, а сценарии рассматривать исключительно как иллюстрации, поскольку реальное будущее, безусловно, гораздо многограннее.

Киберколониализм или технологическая суверенность?

Как будут построены отношения между технологически развитыми и развивающимися государствами: они сравняются в доступе к технологиям и сохранят суверенность, или нас ждет киберколониализм, при котором лидеры будут экспортировать технологии и эксплуатировать население наименее благополучных регионов?

Техноанархизм или цифровое рабство?

Как будут использовать технологии: в качестве инструмента в руках людей, уравнивающего их с общественным институтом, или как инструмент для их контроля и подчинения?

Суверенитет корпораций или национализация?

Какие институты будут играть ключевую роль: транснациональные корпорации с технологическим и экономическим превосходством или государства, которые победят их благодаря регуляторным механизмам и закручиванию гаек?

Коллективизм или индивидуализм?

Приведет ли технологическое неравенство к главенству интересов группы над интересами личности, или технологии обеспечат максимум индивидуальной свободы от государств, корпораций и других людей?

Общее информационное поле или гиперкастомизация?

В каком информационном поле мы будем жить: в общем – на уровне отдельной страны или даже глобально, с одной объективной реальностью и правдой, или в мире с миллиардом субъективных реальностей, где продукты, контент и сервисы будут создавать (адаптировать) под каждого человека?

Физическая реальность или метавселенные?

Как поменяется среда, в которой живет, развивается, работает и развлекается человек: мы продолжим вести основную деятельность в привычном физическом мире или в расширенной реальности с метавселенными, влияющими на события и процессы в реальной действительности?

Техноцентризм или антропоцентризм?

Будет ли технологический прогресс нацелен на обеспечение человеческого благополучия, или его принесут в жертву развитию технологий?

Прозрачность или анонимность?

Как будет обеспечиваться доверие: тотальной прозрачностью всех процессов для каждого стейкхолдера (все будут знать все обо всех) или альтернативной технологической инфраструктурой общества, построенной на принципах конфиденциальности и обеспечивающей доверие при сохранении анонимности?

Запрет искусственного интеллекта или сильный ИИ?

Какое будущее у алгоритмов: появится ли сильный искусственный интеллект с равными или даже превышающими человека возможностями и невероятной скоростью принятия решений, или технологические и социальные ограничения и риски заставят сдерживать и даже запретить ИИ, чтобы вернуть джинна обратно в бутылку?

Непреодолимое экономическое расслоение или технологически обеспеченный коммунизм?

Продолжит ли работать капиталистическая модель, а общество безвозвратно расколется по уровню доступа к капиталам и технологиям, или же сформируются посткапиталистические подходы и наступит технологически обеспеченный коммунизм?

Равенство доступа к технологиям или новая кастовая система?

Возможны ли равные условия доступа к технологиям для людей вне зависимости от их пола, возраста, образования, социального и экономического положения, или нас ждет новая кастовая система, основанная на социальном, экономическом и технологическом неравенстве?

Отказ от цифровизации или полная оцифровка?

Продолжим ли мы воспринимать цифровизацию как единственно возможный путь развития общества, или неспособность противостоять возникающим рискам заставит нас отказаться от «цифры» и обновления технологий, а то и откатиться к предыдущим стадиям научно-технического прогресса?

Технолуддизм или трансгуманизм?

Как общество отнесется к возможности модифицировать не только среду, но и самого человека: воспримет трансгуманизм как прогресс или консервативно откажется от технологического улучшения человеческого организма?

Локализация или глобализация?

Каким будет мир: глобальным с синхронизацией экономических, культурных и технологических процессов в разных странах или еще более фрагментированным на политические, экономические и культурные союзы?

Глава 2
Киберколониализм или технологическая суверенность?

Как будут построены отношения между технологически развитыми и развивающимися государствами: они сравняются в доступе к технологиям и сохранят суверенность, или нас ждет киберколониализм, при котором лидеры будут экспортировать технологии и эксплуатировать население наименее благополучных регионов?

Вашего мнения никто не спрашивает, продолжайте

В США действительно нет ничего хорошего: Идешь в больницу – придется заплатить. Доллар – это язык, на котором все говорят, Их не особо волнует утечка радиации. К черту США!

The Exploited «U.S.A.», альбом «Troops of Tomorrow», студия Secret, 1982

Я никогда не видел вживую пожарный гидрант, но узнаю его днем и ночью. Благодаря десятилетнему опыту разгадывания капчи[5]5
  Капча (от англ. CAPTCHA – Completely Automated Public Turing test to tell Computers and Humans Apart – полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей) – проверка для определения того, кем является пользователь системы: человеком или компьютером.


[Закрыть] от компании Google, я смогу отличить пожарный гидрант от пешеходных переходов, автомобилей, светофоров, грузовиков, автобусов, мотоциклов и велосипедов. Безусловно, как и любой из вас.

На протяжении последнего десятилетия мы всем миром бесплатно обучали искусственный интеллект для крупных корпораций, размечая пожарные гидранты, автобусы, мотоциклы, лестницы и мосты. Тот самый ИИ, который будут использовать в беспилотных автомобилях. Вроде бы мелочь, но, учитывая миллиарды бесплатных человекочасов ежемесячно и 2,5 триллиона поисковых запросов в год только в одном Google, очевиден масштаб современного цифрового рабства под безобидным предлогом «докажите, что вы не робот». Невольно закрадывается мысль: а не придется ли нам выбирать квадраты с военной техникой, объектами критической инфраструктуры и гражданскими лицами, чтобы обучать боевых роботов?

Но если мы обучили искусственный интеллект выявлять гидранты на изображениях, то совершенно бессмысленно показывать их для определения человека, ведь робот теперь это тоже умеет! И если задуматься, то разгадка капчи не подтверждает, что вы человек, а лишь то, что вы американец или маскируетесь под него. Потому что в России нет пожарных гидрантов, а в Нигерии – пешеходных переходов.

В современном интернете вы не просто товар, а бесплатная рабочая сила. А если пойти дальше, то вы рабская сила, потому что без угадывания гидранта Google не покажет вам поисковую выдачу, то есть буквально ограничит вас в правах. Фактически наш бесплатный труд стал дополнительным неденежным налогом на доступ к информации.

В древности полезные ископаемые добывали вручную, что требовало огромного числа рабочих, в основном пленных или рабов. На древнеримских шахтах трудились 150 тысяч человек, а на испанских серебряных рудниках – 40 тысяч. Древнегреческий историк Диодор Сицилийский так описывал римские золотые рудники в Египте:

Самую твердую землю, содержащую золото, они сжигают в огне, размягчают и обрабатывают руками. Мягкий камень и тот, который легко поддается обработке долотом, разбивается на части тысячами несчастных душ. Человек, умеющий различать камни, наблюдает за всем процессом и дает указания рабочим. Те, что отправлены на рудники, многочисленные и в кандалах, трудятся день и ночь, не находя отдыха, и тщательно удерживаются от всякого бегства. Все, что они добывают, они бросают на пол – без перерыва и под суровой плетью надзирателя. Нет абсолютно никакого сочувствия или послабления больным или увечным, старым мужчинам и слабым женщинам – все вынуждены трудиться, пока не умрут, измученные своими страданиями и тяжелым трудом. Мальчики, еще не достигшие зрелого возраста, проходят через шахты, подбирают добытое и несут это к выходу. Мужчины старше тридцати лет берут определенный вес добытого камня и толкут его в каменных ступах железными пестиками, пока не образуются куски размером с чечевичное семя. Женщины и пожилые мужчины относят полученное к мельницам, становясь у рукояти по двое и трое, и перемалывают положенный объем камня, пока он не станет таким же мелким, как пшеничная мука.

А теперь сравните это с современными шахтами для ручной добычи редкоземельных металлов в Африке за доллар в день, чтобы делать батарейки для электромобилей в Калифорнии. Или с китайскими потогонками, где собирали ноутбук, на котором написана эта книга. Или с разметкой датасетов для моделей искусственного интеллекта, чтобы мы могли генерировать аватары в стиле аниме. Что поменялось за 2,5 тысячи лет? Каково современное рабство и у кого в руках плеть надзирателя?

Будущее киберколониализма

Миноносец на пути в Гавану. Раньше я зарабатывал на жизнь, Собирая бананы. Теперь я – проводник для ЦРУ. Ура США!

The Ramones «Havana Affair», альбом «Ramones», студия Sire, 1982

В современных шахтах нужно собирать и размечать датасеты, а также тренировать модели. В начале 2023 года компания OpenAI наняла для подобной работы более тысячи подрядчиков из Латинской Америки и Восточной Европы. Начиная с ноября 2021 года, компания использует труд работников из Кении за $1,3–2 в час для фильтрации травматичного контента. «Травматичный» или «токсичный» контент – это синоним или даже эвфемизм для понятий «сцена с сексуальным насилием», «порнография» или «издевательства над животными». Классификация и фильтрация подобных текстов и изображений, которые могут быть запрещены к распространению по законам США, необходимы для минимизации попадания в обучающие данные контента с насилием и сексуальным содержанием и создания инструментов, способных его обнаруживать.

OpenAI делает это не напрямую, а через компании вроде фирмы из Сан-Франциско Sama, которая помогает в создании «этичного искусственного интеллекта» и гордится тем, что позволила 50 тысячам людей из Кении, Уганды и Индии выбраться из бедности. В феврале 2022 года Sama получила от OpenAI $787,50 за разметку 1400 изображений следующих категорий: C4 – насилие над детьми; C3 – зоофилия, изнасилование и сексуальное рабство; V3 – сцены с убийствами, серьезными физическими травмами и увечьями. Подобными услугами пользуются и ведущие социальные сети: когда пользователь нажимает кнопку «пожаловаться», специальные люди отсматривают контент и определяют, насколько он «травматичный». Модераторы Sama отсматривали для Facebook материалы с казнями и насилием над детьми за $1,5 в час.

Важно понимать образ жизни такого модератора. Поставим себя на место условного Мбеке Рукеле, гражданина Ганы. Одно из ярких воспоминаний его детства – как в пять лет он с братьями ездил на базар в город Аккру продавать куриц. Местные жители поймали колдуна, который через рукопожатие при помощи черной магии украл чьи-то гениталии и требовал за них выкуп. Разъяренная толпа жестоко убила колдуна, и потом это показывали во всех новостях по телевизору. Сейчас у Мбеке две коровы, двое детей и две жены. Коров раньше было больше, но осталось только две, потому что трех съели крокодилы. Двое из восьми братьев уже погибли на войне, один в поисках лучшей жизни стал пиратом в Сомали, другой уехал учиться в университет. Сезон засушливый, а кормить детей как-то надо. Недавно брат Мбеке приезжал из университета, показывал смартфон и рассказывал, что можно зарабатывать $1,5 в час, просто нажимая на картинки, даже не нужно лезть под пули. $1,5 – это 18,75 ганских седи. За 20 седи можно купить цыпленка, за 35–40 – двухмесячную курицу, а за 40 часов можно заработать достаточно денег, чтобы купить козу. Что в такой жизненной ситуации выберет Мбеке Рукеле, и не является ли этот сценарий наилучшим вариантом для него?

С 2020 года военные перевороты один за другим потрясали Западную Африку от Гвинеи до Буркина-Фасо и Мали. В 2021 году армия пришла к власти в Чаде, в июле 2023 года государственный переворот произошел в Нигере, следом за ним – в Габоне. С начала 2020-х годов значительно повысилась террористическая активность в африканском регионе Сахель – это тысячи километров земель от Атлантического океана до Красного моря, где расположены 12 стран и проживает 300 млн человек. В Нигерии в начале марта 2024 года из школы были похищены 286 учеников, студентов и учителей, за освобождение которых похитители требовали выкуп в миллиард нигерийских найр ($620 тысяч). Предыдущее массовое похищение произошло в 2021 году.

В такой ситуации модерирование материалов с казнями и насилием может быть полностью осознанным выбором, так как иногда это единственная возможность оставаться на плаву. Этот выбор может быть и менее осознанным, потому что человек существует в парадигме, где психологические отклонения нереальны. Для него депрессия – это просто плохое настроение, при котором он все равно идет собирать плоды баобаба и доить коров, а не повод для похода к психотерапевту и саморефлексии. К тому же для жителей развивающихся стран некоторые «шокирующие» нас вещи абсолютно естественны и привычны, а насилие – нормализовано. Например, для них кролик или цыпленок – это не питомец, а источник пищи, из которого они, не особо задумываясь, сварят суп. А в некоторых регионах Индии публичная дефекация является нормой.

Проще говоря, если можно было бы измерить психологическую травму в неких условных единицах, то просмотр картинки с насилием нанес бы миллениалу из среднего класса в Сан-Франциско – Х ущерба, а жителю Ганы, Кении или Уганды – 0.7Х ущерба. Тем не менее, психологический ущерб от просмотра таких материалов неизбежен: после нескольких месяцев подобной работы модераторы выгорают и заменяются другими – без выходного пособия или медицинской страховки для проработки полученных психологических травм.

В числе своих клиентов компания Sama называет Google, Microsoft и Ebay. Полагаю, все они в курсе, как и откуда берутся их датасеты. Та же Microsoft еще в марте 2023 года объявила о роспуске централизованной команды по этике ИИ, сотрудники которой формировали правила в областях, где они еще не сформированы, то есть занимались саморегулированием тех сфер, куда пока не проникло законодательство. Компанию Microsoft можно понять: если соперники не отягощают себя этическими вопросами и дополнительными искусственными ограничениями, то для любой коммерческой организации это означает потерю скорости и конкурентного преимущества. Примечательно, что Microsoft является одним из крупнейших инвесторов в OpenAI, вложив в компанию $13 млрд.

В доденежных сообществах люди были вполне самодостаточны. Они находили, добывали или выращивали себе пищу и производили необходимые для быта вещи. Робинзон Крузо на необитаемом острове размышлял о ценности своих богатств, которые перестали быть таковыми, когда он один и торговать не с кем:

У меня было немного денег – серебра и золота, – всего около 36 фунтов стерлингов. Увы, они лежали, как жалкий, ни на что не годный хлам. Мне было некуда их тратить. С какой радостью отдал бы я пригоршню этого металла за десяток трубок для табака или ручную мельницу, чтобы размалывать зерно. Да что там, я отдал бы все эти деньги за шестипенсовую пачку семян репы и моркови, за горсточку гороха и бобов или за бутылку чернил. Эти деньги не давали мне ни выгод, ни удовольствия. Так и лежали они у меня в шкафу и в дождливую погоду плесневели от сырости в моей пещере. И будь у меня шкаф полон алмазов, они точно так же не имели бы для меня никакой цены.

Когда Робинзон Крузо находит в обломках погибшего корабля сундуки с одеждой, порохом и драгоценностями, он сожалеет, что приобрел очень немного полезных ему вещей:

Деньги же не представляли для меня никакой ценности: это был ненужный сор, и все свое золото я охотно отдал бы за три-четыре пары английских башмаков и чулок, которых не носил уже несколько лет. Да, у меня стало больше денег, но я не стал от этого богаче, ибо деньги в моем положении были мне так же мало нужны, как индейцам до вторжения в Перу испанцев.

Инки Южной Америки вообще дожили без денег до испанского завоевания начала XVI века: в их плановой экономике император давал указания, что выращивать и производить, а затем все это собирали и перераспределяли. Соседние мексиканцы управлялись менее жесткой рукой, поэтому расплачивались золотым песком и какао-бобами. Инки использовали драгоценные металлы для предметов искусства и религии, но так и не изобрели денег, в которых просто не было необходимости. Золота и серебра у инков было так много, что выкуп за своего правителя Атауальпу они собирали несколько месяцев и еще месяц переплавляли, в итоге заполнив комнату площадью 35 кв. м до отметки на высоте поднятой руки. Общая стоимость выкупа в ценах 2000 года составила в $6,8 млрд. Однако коварные испанцы все равно казнили вождя.

Кстати, американцы только недавно (по историческим меркам) обратили внимание на то, что они творили во времена колонизации и индустриализации, когда подбрасывали индейцам одеяла с оспой и ввозили рабов из Африки для хлопковых плантаций. Груз вины за деяния предков заставляет спортсменов преклонять колено на соревнованиях в знак протеста против недостаточного внимания к проблемам расового неравенства и жестокости полиции. Этот извинительный жест массово использовался и вне спортивного контекста в рамках акций протестного движения BLM[6]6
  Black Lives Matter (англ. «Жизни черных важны») – общественное движение, выступающее против расизма и насилия (особенно полицейского) в отношении чернокожих.


[Закрыть].

Сколько времени должно пройти до извинений и выплат репараций кенийцам, угандийцам и ганцам за искалеченную при разметке данных для искусственного интеллекта психику десятков тысяч человек? Возникнет ли в странах, граждане которых оказывают подобные услуги, поколенческая травма, вызванная постоянным просмотром токсичного контента? Как подобные бизнес-практики могут поменять культуры развивающихся стран?

Робинзона Крузо волею судеб отбросило на предыдущий этап исторического и финансового развития, где золото и серебро представляли ценности другой, ставшей для него недоступной реальности. Испанские конкистадоры увозили золото из доденежных сообществ в свою среду, где деньги имели ценность, а инки умирали не за драгоценный, а всего лишь за красивый металл. Что увозят современные конкистадоры из менее технологически развитых сообществ? За какие (и чьи) ценности психологически выгорают люди, сортирующие по папкам фотографии со сценами насилия?

Нужно учитывать, что взгляды и ценности кенийского мусульманина, жителя Ганы, исповедующего акан[7]7
  Традиционные верования и религиозные обычаи народа акан Ганы и восточной части Кот-д’Ивуара.


[Закрыть], и стартапера из Сан-Франциско значительно различаются по целому спектру вопросов – от нетрадиционных сексуальных отношений и правомерности употребления марихуаны до фундаментальных проблем мироздания. Получается, что условный кенийский мусульманин должен не только наблюдать травматичный контент, но и корректно отделять «хорошее» от «плохого». Это усугубляет описанную проблему в двух аспектах:

1. Способен ли кенийский мужчина средних лет, выросший не в либеральном или протестантском обществе, размечать такие данные с полным пониманием тонких аспектов западной политкорректности? Хватит ли ему знаний и опыта, чтобы корректно отметить гендеры присутствующих на фотографии людей?

2. При этом работнику иногда придется поступаться собственными принципами, действуя вразрез со своими ценностями.

По некоторым свидетельствам, во время Корейской войны захваченных северянами пленных заставляли писать эссе о верности коммунизму: чтобы выжить, человек должен был вербализовать аргументацию чуждой ему идеологии. В описанном выше примере вместо написания коммунистического эссе условный кенийский работник будет вынужден помечать радужные флаги и трансгендеров на детском утреннике как хороший и правильный контент, даже если не согласен с этим.

Неужели будущее человечества создается немотивированными людьми, получающими минимальную зарплату, да еще и с очевидным покушением на права работника и человека? Чем разработка ИИ для западных стартапов силами глобального Юга и Востока отличается от утечки мозгов? Не станут ли страны-клиенты зависимыми от стран-провайдеров, соразмерно разрыву в инфраструктуре и способности самостоятельно разрабатывать искусственный интеллект?

Если дешевую рабочую силу из бедных регионов нанимают на удаленную работу для разметки датасетов, то это может привести к кибер-колониализму, когда жители развивающихся стран будут работать за копейки, создавая для корпораций продукт на миллиарды долларов. Минимальные зарплаты, ментальное здоровье и суверенитет целых стран, потогонные производства и детский труд – не имеют значения. Важны только интересы платящих потребителей и инвесторов из «золотого миллиарда». Это для них в советах директоров собирается достаточное «diversity»[8]8
  Практика «разнообразия» – включения или вовлечения в деятельность людей разного социального и этнического происхождения, пола, сексуальной ориентации и т. д.


[Закрыть], а внешняя коммуникация тщательно корректируется с поправкой на всевозможные гендеры, чтобы случайно не попасть под культуру отмены. Развитые государства продолжат экспортировать технологии в страны глобального Юга, получая сверхприбыли и эксплуатируя население наименее благополучных регионов для разработки новых решений.

Возможный сценарий «Транснациональное порабощение»

Киберколониализм – Цифровое рабство

2025 год – Крупные ИИ-корпорации скупают большую часть мировой ИТ-инфраструктуры и данных.

2026 год – ИИ-ассистенты становятся необходимыми посредниками для доступа к онлайн-сервисам.

2027 год – Приняты законы об экстерриториальном цифровом суверенитете ИИ-корпораций.

Технологически менее развитые страны становятся крайне зависимыми от крупных и прогрессивных союзов и блоков. Метрополии активно используют природные и интеллектуальные ресурсы колоний, которые стремительно теряют экономическую и технологическую независимость, что в конечном счете приводит к их неспособности отвоевать свободу политическими или военными методами.

2028 год – Страны глобального Юга полностью переходят под экономический контроль ИИ-гигантов.

2029 год – Внедряются глобальные цифровые валюты и механизмы безусловного базового дохода, окончательно привязывающие людей к платформам.

2030 год – Правительства «колоний» фактически отдают ключевые функции ИИ-алгоритмам.

Чтобы купировать растущие объемы внешней миграции в более развитые страны, в колониях вводят системы цифровых двойников, рекомендательных алгоритмов и корпоративных льгот для местных, а в метрополиях – системы фильтрации нелегальных мигрантов. Продвинутая технологическая инфраструктура позволяет полностью контролировать население колоний, благодаря комплексу информационных, технологических и даже силовых методов.

2031 год – ИИ-корпорации приватизируют космос.

2032 год – Фабрики ИИ-гигантов монополизируют материальное производство.

2033 год – Когнитивные ИИ-модели определяют образование, культуру и науку на планете.

Корпорации ограничивают в правах несогласных, общество теряет способность к сопротивлению из-за генерируемой специальным ИИ пропаганды, попытки мятежа подавляются в зародыше из-за предиктивных алгоритмов и тотальной слежки. Жители колоний становятся дистанционными рабами метрополии, в некоторых случаях даже на персональном уровне.

2034 год – 90 % населения мира находится под прямым или косвенным контролем нескольких ИИ-корпораций.

Экономическое и технологическое превосходство приводит к приватизации власти ИИ-корпорациями: цифровые платформы становятся базовой инфраструктурой цивилизации, заменив государственные институты. «Колонизированное» большинство лишается цифрового и материального суверенитета, усиление неравенства и зависимость от ИИ-сервисов ослабляют демократический контроль. Общество переживает тоталитарную трансформацию и необходимость формирования нового понимания гражданских прав и свобод в изменившихся реалиях.