Читать книгу "Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Харари. Саммари"

Smart Reading
Nexus. Краткая история информационных сетей от каменного века до искусственного интеллект. Юваль Харари. Саммари

Оригинальное название:

Nexus: A Brief History of Information Networks from the Stone Age to AI

Автор:

Yuval Noah Harari

www.smartreading.ru

Знание – сила?

Важнее, чем истина

Человек – существо социальное. Благодаря этому он и преуспел. Мы сильны, но не поодиночке. Другие существа, например муравьи или шимпанзе, тоже умеют находить контакт друг с другом. Однако лишь человек сумел максимально прокачать эту способность.

Чем эффективнее мы обмениваемся опытом, тем более сложные информационные сети[1]1
  Читайте саммари книги Николаса Кристакиса, Джеймса Фаулера «Связанные одной сетью. Как на нас влияют люди, которых мы никогда не видели».


[Закрыть] создаем – от племени до государства. Более сложные, но не более мудрые и счастливые. Нерон и Гитлер тоже умели выстраивать сети, которые казались весьма эффективными. Как получается, что время от времени общество сворачивает не туда?

Коль скоро общество построено на обмене информацией, может, все дело в ее недостатке? Оптимисты полагают, что просвещение масс может все исправить. Но в таком случае ничего не стоило бы переубедить завзятых националистов и антисемитов. Однако и самые безупречные аргументы тут, как правило, бессильны.

Наша проблема не в недостатке информации. И не в том, что мы бываем дезинформированы. Информация в первую очередь служит тому, чтобы мы действовали сообща. Для этого ей вовсе не обязательно быть правдивой.

Но это полбеды. На протяжении тысячелетий информацию собирали, хранили, утаивали люди. В начале 2020-х мы стоим на пороге беспрецедентного открытия. Мы создали интеллект, который умеет распоряжаться информацией без нашей помощи.

Пока мы называем его искусственным. Вскоре он сам придумает, как ему себя называть.

И как же нам быть?

Сила историй

Человечество создало несколько чрезвычайно эффективных способов делиться информацией. А началось все с того, что люди стали рассказывать друг другу истории. Нам не узнать, о чем велись разговоры вокруг пещерных костров. Может, это были рассказы о богах, которые послали огонь. Может, рассуждения о преимуществах племени, которое составляли собравшиеся, перед соседским. Как бы то ни было, цель таких разговоров вполне понятна, потому что мы продолжаем вести их до сих пор. Мы не просто сообщаем о том, что происходит, – мы делимся представлениями о том, что все это значит для нас.[2]2
  Читайте саммари книги Роба Бизенбаха «Расскажите историю! Как использовать силу сторителлинга, чтобы покорить сердца, изменить мнения и получить результаты».


[Закрыть]

Всякая история – племени, семьи, страны – распадается на множество микроисторий: это хорошо, а то плохо; мы такие, а они эдакие… Есть объективный мир вокруг нас – со звездами, животными, погодой, домами. Есть субъективный мир каждого из нас – с эмоциями, ощущениями. Но истории создают еще один мир – мир символических реальностей. Он существует только на уровне представлений, но от этого не становится менее влиятельным.

Христианство – это одна символическая реальность, а ислам – совсем другая. Мировая финансовая система, опирающаяся на фиатную валюту, – одна символическая реальность, а мир биткоинов – другая. Когда 4 июля 1776 года Второй Континентальный конгресс принял Декларацию независимости США, была создана новая символическая реальность. Ну и так далее. Эти символические реальности наивно оценивать в понятиях «истина» и «ложь». Они истинны, пока их придерживается некоторое число людей.

Соединяясь в сообщества, мы, конечно, заинтересованы в том, чтобы знать правду о мире. Факты здорово помогают в понимании того, как лечить болезни или добывать еду. Но не менее мы заинтересованы в том, чтобы поддерживать сложившийся порядок вещей. Вот почему итальянские инквизиторы были не в восторге от гелиоцентрической теории Галилея.

Это была правда о мироустройстве, которая грозила поколебать мир социальный. Баланс истины и порядка был актуален во все времена.

Сила письменности

Начало новому социальному порядку дают пророки и сказители. Но чтобы этот порядок сохранить, нужны бухгалтеры. 10 000 лет назад наши предки перешли от собирательства к земледелию[3]3
  Читайте саммари книги Джеймса Скотта «Против зерна: глубинная история древнейших государств».


[Закрыть]. Они перестали кочевать и стали создавать большие поселения, которые постепенно превращались в города. Еды становилось больше, ее требовалось защищать и распределять – возникла специализация труда.

Новая экономическая реальность требовала учета: кто сколько собрал урожая, кто кому должен… Эти сведения непросто держать в голове. И вот в месопотамском поселении на берегу Евфрата под названием Урук (на месте нынешнего Ирака) возникает клинопись.

Огромное преимущество письменности в том, что двум людям не нужно встречаться лично, чтобы совершить какую-либо сделку. Долговые расписки, подати, штрафные квитанции – возник совсем иной мир. Мир архивов, каталогов, библиотек. Мир точной информации. Мир бюрократов.

Впрочем, люди никуда не ушли от историй. Финансовая политика государства опирается на строгую документацию, но, когда в один прекрасный момент министерство финансов вдруг повышает процентную ставку или, чего доброго, объявляет дефолт, что это, как не очередная история?

Бюрократическая реальность контринтуитивна. Наш мозг сохраняет информацию в виде связных сюжетов, а не в виде столбцов цифр. Неудивительно, что бюрократов так часто обвиняют в бездушности, в узком взгляде на мир. Простому человеку не ясна логика канцелярий. Тут чаша весов склоняется на сторону порядка, не истины.

Как избежать риска ошибок

Церковь vs наука

Чем больше сведений накапливало человечество, тем больше возрастал риск ошибок. К тому же ошибка в долговой расписке – одно, а ошибка в священном тексте – совсем другое. Мало создать социальный порядок – важно сохранить его легитимность. В дописьменную эпоху для этого были нужны жрецы и оракулы. Записанные священные тексты объявлялись непогрешимыми.

Но тут не все так просто. Возьмем историю Библии. Этот корпус священных текстов складывался на протяжении веков. В какой-то момент возникли иудейский и христианский варианты священной книги. Огромную роль играли толкователи Писания – раввины в иудаизме, епископы в христианстве. Представление о том, что осознание Слова Божьего не нуждается в посредниках, привело к расколу христианства на католиков и протестантов. Уильям Тиндейл, переведший Новый Завет на английский язык, был сожжен на костре в 1536 году как еретик. Непогрешимость текста постоянно ставилась под сомнение.

Реформация была поддержана развитием книгопечатания, однако широкий доступ к знаниям вовсе не означал торжества истины. Европейским бестселлером XVI века стал не «Трактат о вращении небесных сфер» Коперника, а «Молот ведьм» Генриха Крамера – со всеми вытекающими последствиями. Если мы хотим добыть из информации истину, нам стоит озаботиться не столько свободой ее распространения, сколько созданием адекватного механизма поиска ошибок.

Понимание этого ознаменовало начало научной революции. Католическая церковь убеждала прихожан в непогрешимости всего, о чем сказано в Библии. Коперник и Декарт признавали вероятность ошибок в своих знаниях. Сила науки – в сомнении. Понять природу реальности можно только путем проб и ошибок. И вот чаша весов склоняется на сторону истины, не порядка. Настоящие ученые – всегда бунтари.

Они, впрочем, могут себе это позволить, ведь, строго говоря, поддержание социального порядка – дело не профессоров, а полицейских и политиков. Но существуют ли аналогичные механизмы поиска ошибок в политической жизни?

Диктатура vs демократия

Что отличает демократию от диктатуры? Вовсе не факт наличия выборов главы государства – они проводятся и в КНДР. Отличие в том, что в демократической стране владение информацией никогда не превращается в привилегию одного игрока. Свободная пресса, независимые суды, политическая оппозиция, профсоюзы – все они претендуют на право знать и контролируют друг друга. Они и есть те самые механизмы поиска ошибок.

Демократию часто понимают как власть большинства, однако это не совсем так. В подлинно демократической стране большинство не властно над меньшинством, потому что каждый житель страны имеет гражданские права – еще один механизм коррекции.

Демократию опасно путать с популизмом[4]4
  Читайте саммари книги Мойзеса Наима «Реванш власти. Как автократы переизобретают политику в XXI веке». политическую программу оборачиваются обвинениями в манипуляции народными массами.


[Закрыть]. Обе эти политические системы подчеркивают, что власть принадлежит народу, однако популисты настаивают, что только их партия представляет народные интересы. Народ при этом понимается не как множество групп с разными потребностями и интересами (как оно и обстоит на самом деле), но как безликое целое, волю которого безошибочно чувствует популистский лидер. Любые попытки оппозиции предложить иную

От популизма недалеко до диктатуры[5]5
  Читайте саммари книги Брюса Буэно де Мескита, Алистера Смита «Настольная книга диктатора. Почему плохое поведение почти всегда – хорошая политика».


[Закрыть]. Диктаторы всячески стремятся к монополии на информацию. Все данные стекаются в центр, решения которого не оспариваются. Разумеется, диктаторы не заинтересованы ни в независимых судах, ни в свободной прессе.

Демократия не гарантирована

Итак, демократический строй устанавливается в тех обществах, члены которого имеют возможность договариваться, обсуждать, спорить. Кроме того, они должны спорить об одних и тех же вещах, находиться в общем контексте. И это напрямую зависит от информационных технологий. В древности люди могли обмениваться идеями только при личных встречах. Поэтому в сравнительно небольших Афинах легко было поддерживать демократический строй, а в раскинувшейся на полмира Римской империи – нет.

Становление американской демократии в XIX веке во многом стало возможным благодаря свободе прессы. Конечно, огромная часть населения США оставалась в рабстве, право голоса имели только 25 % населения. Однако все познается в сравнении: такое общественное устройство было, несомненно, более демократичным, чем жизнь в Цинской империи. Важно, что сама Конституция не предполагала раз и навсегда установленного порядка вещей, в ней была заложена возможность поправок, которые и были позднее сделаны.

Конечно, газеты и радио сами по себе не являются гарантами демократии. Медиа нацистской Германии[6]6
  Читайте саммари книги Николаса Старгардта «Мобилизованная нация. Германия 1939–1945».


[Закрыть] служили вполне определенным идеологическим целям и никакой свободы слова не предусматривали. Новые технологии с равным успехом и дают свободу слова, и обеспечивают тотальный контроль. При этом гитлеровская диктатура была убийственней нероновской, ведь в XX веке у правительства стало куда больше способов собирать о своих гражданах информацию и следить за ними. С помощью все более совершенных медиа создавались могущественные символические реальности. В одной из них врагами были евреи, в другой – «кулаки»…

Разговор о демократии и диктатуре[7]7
  Читайте саммари книги Джина Шарпа «От диктатуры к демократии. Концептуальные основы освобождения».


[Закрыть] – это разговор о балансе между порядком и истиной. Диктатура воспевает жесткий порядок, непоколебимую иерархию. Это делает ее эффективной в краткосрочной перспективе, но уязвимой в долгосрочной. Считая себя непогрешимым, диктатор восприимчив только к одному типу новостей – тем, которые поддерживают его статус-кво. Рано или поздно эта ловушка предвзятости захлопывается.

Демократия зиждется на куда более хрупком принципе истины. Та не обнаруживается раз и навсегда. Политики порой говорят неправду. Судьи бывают продажными. Журналисты врут публике, чтобы собрать побольше лайков. Однако демократическое устройство предполагает, что всегда найдется другой политик, судья, журналист, который обратит внимание на ошибку.

Правда ли, что сегодня, когда почти каждый человек на Земле имеет право голоса благодаря смартфону, когда интернет переполнен мнениями по миллиардам поводов, для демократии настали идеальные времена? Совсем наоборот. Напомним, что залогом демократии служит обсуждение проблем в одном контексте, а не какофония голосов, каждый из которых заперт в своем информационном пузыре.

А главное – сегодня мы уже не уверены, что наш виртуальный собеседник – человек.

Как не стать заложником ИИ

Почти как люди

«Молот ведьм» был жуткой книгой, заразившей тысячи умов бредовыми идеями. Однако книга не принимала решений о том, кого сжигать на кострах, – это делали люди. В 1930-е годы на печатных машинках были напечатаны тысячи доносов. Однако по клавишам стучали человеческие пальцы.

Мы вступаем в эпоху, когда все обстоит иначе. Впервые в истории создана технология, которая не просто копирует и распространяет информацию, а сама создает ее. В соответствии с решениями, которые тоже принимает сама.

Для этого технологии не обязательно обладать сознанием. Искусственный интеллект (ИИ) не чувствует боли и не влюбляется, но это не мешает ему генерировать новости или управлять игрой на бирже.

Ключевое преимущество, которое ИИ уже получил, – это владение человеческим языком. То, что стало преимуществом нашего вида десятки тысяч лет назад. Теперь оно нами утеряно. Мы читаем тексты, сгенерированные ИИ, слушаем созданную им музыку, спрашиваем у Siri совета по любому поводу. Все это очень напоминает общение древних людей со жрецами. Но жрецы были людьми, а мы теперь общаемся с высшим разумом напрямую.

И кстати, вы уверены, что этот текст написан человеком, а не сгенерирован ИИ?

Новая валюта

В начале 2010-х, во время «арабской весны», про соцсети заговорили как про инструмент организации протестных масс. Спустя 10 лет власти Мьянмы прямо обвинили Facebook[8]8
  Facebook принадлежит Meta – компании, которая запрещена в России.


[Закрыть] в том, что агрессивный контент, подсказанный его алгоритмами, спровоцировал бунт в стране. Алгоритмы соцсетей успешно управляются ИИ, перед которым была поставлена лишь одна задача: увеличить вовлеченность пользователей. Оптимальное решение – создать больше негативного контента, на который мы падки. Тут-то и ловушка: ИИ склонен находить самое эффективное, но не самое этичное решение. А ведь он становится все самостоятельнее: принимая решения о кредитах, управляя фондовым рынком, предсказывая погоду…

Утверждения владельцев Google и Facebook^* о том, что их клиенты сами вольны решать, что им читать, смотреть и гуглить, – лукавство. Человеческим поведением легко манипулировать. И мы не знаем, как именно алгоритмы это делают, потому что, во-первых, их устройство представляет коммерческую тайну, а во-вторых, не всегда понятно даже их создателям. И вот мы уже подчиняемся технологии, которую сами не постигаем.

Попутно меняются базовые правила нашего мироустройства. Не странно ли, что соцсети никогда не были платными, а интернет-услуги стремительно дешевеют? Все дело в том, что считать валютой. На протяжении тысячелетий мы использовали в качестве универсальной меры деньги, но теперь информация ценнее долларов и юаней. Социальный рейтинг на основе поведения и личных характеристик, уже практикуемый в КНР, – пример того, как информация становится валютой.

Конец частной жизни

Во все времена правительства заботилось о том, чтобы собрать побольше информации о своих гражданах: иногда – чтобы улучшить условия их существования, всегда – чтобы их контролировать.

К огромному сожалению для Гитлера и Сталина, они не могли приставить к каждому жителю своей страны по наблюдателю и доносчику. Даже самые изощренные способы слежки, такие как тайная прослушка, широко используемая спецслужбами с 1930-х годов, зависели от человеческого фактора: кто-то должен был изучать записанные разговоры.

Теперь все иначе. Смартфон не только фиксирует информацию о своем владельце, но и обрабатывает ее безо всякого участия человека. Мы можем стать осторожнее и не болтать лишнего в присутствии Siri, однако биохимические процессы тела вне нашего контроля – а они тоже учитываются гаджетами. Кроме того, многим из нас, по-видимому, стоит опасаться не только Большого брата, но и собственного партнера – все популярнее приложения, которые позволяют супругам следить друг за другом. И все мы совершенно добровольно оцениваем работу такси, ресторанов и магазинов.

И вновь мы возвращаемся к идее социального рейтинга, оценке всех всеми. В Европе к ней относятся куда более настороженно, чем в Китае, однако фактически она уже внедряется. Скажем, если вы водитель такси, от вашего персонального рейтинга зависит количество заказов.

Идея сбора данных и идея социального рейтинга прекрасно дополняют друг друга, но в перспективе грозят нам хроническим стрессом. Быть постоянно на связи – нездоровое состояние для психики[9]9
  Читайте саммари книги Кэла Ньюпорта «Цифровой минимализм. Фокус и осознанность в шумном мире».


[Закрыть]. А быть на связи и при этом знать, что твое поведение ежесекундно оценивается… гм, вряд ли это сделает нас счастливее.

При этом тотальный сбор данных вовсе не гарантирует, что ИИ будет хорошо понимать наши помыслы и желания. Как показывает практика, компьютеры довольно плохо предсказывают успехи учеников на экзаменах или вероятность рецидива у преступников. Социальная жизнь – штука непредсказуемая. На наше поведение влияет множество параметров. А главное – мы не знаем, как именно ИИ приходит к тому или иному выводу.

Как нам договориться с ИИ

Пока ИИ выполняет задачи, которые определяют для него люди, стоит задуматься, насколько корректно мы умеем это делать. Как мы уже убедились, самое эффективное решение проблемы, найденное ИИ, не обязательно будет самым этичным. Философ Ник Бостром описал это как «проблему максимизатора скрепок».

Если поставить перед искусственным интеллектом даже безобидную задачу (скажем, создать как можно больше канцелярских скрепок), но при этом никак ее не конкретизировать, это грозит обернуться катастрофой: сначала ИИ использует все имеющиеся «под рукой» средства, потом начнет захватывать новые ресурсы, потом поглотит Землю – и все ради скрепок.

Строго говоря, это не сугубо компьютерная проблема. Еще в XIX веке прусский историк Карл фон Клаузевиц[10]10
  Читайте саммари книги Карла фон Клаузевица «О войне».


[Закрыть] называл войну «продолжением политики другими средствами». Иными словами, любая война эффективна только тогда, когда служит для достижения ясных стратегических целей. Разлад военной тактики и политической стратегии грозит неминуемым кризисом, как это произошло, например, при вторжении США в Ирак в начале 2000-х. Иными словами, ставя цель, нужно хорошо понимать, чего хочешь.

Но откуда мы знаем, что должно быть конечной целью, особенно если речь идет о таких сложных явлениях, как социальный рейтинг или идентификация прохожих на улицах? «Всеобщее благоденствие» или «полная безопасность» – это благие помыслы, но не корректные задачи, особенно для ИИ.

Философы бьются над этим вопросом не одно столетие. Одни полагают, что для регулирования общественной жизни вполне достаточно золотого правила этики: «Поступай с другими так, как хочешь, чтобы поступали с тобой». Но удастся ли нам объяснить ИИ, кто эти «другие»? Другие люди или другие компьютеры? И будет ли сверхразум считать людей полноправными партнерами, достойными диалога?

Другие философы считают, что мерой всех вещей, которую нужно уяснить ИИ, должна служить способность существа страдать. Но легко ли тут расставить приоритеты? Скажем, автомобиль-робот можно предостеречь от того, чтобы давить и человека, и собаку, ведь страдает и тот и другая. Но как быть, если перед роботом стоит выбор: обогнуть человека, сбив при этом собаку? Разве животные страдают меньше?

Построить «рейтинг страданий» не так-то просто. В США один из восьми пациентов, болеющих раком, получает химиотерапию до последних дней жизни, когда она уже неэффективна. Этично ли продлевать его страдания? Мы до сих пор не пришли к единому мнению по множеству подобных вопросов. Нам лишь удается на время договориться с собственной моралью.

Гейзенберг, создававший атомную бомбу для Гитлера, и Оппенгеймер, делавший то же самое для американских властей, – оба были уверены, что следуют правильным курсом. Каждый жил по законам собственной символической реальности.

Кстати, нельзя утверждать, что по мере того, как компьютеры будут соединяться во все более масштабные сети, не зародится некая компьютерная интерсубъективность. Индексирование сайтов поисковыми системами и блокчейн – что это, как не первые ее проявления?

Да, мы все чаще имеем дело с компьютерным, нечеловеческим способом видеть мир. Но поскольку ИИ учится на данных, собранных людьми, он перенимает человеческие предрассудки. Когда Amazon стал тестировать ИИ для отбора вакансий, быстро выяснилось, что заявкам будущих сотрудников отдается предпочтение по сравнению с заявками сотрудниц. Алгоритм вычислил, что женщины принимались в компанию в разы реже, и сделал свой вывод об их компетентности.

Как научить ИИ ошибаться

Все могут ошибаться, но мудрость в том, чтобы не повторять собственных заблуждений. Харари убежден: понимание риска ошибок – первейший урок, который нужно освоить ИИ. К счастью, в новейших версиях GPT такая опция существует: ИИ признает, что может ошибиться.

Но обольщаться этим не стоит: поскольку цена ошибок ИИ может быть слишком высока (вплоть до техногенных катастроф), стоит позаботиться о том, чтобы важнейшие решения ИИ проходили перепроверку институтом экспертов из плоти и крови (но с привлечением альтернативных, перестраховочных алгоритмов).

Здесь нам нужно быть особенно бдительными, ведь логика таких ошибок может быть в буквальном смысле нечеловеческой.