Электронная библиотека » Ник Бостром » » онлайн чтение - страница 8


  • Текст добавлен: 5 января 2016, 14:40


Автор книги: Ник Бостром


Жанр: Зарубежная образовательная литература, Наука и Образование


Возрастные ограничения: +12

сообщить о неприемлемом содержимом

Текущая страница: 8 (всего у книги 38 страниц) [доступный отрывок для чтения: 12 страниц]

Шрифт:
- 100% +

Глава третья
Типы сверхразума

Итак, что именно мы подразумеваем под словом сверхразум? Не хотелось бы погружаться в терминологическую трясину, но что-то сказать для прояснения понятийной основы все-таки нужно. В этой главе мы проведем идентификацию трех типов сверхразума и убедимся, что в практическом смысле все три тождественны. Затем мы продемонстрируем, насколько потенциал биологического интеллекта проигрывает потенциалу машинного. У машин есть множество фундаментальных преимуществ, которые обеспечивают им подавляющее превосходство над человеком. Биологический мозг, даже улучшенный, не сможет с ними конкурировать.

Есть и машины, есть и животные, превосходящие человека в том или ином виде деятельности, – можно сказать, они уже достигли сверхчеловеческого уровня. Летучая мышь, используя при полете эхолокацию, ориентируется в темноте лучше человека, калькулятор обходит его в арифметических расчетах, шахматные программы обыгрывают в шахматы. Перечень специфических задач, с которыми программы специального назначения справляются лучше нас, будет только расти. Безусловно, специализированные информационные системы могут иметь множество применений, но все равно возникают дополнительные серьезные проблемы, когда речь заходит о перспективе создания универсального искусственного интеллекта, способного занять место человека без исключения на всех направлениях.

Уже не раз упоминалось, что термин сверхразум мы используем для обозначения такого интеллекта, который во многих универсальных проявлениях когнитивной деятельности в значительной степени превосходит лучшие умы человечества. Описание весьма расплывчатое (поэтому формулировка и не повторяет дословно ту, что дана нами в предыдущей главе). В соответствии с этим определением на статус сверхразума начнут претендовать самые разные системы с совершенно несопоставимыми функциональными свойствами. Разобраться с имеющимися дефинициями этого довольно простого понятия нам позволит детальный анализ сверхвозможностей мозга, для чего придется распутать далеко не однородный узел, вытягивая из него различительные признаки интеллекта. Есть множество способов провести такую декомпозицию[13]13
  Декомпозиция (decomposition) научный метод, заключающийся в разделении целого на части и позволяющий рассматривать любую исследуемую систему на основании ее признаков как сложную, состоящую из отдельных взаимосвязанных подсистем, которые, в свою очередь, могут быть расчленены на части; применяется при анализе материальных объектов, процессов, явлений и понятий.


[Закрыть]
. Для дифференциации воплощений сверхразума обратимся к трем его типам: скоростной сверхразум, коллективный сверхразум и качественный сверхразум.

Скоростной сверхразум

Скоростной сверхразум представляет собой такой же интеллект, как человеческий, только более быстрый. С концептуальной точки зрения данный тип самый простой для анализа{170}170
  Вернон Виндж, описывая результат, который мог бы получиться, если запустить человеческий мозг с ускоренной скоростью, выбрал термин слабый сверхразум [Vinge 1993].


[Закрыть]
. Мы дадим ему следующее определение:

скоростной сверхразум – система, способная делать все то же, что и человеческий интеллект, только намного быстрее.

Под «намного» имеется в виду «на несколько порядков». Понимаю, что и это крайне обобщенное определение явно хромает, но я благоразумно отойду в сторону и предоставлю самому читателю разбираться с его интерпретацией{171}171
  Например, если сверхбыстродействующая система исполняет все, что делает любой человек, – разве что не танцует мазурку, – можем ли мы назвать ее скоростным сверхразумом? Наверное, нас все-таки будут интересовать те основные когнитивные способности, которые имеют значение тактического и стратегического порядка.


[Закрыть]
.

Самым простым примером скоростного сверхразума могла бы стать полная эмуляция головного мозга, выполненная на сверхмощном оборудовании{172}172
  Если принять во внимание разницу в быстродействии и затратах энергии между процессами, идущими в мозгу человека, и действиями более эффективной системы преобразования информации, скорость можно было бы увеличить как минимум в миллион раз. Скорость света более чем в миллион раз выше скорости передачи сигнала нейронами, синапсы тратят более чем в миллион раз больше тепла, чем это оправданно с точки зрения термодинамики, а частоты, на которых работают современные транзисторы, более чем в миллион раз выше, чем частоты синапсисов, см.: [Yudkowsky 2008 a]; см. также: [Drexler 1992]. Предел скорости сверхразума задается следующими факторами: задержки в высокоскоростных сетях передачи данных; квантовые ограничения на скорость изменения состояний; объем емкости, вмещающей «разум» [Lloyd 2000]. «Предельный ноутбук», описанный в работе Сета Ллойда, на котором можно было бы проводить эмуляцию мозга, выполнял бы 1,4 × 1021 FLOPS со скоростью 3,8 × 1029 операций в секунду (при условии, что их можно было бы существенным образом распараллелить) [Lloyd 2000]. Однако расчеты Ллойда не претендуют на абсолютную достоверность, его задачей было проиллюстрировать ограничения вычислений – ограничения, которые непосредственно вытекают из основных физических законов.


[Закрыть]
. Имитационная модель мозга, работающая со скоростью, в десять раз превышающей скорость биологического мозга, смогла бы читать книги за считанные секунды, а докторскую диссертацию написать за день. Если скорость имитационной модели будет выше в миллион раз, она будет в состоянии выполнять за день интеллектуальную работу, на которую у человека ушло бы целое тысячелетие{173}173
  Когда речь заходит о полной эмуляции, сразу возникает вопрос, как долго сможет работать имитационная модель головного мозга человека, пока не сойдет с ума и не начнет «ходить по кругу». Совсем не очевидно – даже при условии разнообразия задач и регулярных передышек, – что имитационной модели удастся протянуть тысячи субъективных лет, ни разу не столкнувшись с психологическими проблемами. Кроме того, если из-за предельного количества нейронов объем полной памяти ограничен, то накапливать знания до бесконечности не получится, поэтому, начиная с какой-то точки, имитационной модели мозга, чтобы освободить место для усвоения новой информации, придется начать забывать уже усвоенное. (Думается, что искусственный интеллект можно будет разработать на таких принципах, чтобы постараться избежать таких потенциальных проблем.)


[Закрыть]
.

Для разума, работающего с такой скоростью, происходящие во внешнем мире события походили бы на замедленную съемку. Представьте, что ваш мозг ускорился в десять тысяч раз. Друг роняет чашку, и вы в течение нескольких часов наблюдаете ее медленное движение в сторону пола – она словно комета, безмолвно скользящая в космосе навстречу далекой планете, – и по мере того как ощущение неизбежной катастрофы мучительно пробивается через извилины серого вещества вашего приятеля, а оттуда в его периферийную нервную систему, на его лице постепенно проступает выражение, предшествующее возгласу «ой!», который вы еще не скоро услышите. Короче говоря, за это время вы успеете принести ему новую чашку, заодно прочитать пару научных статей и даже вздремнуть.

По причине подобного растяжения истинного времени скоростной сверхразум, наверное, предпочел бы работать с цифровыми объектами, а не объектами материального мира. Ему удобнее было бы существовать в виртуальной реальности и иметь дело с информационной экономикой, а при необходимости – вступать во взаимодействие с физической средой при помощи наноманипуляторов, поскольку эти микроскопические конечности могут двигаться быстрее роботизированных. (Частотные характеристики системы обычно обратно пропорциональны ее линейным размерам{174}174
  Таким образом, для наномеханизмов, двигающихся с довольно скромной скоростью 1 м/с, обычный масштаб времени – это наносекунды; см.: [Drexler 1992] – раздел 2.3.2. Робин Хэнсон отмечает работу роботов-«фей», размером всего 7 мм, двигающихся в 260 раз быстрее привычной нам скорости [Hanson 1994].


[Закрыть]
.) Скоростной ум мог бы взаимодействовать главным образом с другими скоростными умами, а не с людьми, чье брадителически[14]14
  Брадителический (bradytelic) присущий некоторым организмам темп морфологической эволюции, близкий к нулю, например отдельные виды моллюсков претерпели за последние 400 млн лет самые незначительные изменения.


[Закрыть]
медлительное передвижение в пространстве сравнимо разве что с тягучестью меда.

По мере ускорения интеллекта все более критическим ограничителем становится скорость света, поскольку растут издержки в результате потери времени на путешествие или передачу информации на дальние расстояния{175}175
  См.: [Hanson 2012].


[Закрыть]
. Свет примерно в миллион раз быстрее реактивного самолета, поэтому цифровому агенту со скоростью мышления, в миллион раз превышающей человеческую, потребуется примерно столько же его субъективного времени на путешествие вокруг света, как и его современнику-человеку. Звонок кому-то, находящемуся в другом городе, займет столько же времени, сколько нужно на то, что бы этот кто-то оказался перед вами собственной персоной. Сверхразумам, достигшим высочайшей скорости, которым требуется постоянное интенсивное сотрудничество, предпочтительнее находиться недалеко друг от друга. Если скоростные сверхразумы, например, собираются работать над одной задачей, было бы желательно разместить их – чтобы избавить от долгих периодов ожидания – в компьютерах, стоящих в одном помещении.

Коллективный сверхразум

Следующий тип сверхразума представляет собой большое количество интеллектов более низкого уровня, собирающихся ради достижения сверхпроизводительности в одно целое. Определение этого типа сформулировано следующим образом:

коллективный сверхразум – система, состоящая из большого количества интеллектов более низкого уровня, в силу этого ее общая производительность значительным образом превышает производительность любой существующей когнитивной системы во многих универсальных областях деятельности.

В отличие от скоростного, коллективный сверхразум не столь ясно очерчен концептуально{176}176
  Термин коллективный интеллект не имеет отношения к распараллеливанию на нижнем уровне аппаратного обеспечения, это понятие целиком лежит в плоскости интеллектуальных автономных агентов, например людей. Если начать проводить одну полную эмуляцию мозга, одновременно используя большое количество сверхмощного оборудования, можно получить скоростной сверхразум, но он не будет коллективным сверхразумом.


[Закрыть]
, но более узнаваем с практической точки зрения. На собственном опыте мы еще никогда не сталкивались со скоростным искусственным интеллектом человеческого уровня, зато хорошо знакомы с таким понятием, как коллективный разум, представляющий объединение людей, организованных в единую систему, чтобы совместно находить решения более эффективные, чем может принимать отдельный, даже самый умный, член этого сообщества. Если несколько абстрагироваться и подойти к вопросу сугубо теоретически, то такого рода системами, способными решать проблемы самого разного уровня сложности, можно назвать компании, проектные группы, социальные сети, общественные организации, научные коллективы, государства и даже, чтобы не мелочиться, весь род человеческий. Из нашей социально-институциональной практики мы знаем, насколько проще принимать решения, если над ними трудится коллективный разум.

Лучше всего коллективный интеллект проявляет себя в разработке комплексных проектов, которые легко разложить на части, чтобы каждую можно было выполнять параллельно силами подструктур единой системы и проверять результаты в автономном режиме. При решении любых задач – от строительства космического корабля многоразового использования до управления сетью закусочных – существует огромное количество возможностей благодаря разделению труда. Над каждым компонентом шаттла работает специализированная команда проектировщиков и инженеров; каждое кафе обслуживается отдельным коллективом профессионалов. Научная среда в целом складывается из особых сообществ, каждое из которых занимается своей отдельной дисциплиной и является самостоятельной системой с довольно жесткой структурой соподчиненных элементов: исследователи, преподаватели, студенты, журналы, гранты, премии – кстати, хочу заметить, что сложившаяся схема не очень способствует развитию того направления, которому посвящена моя книга. Но такова традиционная научная практика, и к этому можно было бы отнестись как к необходимому компромиссу, поскольку в рамках существующего огромное множество творческих личностей и целеустремленных команд, занимаясь самыми разными направлениями и работая практически автономно – когда каждый возделывает собственную научную делянку, – вносят свой коллективный вклад в сокровищницу человеческих знаний, продолжают и развивают их.

Такого рода разумная система может быть усилена за счет усовершенствования каждой отдельно подструктуры: расширение ее состава; повышение ее уровня интеллекта, оптимизация ее организационной политики{177}177
  Улучшение когнитивных возможностей, таких как скорость и качество ума, может лишь косвенно влиять на производительность коллективного разума, но об этих вариантах усовершенствования будет правильнее говорить при обсуждении двух других форм сверхразума.


[Закрыть]
. Для превращения любого существующего коллективного интеллекта в сверхразум потребуется резкий рост на всех уровнях. Появившаяся в результате система должна быть способна значимо превосходить любой имеющийся коллективный интеллект и другие когнитивные системы во многих универсальных областях знаний. Рождаются и будут дальше появляться многие прогрессивные подходы, например: современные форматы проведения конференций, позволяющие ученым эффективнее обмениваться информацией; создание новейших алгоритмов анализа данных, способствующих лучшему отбору пользовательских предпочтений, в частности читателей и зрителей, – но каково бы ни было их значение, совершенно очевидно, что сами по себе эти инновационные факторы не приблизят нас к появлению коллективного сверхразума. Собственно, как и показатели вроде темпа прироста населения планеты или улучшения методов преподавания в учебных заведениях. Чтобы когнитивные способности человечества в целом начали соответствовать уровню коллективного сверхразума, потребуются совсем другие и количественные, и качественные критерии.

Обратите внимание, что порог для признания системы сверхразумной определяется относительно текущего уровня производительности, то есть на начало XXI века. В доисторические времена и на протяжении всей истории человечества возможности коллективного интеллекта выросли очень сильно. Со времен плейстоцена население Земли увеличилось в тысячу раз{178}178
  Считается, что именно рост плотности населения привел к верхнепалеолитической революции (культурная революция кроманьонцев), а после преодоления некой пороговой величины так называемая культурная сложность начала расти очень быстро; см.: [Powell et al. 2009].


[Закрыть]
. Исходя из этого – если принять за основу уровень интеллекта эпохи плейстоцена, – нынешний интеллектуальный уровень человечества можно рассматривать как приближающийся к сверхразумному. Столь же существенное влияние оказало совершенствование коммуникационных процессов, особенно возникновение устной речи, а потом и письменных языков, а также градостроение и книгопечатание. Все эти обстоятельства, как по отдельности, так и совокупно, стали огромным стимулом ускорения – настолько мощным, что появись сейчас подобного масштаба новаторский потенциал, его влияние на когнитивные способности всего человечества привело бы к появлению коллективного сверхразума{179}179
  Кажется, мы забыли упомянуть интернет? Увы, его развитие пока не достигло того масштаба, который требуется для «большого прыжка». Может быть, со временем интернет подтянется. Другим приведенным здесь факторам потребовались века и даже тысячелетия, чтобы раскрыть свой потенциал полностью.


[Закрыть]
.

Наверняка сейчас некоторые читатели возразят, что, мол, современное общество не кажется им слишком разумным. Возможно, в их родной стране недавно приняли какие-то непопулярные законы или несколько изменилась политическая обстановка, и очевидная неразумность происходящего оборачивается для людей прямым свидетельством моральной и интеллектуальной деградации социума. Разве не подтверждается их вывод об умственной недееспособности современного человечества вполне весомыми аргументами, такими как идолопоклонство перед материальными благами; истощение природных ресурсов; загрязнение окружающей среды; истребление видового разнообразия? Разве эти безобразия не происходят на общем фоне всемирного неравенства, вопиющей несправедливости и полного пренебрежения базовыми гуманистическими и духовными ценностями? Все так, только есть одно но. Оставив без внимания сравнительный анализ, насколько современные социальные изъяны ужаснее недостатков прошлых эпох, хочу вам заметить: в нашем определении коллективного сверхразума нет ничего, что говорило бы, будто высокоразвитое в интеллектуальном плане общество обязано быть справедливым и нравственным. Более того, в определении нет даже намека, будто высокоразвитое в интеллектуальном плане общество должно быть мудрее. Вы спросите, что такое «мудрость»? Договоримся считать мудростью способность относится к самому важному в нашей жизни с той или иной степенью здравого смысла. Представим себе некую организацию с немыслимо огромным штатом сотрудников – людей, обладающих большим умственным багажом, успешно и согласованно работающих, умеющих коллективно решать практически универсальные творческие и интеллектуальные проблемы. Предположим, эта организация может управлять практически любыми предприятиями, разрабатывать практически любую технологию и достигать практически в любом процессе наивысшей продуктивности. Но даже настолько эффективная универсальная организация способна по какому-то принципиально важному, практически судьбоносному, вопросу вдруг принять в корне неверное решение – скажем, не продумать надлежащие меры предосторожности против рисков, угрожающих ее существованию, – и фантастически бурный подъем довольно быстро закончится полным и бесславным упадком. Такая организация могла бы стать носителем мощного общего интеллекта – настолько высокого, что еще чуть-чуть, и коллективный сверхразум получил бы свое реальное воплощение. А теперь вернемся к «справедливости» и «мудрости». Найдя какой-то желательный для нас признак, не стоит поддаваться искушению и обязательно наматывать эту ниточку на огромный клубок нашего общего и очень неопределенного представления о мыслительной деятельности, поскольку невозможно выбрать одно свойство, пусть даже достойное восхищения, без того, чтобы не рассмотреть аналогичным образом все остальные характеристики. Может быть, с этой точки зрения нам следовало бы осознать, как удобны мощные информационные системы – причем системы с элементами искусственного интеллекта, – которые по определению не могут быть ни справедливыми, ни преданными, ни мудрыми. Но к этому вопросу мы вернемся в седьмой главе.

Коллективный сверхразум может быть интегрирован слабо или сильно. В качестве иллюстрации слабоинтегрированного сверхразума представьте планету Мегаземля, на которой достигнут точно такой же уровень коммуникационных и координационных технологий, как на современной Земле, но при этом население больше земного в миллион раз. Соответственно, выше будут и совокупные интеллектуальные ресурсы. Предположим, что научные гении масштаба Ньютона или Эйнштейна появляются как минимум один раз на десять миллиардов человек – тогда на Мегаземле будут одновременно проживать семьсот тысяч гениев, не говоря уже о пропорционально большем количестве просто талантливых и одаренных мегаземлян. Новые идеи и технологии развивались бы на такой планете с бешеной скоростью, и глобальная цивилизация на Мегаземле представляла бы собой слабоинтегрированный сверхразум{180}180
  Пример, взятый мною, конечно, из области фантастики. Планета – большая настолько, что может вместить семь квадриллионов мегаземлян, – при современном уровне технологий просто взорвалась бы, если не состояла бы из очень легкого вещества или не была бы полой, удерживаясь в таком состоянии давлением или каким-то иным искусственным способом. (Лучшим решением могла бы быть сфера Дайсона, или раковина Дайсона.) На такой огромной поверхности история развивалась бы совсем иначе. Но не будем отклоняться в сторону.


[Закрыть]
.

Если постепенно повышать степень интеграции коллективного интеллекта, в конечном счете он может превратиться в единый огромный «рассудок» в противоположность простому набору слабо связанных человеческих умов{181}181
  Нас больше интересуют функциональные свойства комплексного интеллекта, а не вопрос, будут ли у него квалиа, то есть будет ли он рассудком, имеющим опыт субъективных переживаний и ощущений. (Кого-то, впрочем, может заинтересовать, какого рода опыт сознания будет присущ интеллекту, интегрированному более или менее человеческого. По поводу самосознания существуют разные мнения, например, в теории глобального рабочего пространства предполагается, что более интегрированный мозг будет обладать и более полным самосознанием; см. также: [Baars 1997; Shanahan 2010; Schwitzgebel 2013].)


[Закрыть]
. Жители Мегаземли могли бы двигаться в этом направлении, совершенствуя коммуникационные и координационные технологии и разрабатывая лучшие методы организации совместной работы множества мегаземлян над трудными интеллектуальными задачами. Таким образом, коллективный сверхразум после заметного роста своей интегрированности воплотился бы в качественный сверхразум.

Качественный сверхразум

Попытаемся определить третий тип сверхразума:

качественный сверхразум – система, по скорости работы сравнимая с человеческим умом, но в качественном отношении значительно сильнее его.

Понятие «качество интеллекта», как и в случае коллективного разума, является довольно расплывчатым, но ситуация усугубляется отсутствием у нас опыта обращения с интеллектуальными способностями, превосходящими верхние пределы современного человечества. Однако можно получить некоторое представление о них, изучив соответствующие случаи.

Прежде всего можно расширить спектр сравнения, включив в него других млекопитающих, обладающих интеллектом более низкого качества. (Не стоит считать эту ремарку дискриминационной по отношению к животным. Интеллект полосатой перцины отлично адаптирован к ее экологическим нуждам, но наша установка более антропоцентрична: мы рассматриваем производительность мозга с точки зрения сложных когнитивных задач, имеющих отношение к людям.) У животных отсутствует сложный структурированный язык; животные или вовсе не могут пользоваться инструментами и создавать их, или способны на это лишь в рудиментарной степени; они серьезно ограничены в способностях строить долгосрочные планы; у них очень незначительные способности к абстрактному мышлению. Ни одно из этих ограничений не объясняется недостатком скорости когнитивных процессов у животных или отсутствием у них коллективного интеллекта. По критерию одних только вычислительных возможностей человеческий мозг, вероятно, уступает мозгу крупных млекопитающих, включая слонов и китов. И хотя сложная технологическая человеческая цивилизация была бы невозможна без нашего огромного преимущества в коллективном интеллекте, нельзя сказать, что от него зависят умственные способности отдельных людей. Многие достигают высокого уровня развития даже в небольших изолированных обществах типа охотничье-собирательского{182}182
  Небольшие группы людей, ставшие изолированными в силу обстоятельств, могут продолжать извлекать пользу из ранее приобретенной суммы знаний. Например, пользоваться языком, который был создан в гораздо более крупной языковой среде, или инструментами, придуманными до того, как они оказались в изоляции. Но даже если такое сообщество всегда жило изолированно, оно все равно остается частью более крупного коллективного разума, состоящего из всех предыдущих поколений, который можно считать системой последовательной обработки информации.


[Закрыть]
. И напротив, высокоорганизованные шимпанзе и дельфины, которых обучают инструкторы-люди, или муравьи, живущие в огромных и хорошо организованных сообществах, по своему умственному развитию никогда не сравняются с человеком. Несомненно, поразительные интеллектуальные достижения Homo sapiens, в значительной степени явившись следствием специфических свойств архитектуры нашего мозга, – уникальный генетический дар, не доставшийся ни одному другому живому существу. Приведенные замечания помогут нам несколько уточнить представление о качественном сверхразуме. Итак, это интеллект, в качественном отношении значительно более сильный, чем человеческий, – настолько, насколько человеческий ум превосходит по качеству ум слонов, дельфинов и шимпанзе.

Второй способ уточнить определение качественного сверхразума – указать на локальный когнитивный дефицит, которым страдают некоторые люди, особенно когда он не вызван общим слабоумием или иными условиями, связанными с нарушением функционирования нейровычислительных ресурсов мозга. Возьмем, например, людей, страдающих аутизмом, – дефицит социального познания не мешает им нормально действовать в других познавательных сферах; или людей с врожденной амузией, неспособных промурлыкать или распознать даже простые мелодии, – кроме этого неудобства, их жизнь ничем не отличается от жизни остальных людей. В специализированной литературе по психоневрологии в изобилии приведены описания пациентов, страдающих от узколокальных патологических состояний мозга, вызванных генетическими нарушениями или травмами. Эти примеры показывают, что нормальные взрослые люди обладают широким спектром удивительных познавательных талантов, которые нельзя считать простой функцией общей мощности нейровычислительной системы или даже достаточного уровня общего интеллекта – требуется также специфическая схема взаимодействия нейронов. Из этого наблюдения следует идея возможных, но нереализованных талантов познания – то есть талантов, которыми не обладает ни один человек, даже если другие интеллектуальные системы, причем не превосходящие человеческий мозг с точки зрения вычислительной мощности, которые их имеют, могли бы очень сильно выиграть из-за своей способности выполнять широкий спектр стратегически важных задач.

Соответственно, обратившись к примеру животных и людей, страдающих специфическими нарушениями познавательных способностей, мы можем получить некоторое представление о различных качествах интеллекта и их практических отличиях. Если у Homo sapiens отсутствовали бы (лишь в качестве примера) когнитивные модули, позволяющие ему формировать сложные речевые конструкции, он остался бы лишь еще одним видом обезьян, живущих в гармонии с природой. И напротив, найди человек разумный способ обрести некий новый набор модулей, обеспечивающий его преимуществом, сопоставимым со способностью формировать сложные речевые конструкции, он стал бы человеком сверхразумным.


Страницы книги >> Предыдущая | 1 2 3 4 5 6 7 8 9 10 11 12 | Следующая
  • 0 Оценок: 0

Правообладателям!

Данное произведение размещено по согласованию с ООО "ЛитРес" (20% исходного текста). Если размещение книги нарушает чьи-либо права, то сообщите об этом.

Читателям!

Оплатили, но не знаете что делать дальше?


Популярные книги за неделю


Рекомендации