Электронная библиотека » Митио Каку » » онлайн чтение - страница 11

Текст книги "Физика будущего"


  • Текст добавлен: 19 декабря 2016, 13:30


Автор книги: Митио Каку


Жанр: Физика, Наука и Образование


Возрастные ограничения: +16

сообщить о неприемлемом содержимом

Текущая страница: 11 (всего у книги 39 страниц) [доступный отрывок для чтения: 11 страниц]

Шрифт:
- 100% +
Когда роботы превзойдут людей

В одном сценарии нас, ничтожных человечков, просто отодвинут в сторону как пережиток эволюции. Более приспособленные виды развиваются и сменяют менее приспособленные – это закон эволюции. Возможно, существование человечества на этом закончится и последние люди будут доживать свой век в зоопарках под любопытными взглядами наших творений-роботов. Возможно, такова наша судьба: дать жизнь суперроботам, которые затем будут относиться к нам как к чудовищно примитивной и не слишком существенной главе своей эволюции. Может быть, в этом и состоит наша историческая роль – породить тех, кто сменит нас на пути эволюции. В этом сценарии нашей задачей будет побыстрее уйти с пути разумных роботов.

Дуглас Хофштадтер признался мне, что, возможно, таков естественный порядок вещей, но мы должны относиться к этим сверхразумным роботам как к собственным детям – ведь они и впрямь наши дети в каком-то смысле. Если человек может заботиться о своих детях, сказал он мне, то почему он не может так же заботиться и о разумных роботах, которые тоже являются нашими детьми?

Ганс Моравек представляет, как может чувствовать себя человек, которого обошли и оставили далеко позади роботы: «…жизнь может показаться бессмысленной, если нам суждено будет провести ее за глупым разглядыванием нашего сверхразумного потомства, в то время как они будут пытаться растолковать нам свои все более впечатляющие достижения упрощенным языком, чтобы мы могли понять».

Если настанет наконец судьбоносный день, когда роботы обойдут нас разумом, мы не только перестанем быть самыми разумными существами на Земле; наши создания смогут изготовить собственные копии и даже улучшить их, так что «дети» будут умнее «родителей». Эта армия самовоспроизводящихся роботов положит начало бесконечному ряду будущих поколений, причем каждое следующее будет умнее предыдущего. А поскольку теоретически роботы смогут создавать следующие поколения очень быстро, со временем этот процесс вплотную подойдет к экспоненциальному взрыву, и бесчисленные роботы в своем ненасытном стремлении к разумности начнут истощать ресурсы планеты.

В одном из возможных сценариев этот ненасытный аппетит ко все более высокому интеллекту со временем истощит все ресурсы планеты и Земля целиком превратится в компьютер. Некоторые считают, что сверхразумные роботы отправятся с Земли к звездам, чтобы там продолжить свой бесконечный квест; они доберутся до других планет, звезд и галактик и попытаются превратить в компьютеры и их. Но поскольку планеты, звезды и галактики находятся от нас невероятно далеко, Земля-компьютер, возможно, сумеет изменить законы природы, так чтобы можно было путешествовать быстрее скорости света и поглощать целые звездные системы и галактики. Некоторые даже верят, что в конце концов этот сверхкомпьютер сможет поглотить всю Вселенную, так что Вселенная тоже станет разумной.

Получается сингулярность. Слово это первоначально пришло из мира релятивистской физики – моей научной специализации, где сингулярность представляет собой точку с бесконечной гравитацией, откуда ничто не может улететь, такую как черная дыра. Поскольку свет тоже не может оттуда улететь, увидеть что-либо за этим горизонтом не представляется возможным.

Идея ИИ-сингулярности впервые была высказана в 1958 г. в беседе между двумя математиками, Станиславом Уламом (которому довелось сделать ключевой шаг в разработке водородной бомбы) и Джоном фон Нейманом. Улам писал: «Один из разговоров крутился вокруг все ускоряющегося технического прогресса и изменений в образе жизни людей, по которым похоже, что приближается некая важная сингулярность в истории человеческого рода, после которой дела человечества, какими мы их знаем, не смогут продолжаться». Различные варианты этой идеи витали в воздухе уже несколько десятков лет. Но именно тогда ее подхватил, усилил и популяризовал в своих романах и эссе писатель-фантаст и математик Вернор Виндж.

Но все это не дает ответа на главный вопрос: когда наступит эта сингулярность? При нашей жизни? Может быть, в следующем столетии? Или никогда? Можно вспомнить, что участники Азиломарской конференции 2009 г. решили: до этого знаменательного момента может пройти от 20 до 1000 лет.

Есть человек, которого в настоящее время можно, пожалуй, назвать выразителем идей сингулярности. Это изобретатель и автор бестселлеров Рей Курцвейл; он очень любит делать предсказания, основанные на экспоненциальном развитии техники. Курцвейл однажды сказал мне, что при взгляде ночью на далекие звезды, по идее, там можно отыскать какие-то космические свидетельства подобной же сингулярности, имеющей место в далекой-далекой галактике. Если эта стремительно расширяющаяся сингулярность обладает способностью пожирать или переделывать целые звездные системы, следы ее деятельности должны оставаться и быть заметны. (Его противники говорят, что он поднимает вокруг пресловутой сингулярности едва ли не религиозный шум. Однако сторонники возражают, что Курцвейл, судя по его послужному списку, обладает необычайной способностью верно предугадывать будущее.)

Курцвейл всерьез столкнулся с компьютерной революцией, когда основал несколько компаний в разных областях, имеющих отношение к распознаванию образов; речь шла о технологиях распознавания речи, оптического распознавания символов и о разработке электронных клавишных музыкальных инструментов. В 1999 г. он написал бестселлер «Эпоха духовных машин: когда компьютеры превзойдут интеллектом человека», в котором предсказал дату этого события. В 2005 г. он написал книгу «Сингулярность уже близка», в которой изложил свои предсказания более подробно. Путь к знаменательному дню, когда компьютеры превзойдут человека в разумности, будет состоять из нескольких этапов.

К 2019 г., предсказывает он, персональный компьютер стоимостью в 1000 долларов по чистой вычислительной мощности сравняется с человеческим мозгом. Вскоре после этого компьютеры оставят нас далеко позади. К 2029 г. тот же персональный компьютер стоимостью в 1000 долларов будет уже в 1000 раз мощнее человеческого мозга. К 2045 г. все тот же ПК за 1000 долларов будет обладать в миллиард раз более мощным интеллектом, чем все человечество, вместе взятое. Способности даже небольших компьютеров будут намного превосходить способности всего рода человеческого.

После 2045 г. компьютеры станут настолько продвинутыми, что смогут производить собственные копии в еще более продвинутом варианте, открывая тем самым путь к технологической сингулярности. Стремясь удовлетворить эту нескончаемую и ненасытную жажду компьютерной мощности, они начнут поглощать Землю, астероиды, планеты и звезды и смогут даже повлиять на космологическую историю нашей Вселенной.

Мне довелось побывать в гостях у Курцвейла в его офисе в пригороде Бостона. Проходя по коридору, вы видите на стенах дипломы полученных им премий и наград, а также некоторые из разработанных им музыкальных инструментов, которыми пользуются лучшие музыканты, такие как Стиви Уандер. Курцвейл рассказал мне, что в его жизни был поворотный момент. В 35 лет ему неожиданно поставили очень неприятный диагноз: диабет II типа. Внезапно он, что называется, упал с небес на землю и понял, что может не дожить до исполнения собственных пророчеств. После многих лет небрежения тело его состарилось до срока. Курцвейл был потрясен диагнозом, но рук не опустил. Он подошел к вопросу собственного здоровья с теми же энтузиазмом и энергией, с какими относился к компьютерной революции. (Сегодня он принимает в день более 100 таблеток и написал несколько книг о революции в деле продления жизни. Он считает, что революция в создании микроскопических роботов приведет к появлению средств очистки и ремонта человеческого тела, которые позволят ему жить вечно. Его философия состоит в том, что он хотел бы прожить достаточно, чтобы увидеть революционные медицинские новинки, которые позволят продлить жизнь до бесконечности. Иными словами, он хочет прожить достаточно долго, чтобы жить вечно.)

Недавно он пустился в амбициозный проект по организации университета сингулярности при Исследовательском центре NASA имени Эймса в районе Сан-Франциско, который будет готовить ученых к близкому наступлению технологической сингулярности.

Вообще, существует множество вариаций и комбинаций этих тем.

Сам Курцвейл считает: «Это не будет вторжение разумных машин откуда-то из-за горизонта. Мы и сами сольемся с этой технологией… Мы поместим эти умные устройства в наши тела и мозг, чтобы жить дольше и счастливее».

Любая противоречивая идея – а идея технологической сингулярности, согласитесь, весьма противоречива – обязательно порождает обратную реакцию. Митч Капор (Mitch Kapor), основатель Lotus Development Corporation, говорит, что сингулярность – это своего рода «разумный замысел для людей с коэффициентом интеллекта 140… Утверждение о том, что мы приближаемся к моменту, когда все изменится, станет просто невообразимо не так, как сейчас, – это в основе своей, на мой взгляд, проявление религиозного импульса. И никакое размахивание руками не может заслонить от меня этот факт».

Дуглас Хофштадтер сказал: «Это как если бы вы взяли много хорошей еды и немного собачьего дерьма и смешали бы все вместе, так чтобы невозможно было разобраться, что хорошо и что плохо. Это почти однородная смесь чепухи и отличных идей, и очень трудно различить, где что, потому что говорят об этом умные люди; они не глупы».

Никто не знает, чем все это обернется. Но мне лично наиболее вероятным представляется следующий сценарий.

Наиболее вероятный сценарий: дружественный ИИ

Во-первых, ученые, вероятно, примут некоторые простые меры к тому, чтобы роботы не были опасны. В качестве минимальной меры в мозг робота можно поместить специальный чип, который будет автоматически выключать своего носителя при возникновении у него мыслей об убийстве людей. При таком подходе все разумные роботы будут снабжены отказоустойчивым механизмом, который любой человек сможет в любой момент включить, особенно если робот вдруг начнет вести себя неправильно. При малейшем намеке на неисправность и сбои в функционировании робота любая голосовая команда немедленно выключит его.

Или можно создать специальных роботов-охотников, обязанностью которых будет нейтрализация роботов с отклонениями в поведении. Роботы-охотники будут превосходить обычных роботов по скорости, силе и координации и смогут без труда захватывать девиантных роботов. В их схему будет заложено понимание слабых мест любой автоматической системы, любого робота, а также принципы их поведения в определенных обстоятельствах. Охотником на сбойных роботов может стать и человек. В фильме «Бегущий по лезвию бритвы» был показан отряд особо тренированных агентов, в который входил и главный герой в исполнении Харрисона Форда; эти агенты владели специальными техниками, необходимыми для выявления и нейтрализации роботов-преступников.

На постепенное восхождение роботов по эволюционной лестнице разума уйдет много десятилетий тяжкой работы, поэтому появление разумных роботов не станет внезапным. Человечество невозможно будет захватить врасплох и сразу же загнать в зоопарки, как зверей. Сознание, в моем понимании, – это скорее процесс, ход которого можно оценивать, а не внезапное эволюционное событие, и восхождение роботов по шкале сознания будет идти медленно и постепенно и займет не один десяток лет. В конце концов, на развитие человеческого сознания у матери-природы ушли миллионы лет. Так что для человека не станет неожиданностью, когда Интернет внезапно «проснется» или роботы ни с того ни с сего начнут самостоятельно планировать собственное будущее.

Именно такой подход предпочитал писатель-фантаст Айзек Азимов. В его произведениях каждому роботу еще на заводе намертво встраивали в сознание три непреложных закона, не позволявших им выйти из-под контроля. Цель знаменитых трех законов робототехники, придуманных им, состояла в том, чтобы не дать роботам нанести вред человеку или себе самим. (Если очень коротко, эти три закона гласят, что робот не может нанести вред человеку, что он должен повиноваться человеку и что он должен заботиться о себе, именно в этом порядке.)

(Даже азимовские законы не избавляют от проблем в тех случаях, когда ситуация порождает противоречие между тремя законами. Представьте, к примеру, что кому-то удалось создать благожелательного робота. Что произойдет, если человечество вдруг сделает губительный выбор и поставит под угрозу собственное существование? Дружественный робот может решить, что необходимо взять под контроль правительство и не дать человеку нанести себе вред. Именно с этой проблемой столкнулся Уилл Смит в кинофильме «Я, робот», когда центральный компьютер решил, что для спасения человечества «некоторыми людьми необходимо пожертвовать, а от некоторых свобод отказаться». Чтобы не позволить роботам поработить человечество и спасти его, некоторые предлагают дополнить законы робототехники еще одним, нулевым законом: робот не может нанести вред человечеству или поработить его.)

Однако многие ученые склоняются к варианту так называемого «дружественного ИИ», при котором подразумевается, что человек с самого начала сделает роботов доброжелательными созданиями. Поскольку именно мы – создатели роботов и именно мы будем их разрабатывать, ничто не помешает нам сделать так, чтобы роботы с самого начала занимались только полезными и добрыми делами.

Понятие «дружественный ИИ» или «дружественный сверхразум» ввел в обращение Элиезер Юдковский (Eliezer Yudkowsky), один из основателей Института сингулярности по искусственному интеллекту. Дружественный ИИ несколько отличается от законов Азимова, которые предполагается навязывать роботам, возможно против их воли. (Более того, законы Азимова, привнесенные в сознание роботов извне, могут побудить их поступить наоборот и заняться поиском хитрых путей их обхода.) В дружественном ИИ, напротив, ничто не мешает роботам убивать и безобразничать. Здесь нет законов, насаждающих искусственную мораль. Скорее можно сказать, что эти роботы с самого начала придуманы так, что для них естественным является желание помогать людям, а не губить их. Они сами выбирают путь добра.

Такой подход породил новое направление, получившее название «социальной робототехники». Его цель – наделить роботов качествами, которые помогут им безболезненно войти в человеческое общество. Ученые компании Hanson Robotics, к примеру, утверждают, что единственная задача их исследований – разработка роботов, которые «эволюционируют в социально разумные существа, способные любить и достойные места в расширенной человеческой семье».

Проблема с подобными подходами в том, что больше всего – и намного! – денег в разработки по искусственному интеллекту вкладывают военные, и роботы, создаваемые по их заказам, специально предназначены для выслеживания и убийства людей. Несложно вообразить себе будущих роботов-солдат, задачей которых будет распознавать солдат противника (людей) и уничтожать их с безошибочной эффективностью. При этом придется принимать чрезвычайные, невообразимые меры, чтобы гарантировать, что военные роботы не обернутся против своих хозяев. К примеру, беспилотный роботизированный самолет Predator управляется дистанционно, так что все его действия постоянно контролируют люди, но когда-нибудь самолеты-беспилотники, вероятно, станут автономными и получат возможность самостоятельно выбирать и поражать цели. Сбой в системе управления такого автономного самолета может вызвать катастрофические последствия.

В будущем, однако, все бо́льшая доля финансирования в разработку роботов будет поступать из гражданского коммерческого сектора, особенно в Японии, где назначение роботов – помогать, а не разрушать. Если такая тенденция сохранится, дружественный ИИ действительно может стать реальностью. В этом сценарии в робототехнике со временем возьмут верх потребительский сектор и рыночные силы, так что вкладывать деньги в дружественный ИИ станет чрезвычайно выгодно.

Слиться с роботами

В дополнение к дружественному ИИ существует и другой вариант: слиться со своими созданиями. Вместо того чтобы просто ждать, пока роботы превзойдут нас в интеллекте и мощи, нам следует улучшать себя и становиться сверхлюдьми. Я считаю, что будущее будет двигаться по обоим этим путям, т. е. человек будет создавать дружественный ИИ и одновременно совершенствоваться.

Этот вариант исследовал, в частности, Родни Брукс (Rodney Brooks), бывший директор знаменитой Лаборатории искусственного интеллекта МТИ. Он всегда был бунтарем, сражался с общепринятыми, но косными представлениями и вносил в эту область свежие идеи. Когда он только пришел в робототехнику, там безраздельно господствовал подход «сверху вниз». В результате в робототехнике наблюдался застой. Брукс вызвал немало удивленных взглядов, когда призвал к созданию армии насекомоподобных роботов, которые обучались бы на основе подхода «снизу вверх», т. е. натыкаясь на препятствия. Он не хотел делать еще одного тупого неуклюжего робота, которому требовалось бы несколько часов, чтобы пересечь комнату. Вместо этого он придумал проворных «инсектоидов», которые почти не требуют предварительного программирования, но быстро учатся передвигаться и ориентироваться среди препятствий методом проб и ошибок. Он предвидит наступление дня, когда его роботы и подобные им будут исследовать Солнечную систему, натыкаясь в пути на всевозможные препятствия. Эта идея, высказанная Бруксом в очерке «Быстрые, дешевые и себе на уме», на первый взгляд кажется странной и даже нелепой, но со временем такой подход привел к раскрытию целого спектра новых путей развития. В частности, одним из побочных результатов его идеи стали марсианские роверы, которые уже много лет бороздят поверхность Красной планеты[10]10
  Марсоходы Spirit и Opportunity десантировались на Марс в январе 2004 г. Первый пережил две марсианские зимы и погиб в третью, в середине 2010 г.; второй успешно работает до настоящего времени (июль 2011 г.) и прошел по поверхности Марса уже 33 км. – Прим. пер.


[Закрыть]
. Стоит ли удивляться, что Брукс был также президентом компании iRobot, продающей сегодня всюду напоминающие жуков роботизированные пылесосы.

Брукс считает, что одна из проблем ИИ состоит в том, что исследователи, как правило, хватаются за новые веяния и работают в рамках текущей парадигмы, вместо того чтобы думать по-новому и искать новые пути. Он вспоминает, к примеру: «В детстве у меня была книга, в которой мозг описывался как телефонный коммутатор. Еще более ранние книги описывали мозг как гидродинамическую систему или паровой двигатель. Затем, в 1960-е, мозг стал цифровым компьютером. В 1980-е – цифровым компьютером с параллельной шиной. Вероятно, сейчас можно отыскать детскую книжку, где говорится, что мозг очень напоминает Всемирную паутину…»

Так, некоторые историки отмечают, что на психоанализ Зигмунда Фрейда повлияло появление парового двигателя и конкретно паровоза. Вообще, возникновение в Европе сети железных дорог в середине – конце XIX в. серьезно сказалось на мышлении интеллектуалов. По Фрейду, в сознании человека существуют потоки энергии, которые непрерывно конкурируют с другими потоками, и все это напоминает движение пара в паровозных паропроводах. А тот факт, что подавление этих энергетических потоков может вызывать неврозы, аналогичен тому, что паровой двигатель при закупорке клапана может взорваться.

Марвин Мински признался мне, что существует еще одна парадигма, которая уже много лет уводит исследователей ИИ в сторону и затрудняет развитие. Дело в том, что многие исследователи искусственного интеллекта пришли в эту область из физики и испытывают чувство, известное как «зависть физиков», – желание отыскать единственный принцип, лежащий в основе всякого разума. В физике ученые вслед за Эйнштейном стремятся представить физическую Вселенную в виде нескольких обобщающих уравнений и, возможно, отыскать короткое уравнение, которое объединило бы всю Вселенную единственной универсальной и понятной идеей. Мински считает, что «зависть физиков» побуждает исследователей ИИ искать универсальную базовую формулу и для сознания, – а на самом деле единой формулы или единого принципа не существует! Мински по крайней мере в этом убежден. Эволюция случайным образом объединила в один клубок множество самых разных структур и технологий, которые мы сегодня называем сознанием. Разберите мозг на составные части, и вы найдете набор слабо связанных между собой мини-мозгов, каждый из которых предназначен для выполнения конкретной задачи. Мински называет это «союзом сознаний» и говорит, что на самом деле человеческое сознание – это сумма множества отдельных алгоритмов и техник, которые случайно возникли и были подхвачены эволюцией и которые природа за миллионы лет объединила в единую систему.

Родни Брукс тоже искал похожую парадигму, но такую, которую никто и никогда еще до конца не исследовал. Вскоре он понял, что мать-природа и эволюция уже решили большую часть наших проблем. К примеру, комар, у которого в мозгу содержится всего несколько сотен тысяч нейронов, способен легко обойти любую, в том числе самую лучшую военную роботизированную систему. В отличие от наших беспилотных самолетов, комары, мозг которых по размеру намного уступает булавочной головке, способны независимо ориентироваться в пространстве, огибать препятствия, находить пищу и партнера. Почему не поучиться у природы и биологии? Посмотрев внимательнее на ступени эволюционной лестницы, нетрудно понять, что в насекомых и мышей никто не закладывал законы логики и здравого смысла. Только метод проб и ошибок позволил им завоевать мир и овладеть искусством выживания.

Теперь Брукс разрабатывает еще одну теоретическую идею, изложенную в его статье «Смешение плоти и машин». Он отмечает, что старые лаборатории MIT, когда-то разрабатывавшие полупроводниковые компоненты для промышленных и военных роботов, теперь закрываются, уступая дорогу новому поколению роботов, в состав которых будут входить не только кремний и сталь, но и живые ткани. Он предвидит появление абсолютно новых роботов совершенно новой архитектуры, в которой соединятся биологические и электронные системы.

Брукс пишет: «Я предсказываю, что к 2100 г. всюду в нашей повседневной жизни будут встречаться весьма умные роботы. Но и мы не останемся независимыми от них – скорее, мы сами будем отчасти роботами и будем при этом неразрывно связаны с роботами».

Он считает, что путь к этому будет постепенным. В настоящее время уже идет революция в протезировании, электронные компоненты вживляются непосредственно в тело человека, чтобы обеспечить реалистичную замену слуху, зрению и другим биологическим функциям. К примеру, искусственная «улитка» уже произвела переворот в аудиологии и дала возможность возвращать слух глухим людям. Работа искусственных улиток состоит в том, чтобы подключать электронные устройства к биологической сети, т. е. к нейронам. Такой слуховой имплант состоит из нескольких компонент. Снаружи возле уха помещается микрофон. Он принимает звуковые волны, обрабатывает их и передает сигналы по радио импланту, хирургически размещенному внутри уха. Имплант принимает радиопослания, переводит их в электрические токи и отправляет дальше по проложенным в ухе электродам. Улитка распознает электрические импульсы и пересылает их в мозг. В таких имплантах может использоваться до 24 электродов, которых достаточно для обработки полудюжины различных частот. Этого, в свою очередь, достаточно, чтобы различать человеческий голос. На сегодня уже 150 000 человек во всем мире носят улитку-имплант.

Несколько групп ученых занимаются вопросом помощи слепым и создания системы искусственного зрения, которая позволила бы подключить камеру к человеческому мозгу. Один из предлагаемых методов состоит в том, чтобы вживить полупроводниковый чип непосредственно в сетчатую оболочку человеческого глаза и подсоединить его к соответствующим зрительным нейронам. Другой – в том, чтобы подсоединить чип к специальному кабелю, который будет вести в заднюю часть черепа, где мозг обрабатывает зрительные сигналы. Этим группам ученых уже удалось впервые в истории вернуть какую-то часть зрения полностью слепым людям. Пациенты получили возможность различать до 50 световых точек, зажигавшихся перед ними. Со временем, вероятно, ученым удастся повысить этот результат и довести число точек до нескольких тысяч.

Пока пациенты различают огни фейерверков, общие очертания своих рук, яркие светящиеся объекты и лампы, распознают присутствие поблизости автомобилей и людей и улавливают границы объектов. «На детских бейсбольных играх я различаю, где находятся принимающий, отбивающий и судья», – говорит Линда Морфут, одна из пациенток, на которых испытываются новые приборы.

На сегодняшний день 30 пациентов получили искусственную сетчатку и до 60 электродов. Но в Проекте искусственной сетчатки Министерства энергетики США, штаб-квартира которого находится в Университете Южной Калифорнии, уже разрабатывается новая система с более чем 200 электродами. Изучается также возможность разработки системы на 1000 электродов (но если к одному чипу подключить слишком много электродов, сетчатка может перегреться). В этой системе миниатюрная видеокамера, установленная на очках слепого человека, снимает окружающее и пересылает сигналы по беспроводной связи в микропроцессорный блок, который человек носит на поясе. Блок затем передает информацию чипу, помещенному непосредственно на сетчатку. Этот чип, в свою очередь, посылает слабые импульсы прямо в нервы сетчатки, которые сохранили активность. Таким образом можно обойти и отчасти заменить неработоспособные клетки сетчатки.

Внимание! Это не конец книги.

Если начало книги вам понравилось, то полную версию можно приобрести у нашего партнёра - распространителя легального контента. Поддержите автора!

Страницы книги >> Предыдущая | 1 2 3 4 5 6 7 8 9 10 11
  • 0 Оценок: 0

Правообладателям!

Данное произведение размещено по согласованию с ООО "ЛитРес" (20% исходного текста). Если размещение книги нарушает чьи-либо права, то сообщите об этом.

Читателям!

Оплатили, но не знаете что делать дальше?


Популярные книги за неделю


Рекомендации