Электронная библиотека » М. Иванов » » онлайн чтение - страница 1


  • Текст добавлен: 31 мая 2023, 13:01


Автор книги: М. Иванов


Жанр: Прочая образовательная литература, Наука и Образование


Возрастные ограничения: +16

сообщить о неприемлемом содержимом

Текущая страница: 1 (всего у книги 2 страниц)

Шрифт:
- 100% +

Ключевые идеи книги: ИИ 2041. Десять видений нашего будущего. Ли Кай-Фу

Оригинальное название:

AI 2041: Ten Visions for Our Future


Автор:

Kai-Fu Lee


www.smartreading.ru

Будущее: человек + ИИ

Обучение искусственного интеллекта

Чтобы понять, что обещает нам будущее в связи с развитием ИИ, нужно сначала понять, как он стал таким умным. Ключевое понятие тут – «глубокое обучение». Учится ИИ с помощью нейронных сетей. Это понятие было описано еще в 1943 году психологом Уорреном Мак-Каллоком и математиком Уолтером Питтсом, а на практике воплощено 15 лет спустя, когда психолог Фрэнк Розенблатт создал перцептрон. Эта модель содержала около тысячи связанных друг с другом «нейронных клеток», которые могли принимать сигналы от 400 фотоэлементов. Со временем ученые совершенствовали нейронные сети, делая их все более многослойными.

Слово «нейронный» тут неслучайно: компьютерная сеть в самом деле подобна структуре мозга, и чем больше в ней взаимосвязанных элементов («нейронов»), уложенных во множество слоев, тем она эффективнее. Чтобы эта технология работала в полную силу, нужны были большие данные, на которых можно было бы учиться, и огромные вычислительные мощности. Вычислительная мощность – двигатель ИИ, а данные – его бензин. И то и другое в изобилии возникло в XXI веке.

Однако учатся нейронные сети иначе, чем человеческий мозг. Скажем, мы хотим научить ИИ распознавать яблоки на фотографиях. Для этого надо показать ему миллионы фото, помеченных тегом «яблоко», и миллионы фото без яблок. ИИ считает с фотографий множество параметров, которыми потом и будет руководствоваться при отборе. При этом у ИИ нет абстрактного понимания яблока, он не будет ассоциировать его с другими фруктами или с законом всемирного тяготения. В этом его принципиальное отличие от человеческого сознания. Наше внимание и память всегда ограниченны, зато мы умеем обобщать и ассоциировать. ИИ же умеет обнаруживать корреляции между множеством характеристик, на которые люди не обратили бы внимания. Чтобы учиться хорошо, ему нужны:


1) данные (чем больше, тем лучше);

2) узкая область применения (чем конкретнее, тем лучше);

3) конкретная цель (чем конкретнее, тем лучше).

Уязвимость ИИ

У ИИ есть очевидный недостаток: он поневоле пристрастен, поскольку учится только на тех данных, которые ему дают. А они могут быть неполными или неадекватными, отражать расовые, гендерные предрассудки. Как с этим быть?


Постоянно работать над совершенствованием инструментов обучения ИИ, которые могли бы отслеживать работу со статистически неполными базами.

▶ Принять законы, требующие аудита ИИ: если компания получает постоянные жалобы, она рискует подвергнуться такой проверке на предмет соблюдения правил конфиденциальности.

▶ Обучать инженеров ИИ этическим принципам, подобно тому как врачи учат клятву Гиппократа.

▶ Внедрять алгоритмы ИИ, которые способствуют большей прозрачности его решений и принципиально поддаются интерпретации (сегодня мы далеко не всегда можем понять, почему система действует так, а не иначе, – ее работа совершается как будто в «черном ящике»).

▶ Компании, использующие ИИ, должны полностью отдавать себе отчет, где и с какой целью используются системы ИИ.

Мощнейшим ускорителем ИИ станут квантовые вычисления. Если традиционные компьютеры хранят информацию в битах, которые могут принимать всего два значения (0 или 1) и тем самым ограничивают скорость решения задач, то квантовые компьютеры обрабатывают данные с помощью кубитов, которые, согласно законам квантовой механики, могут быть включенными и выключенными одновременно. Это позволяет им обрабатывать огромное количество данных за единицу времени.

Квантовые технологии пока действуют в экспериментальном режиме. В их развитие вкладывают немалые деньги Google и IBM. Однако к 2041 году квантовые компьютеры наверняка станут привычными рабочими инструментами.

Есть опасение, что еще раньше их вычислительными мощностями воспользуются хакеры для взлома ключей к биткоинам. Хотя в 2010 году технология их шифрования была модернизирована, на старых незащищенных счетах остается электронная валюта на сумму $120 млрд.

Чего нам ждать от 2041 года

Другая картинка на экране

В 2041 году реальное видео будет неотличимо от deepfakes. Это понятие, производное от deep learning и fake, появилось в 2017 году. Некий пользователь Reddit стал постить порно со знаменитостями. К их лицам были прикреплены тела порноактеров, для этого использовались алгоритмы генеративно-состязательных нейросетей (GAN). К концу года все крупнейшие контент-площадки вынуждены были удалять фейки со своих ресурсов, обновляя правила использования сервисов: например, блокируя ссылки с «синтетической порнографией».

Конечно, волну было уже не остановить. В 2019 году в Китае появилось приложение, которое делает ваше селфи, а потом за считаные минуты превращает вас в главного героя известного фильма. В 2021 году приложение Avatarify, оживляющее любое фото, стало хитом Apple App Store.

В 2019 году Facebook анонсировал конкурс Deepfake Detection Challenge с целью разработать наиболее эффективный способ отличать фейки. Facebook особенно заинтересован в таких инструментах: в день пользователи этой соцсети загружают более 350 млн изображений. Сразу же оказалось, что инженеров не на чем учить: данных, с которыми можно было бы работать без юридических ограничений, слишком мало. Впрочем, есть более крупная проблема: улучшение методов обнаружения фейков автоматически ведет к улучшению производства новых фальшивок.

А как будет обстоять дело в 2041 году? Есть три сценария:


1. Те компании, которые заботятся о качестве информации, будут устанавливать высококачественные детекторы для выявления подделок с высоким разрешением, созданных крупными сетями GAN, обученными на мощных компьютерах. Сайты со слишком большим количеством фото и видео вроде Facebook вряд ли смогут позволить себе детекторы высшего качества для всего контента – будут задействовать их в особых случаях.

2. Возможен принципиально иной, но чрезвычайно трудоемкий подход – проверка подлинности каждого фото и видео, когда-либо снятых каждой камерой, с помощью технологии блокчейн (гарантирующей, что оригинал никогда не был изменен) в момент съемки. Но для этого все устройства должны поддерживать эту технологию, подобно тому как сегодня все AV-ресиверы в домашних кинотеатрах используют технологию Dolby Digital.

3. Технологическим мерам должны помогать меры административные – высокие штрафы за злонамеренные фейки.


Как бы то ни было, нам нужно привыкать к миру, где онлайн-контент постоянно должен подвергаться сомнению вне зависимости от того, насколько реально он выглядит.

Смешение виртуального и реального миров происходит стремительно. К 2041 году ИИ полностью сможет взять на себя задачу распознавания и проверки людей в общественных местах. Технологии умной биометрии на службе у криминалистов позволят раскрывать в разы больше преступлений, а значит, снизить уровень преступности.

Другая реальность

Летом 2016 года весь мир сошел с ума по Pokemon GO – игре с элементами дополненной реальности, предлагавшей искать и приручать покемонов. Пользователи проводили за игрой больше времени, чем в WhatsApp, Instagram[1]1
  Организация признана в РФ экстремистской и запрещена.


[Закрыть]
и Facebook[2]2
  Организация признана в РФ экстремистской и запрещена.


[Закрыть]
вместе взятых. Некоторые игроки так сосредотачивались на игре, что переставали замечать окружающий мир и получали травмы.

То, что было курьезом шесть лет назад, станет частью реальности в 2041 году. Вернее, эту реальность правильнее будет называть mixed reality (MR), поскольку виртуальные объекты будут ее неотъемлемой частью. Вместо экранов смартфонов MR будет транслироваться через очки. Надев их, вы будете всюду видеть всплывающие подсказки: проходя мимо ресторана, заглянете в его виртуальное меню, проходя мимо магазина, увидите его рекламу.

Такие очки уже создаются, самый известный проект такого рода – очки дополненной реальности Hololens от Microsoft. В начале 2015 года компания представила систему просмотра голографических изображений Windows Holographic, позволяющую видеть виртуальные объекты в реальном интерьере. В 2020 году команда Facebook Oculus продемонстрировала VR-очки с линзами толщиной всего в один сантиметр. Пока они несовершенны и дороги, но технологии совершенствуются и дешевеют стремительно. Можно быть уверенным, что к 2041 году не только очки, но и линзы с функцией дополненной реальности станут обычным коммерческим продуктом. Они будут дополнены наушниками нового поколения – те уже к 2030 году должны стать достаточно компактными и удобными, чтобы их можно было комфортно носить весь день.

Другие развлечения

Это принципиально изменит индустрию развлекательного контента. В 2041 году мы не будем смотреть фильм – мы окажемся внутри фильма, ощущая вымышленное пространство с помощью десятков сенсорных датчиков и, конечно, VR-линз. Технологии вроде Dreamscape уже сочетают тактильное восприятие с иммерсивным VR, позволяя пользователю почувствовать происходящее на экране – скажем, плавание по океану.

Дело лишь за тем, чтобы напрямую подключить мозг к компьютеру, и работа в этом направлении ведется – в том числе Илоном Маском. В августе 2020 года он сообщил, что беспроводную версию нейроинтерфейса вживили в мозг свиней. В начале 2021 года объявил, что его инженеры успешно вживили в мозг обезьяны чип, после чего она стала способна играть в видеоигры силой мысли. Долгосрочная цель этих экспериментов – с помощью имплантата восполнить утраченные способности людей с травмами спинного и головного мозга. Впрочем, даже из 2041 года эта цель выглядит слишком масштабной. Пока эксперименты ведутся на крошечных участках мозга, да и само зондирование мозга – процедура травмоопасная.

Другие голосовые помощники и учителя

Голосовые помощники и в 2021 году привычное дело, наука все делает для того, чтобы они становились все понятливее и разговорчивее. Несколько лет назад все нейронные сети изучали язык с помощью контролируемого обучения, о котором уже упоминалось в примере с яблоками: получали правильные входные данные, а затем учились выдавать результат, соответствующий заданным параметрам. Распознавать так фото яблок сравнительно легко, учить язык – очень трудно. Контролируемое обучение успешно применятся в распознавании компьютером речи и преобразовании ее в текст и наоборот, но когда дело доходит до понимания речи и реагирования на нее, контролируемое обучение буксует.

Однако в мае 2020 года миру представили нечто принципиально новое – нейросеть GPT-3 (Generative Pre-trained Transformer), разработанную организацией OpenAI (ее, кстати, основал Илон Маск). Основная функция этой нейросети – предсказывать следующее слово, ориентируясь на предшествующие. Просчитывая связи между словами, GPT-3 предлагает наиболее вероятную последовательность. Почти как Т9 в смартфоне, но гораздо лучше, потому что GPT-3 умеет создавать стихи, философские эссе, пресс-релизы и технические руководства, а еще имитировать стиль почти любого писателя.

Конечно, ее интеллектуальные возможности не безграничны. Как и любой ИИ, GPT-3 не понимает того, чего не знает, – она ограничена полученными ею данными (зато их многие терабайты). Ей не свойственно абстрактное мышление. Но сама возможность GPT-3 означает, что к 2041 году в наших домах появятся персональные голосовые помощники нового поколения, которые отличаются от нынешней Siri, как Альберт Эйнштейн от Гомера Симпсона. Они будут достаточно понимать нас, чтобы мы испытывали к ним симпатию и даже привязанность.

А еще они станут идеальными школьными консультантами для детей. Это навсегда изменит систему школьного образования. Программы обучения станут строго индивидуализированными. Виртуальные экскурсии в другие эпохи в компании с историческими деятелями с помощью VR-очков станут необходимым элементом обучения. А учителя в 2041 году будут уделять меньше внимания механическим аспектам передачи знаний и больше – развитию эмоционального интеллекта и креативности своих подопечных.

Другая медицина

Лечение человека – один из самых сложных, дорогих и трудоемких процессов. Что может предложить ИИ?


1. Принципиально ускорить и удешевить разработку новых лекарств. В конце 2020 года команда DeepMind исследовательского подразделения Google (та самая, чей суперкомпьютер одержал легендарную победу в го) объявила о решении фундаментальной проблемы биологии – научилась предсказывать трехмерную структуру любого белка по его аминокислотной последовательности. Практическая польза открытия в том, что AlphaFold2 позволяет с огромной скоростью анализировать множество вариантов лекарства еще до того, как оно синтезировано, – и тем самым упрощать его создание.

2. Сделать диагностику и лечение более индивидуальными. Чем больше фитнес-трекеры получают о нас информации, чем точнее они становятся, чем теснее взаимодействуют друг с другом, тем лучше могут предсказать ход нашего лечения и саму его необходимость. К 2041 году «поумнеют» зубные щетки, подушки, кровати – все они будут собирать и анализировать информацию о нашем здоровье.

3. Заменить некоторых врачей. ИИ в основном возьмет на себя работу радиологов, офтальмологов, патологоанатомов, поскольку объект их исследований – рентгенологические и прочие снимки хорошо поддаются алгоритмизации. Уже сегодня, проанализировав 50 000 рентгеновских снимков грудной клетки, ИИ может распознать на них патологию с точностью в 95 %. Кроме того, врачам на помощь уже сегодня все чаще приходят роботы. Число операций с их использованием выросло с 1,8 % от числа всех операций в 2012 году до 15,1 % в 2018 году. Все доступнее полуавтономные медицинские манипуляции под наблюдением врача – вроде имплантации зубов или наложения швов.

Данные, с которыми работает ИИ, должны быть оптимально структурированы и просты в обращении, иначе результат не гарантирован. Именно поэтому провалились попытки суперкомпьютера IBM Watson по лечению рака. Дело не только в сложности этого заболевания, но и в том, что машина училась по учебникам и научным исследованиям. Этих данных оказалось мало (с точки зрения машины), а еще они представляли собой не столько факты, сколько концепции. А машина, лишенная абстрактного мышления, лучше всего обучается непосредственно на основе реальных данных.

В 1950 году средняя продолжительность жизни людей в мире составляла 48 лет, в 2017 году – 72 года. Учитывая достижения ИИ, можно рассчитывать на то, что в 2041 году продолжительность жизни людей увеличится на 20 лет.

Другие дороги

Благодаря Илону Маску беспилотные электромобили перестают казаться фантастикой. Но Ли Кай-Фу не гарантирует, что в 2041 году мы навсегда пересядем в пассажирское кресло. Вождение автомобиля – слишком сложная, многофункциональная задача, чтобы надежно автоматизировать все ее аспекты за ближайшие 20 лет.

Ключевое слово – «надежно». Если искусственный интеллект Amazon сделает ошибку в рекомендации товара, это не смертельно. Если сбой даст Tesla, это не только приведет к гибели человека, но и катастрофически повлияет на репутацию компании. Сегодня сложились два разных подхода к проблеме:


▶ предельная осторожность и медленный сбор данных в предельно безопасных условиях (подход Waymo);

▶ запуск продукта, как только он становится достаточно безопасным, и сбор данных в процессе (подход Tesla).


В этой сфере нужно верить в постепенные изменения. Уже сегодня машины информируют водителя о ситуации на дороге, умеют парковаться сами и связываться со станцией техобслуживания, что помогает обнаружить неисправность онлайн. Дело пойдет быстрее, если мы будем создавать для автомобилей будущего инфраструктуру будущего – дороги и тротуары, оснащенные множеством специальных датчиков, учитывающие специфику беспилотного транспорта.

Другая война

Она будет проходить без участия солдат, но при этом станет еще смертоноснее. На смену «пушечному мясу» придут самоуправляемые дроны, танки и прочие автономные системы вооружения (АСВ). По степени эффективности АСВ не уступает изобретению пороха или атомной бомбы. При этом оно куда доступнее для террористов. Ключевой вопрос – как сдержать силу АСВ?


▶ Сделать АСВ лишь частично автономным, оставив важнейшие функции под контролем человека. Однако в этом случае теряется сам смысл АСВ, так что мера вряд ли будет поддержана военными.

▶ Запретить АСВ, как это было с химическим или ядерным оружием. Правда, крупнейшие государства, включая Россию, не готовы поддерживать такой запрет, о чем открыто заявляют.

▶ Выработать новые принципы военных действий: скажем, принять положение о том, что войны могут вестись только роботами с роботами.

Другая работа

В конце 2020 года Билл Гейтс заявил, что 50 % деловых поездок в ближайшем будущем будут заменены виртуальными встречами, а 30 % американцев станут работать удаленно на постоянной основе. Летом 2021 года Илон Маск объявил, что уже в следующем году Tesla создаст робота-гуманоида Tesla Bot, который сможет выполнять за людей разные рутинные дела – скажем, ходить в магазин за продуктами.

COVID-19 стимулировал автоматизацию. В 2041 году вместо нас в онлайн-конференциях и вовсе будут участвовать наши аватары. Роботы полностью заменят людей на складах и в основном – на заводах и в лабораториях. Робототехника значительно снизит затраты на сельское хозяйство, взяв на себя и возделывание, и удобрение полей, и сбор урожая. Уже в ближайшее десятилетие будет качественно улучшена домашняя бытовая техника: посудомоечные машины и кухонные комбайны стремительно поумнеют.

Роботы не лишат людей работы, но заставят переосмыслить ее суть. В 2041 году (а на самом деле еще раньше) по-настоящему конкурентоспособными работниками будут те, кому свойственны:


▶ креативность (ведь ИИ неспособен мыслить творчески);

▶ эмпатия (роботы могут эффективно вырезать опухоль, но они не посочувствуют выздоравливающему больному);

▶ ловкость (точная координация рук и глаз – то, что роботам еще долго придется совершенствовать, особенно если дело касается действий в сложных физических условиях).


Две тенденции, которые проявят себя по мере развития ИИ:


▶ Переучивание. ИИ не только отбирает работу, но и создает новые профессии, которые требуют новых навыков (менеджеры соцсетей, специалисты по обработке данных, операторы дронов). Amazon уже заявил о масштабной программе переподготовки сотрудников: каждый получит $48 000, чтобы освоить специальность в новой перспективой сфере производства. С другой стороны, во многих профессиях ИИ иначе расставит акценты: в профессии врача куда большее значение будет иметь роль сострадающего собеседника, в профессии учителя – роль наставника.

▶ Взлет талантов. Взяв на себя рутину, ИИ освободит колоссальное количество творческой энергии, даст новые возможности для экспериментирования художникам, фотографам, сценаристам. Возможно, в 2041 году мы будем переживать нечто вроде Ренессанса, как это было в Италии XIV–XV вв.


Такое будущее требует огромных затрат: переподготовить множество сотрудников, тщательно разработать концепцию безусловного базового дохода, введение которого неизбежно, найти для этого деньги – словом, создать новый социальный контракт государства и граждан. К счастью, его не придется создавать с нуля: такие практики, как концепция «валового национального счастья» в Бутане, высокая культура обслуживания в Японии, культ заботы о пожилых людях в Китае, традиции волонтерства в Канаде, показывают пример и закладывают основу будущего здорового общества.

Другая экономика

К 2041 году большая часть развитого мира перейдет на ветровую и солнечную энергию, и она будет обходиться в разы дешевле, нежели сегодня. Дешевеет энергия – дешевеют вода, материалы, производство, еда. На протяжении всей истории человечества экономика основывалась на идее дефицита, но экономика 2041 года будет экономикой изобилия.

Изобилие начнется с предметов первой необходимости (еда, одежда, энергия), постепенно распространившись на здравоохранение, образование, развлечения. В том, что касается информации, мы уже живем в эпоху изобилия: в любое время дня и ночи нам доступны любые книги, фильмы, музыка, игры – если не бесплатно, то дешево.

В книге «21 урок для XXI века»[3]3
  Читайте саммари книги «21 урок для XXI века» в нашей библиотеке.


[Закрыть]
историк Юваль Ной Харари пишет, что человечество развивалось на основе тысячелетних историй, которые рассказывало само себе: историй о Боге, равенстве и пр. Самая влиятельная из них – история про деньги: в нее верят все. С этим стоит согласиться, но в 2041 году мы будем относиться к деньгам иначе. Чем дешевле товары, тем сложнее запросы потребителей, и не всегда они основаны на материальных ценностях. Долгосрочный план социально-экономических изменений может включать три стадии, основанные на шкале потребностей Маслоу[4]4
  Американский психолог Абрахам Маслоу в 1950-е предложил шкалу человеческих потребностей – от базовых, очевидных к более сложным. Читайте в нашей библиотеке саммари книги Абрахама Маслоу «Мотивация и личность».


[Закрыть]
:


1) предоставление гражданам кредитов, которые можно обменять на услуги, обеспечивающие комфортную жизнь (жилье, еда, одежда, транспорт, но, например, не алкоголь). Обучение новым специальностям также может предоставляться бесплатно (по Маслоу – физиологические потребности и потребность в безопасности);

2) введение социального рейтинга, который зависит от общественной активности гражданина и стимулирует развитие общественно полезных услуг (по Маслоу это потребность в любви и уважении);

3) создание сообществ, которые объединяются на основе глобальных миротворческих целей: экологической защиты, помощи развивающимся странам и пр. (по Маслоу это потребность в самовыражении).


Эпоха изобилия породит не только возможности, но и проблемы:


▶ дефляцию, которая неизбежно возникнет в результате падения цен;

▶ искусственное создание дефицита крупными торговыми корпорациями;

▶ неизбежное социальное напряжение – не только со стороны потерявших работу среднего и низшего классов, но и богачей, чей капитал начнет сокращаться.


Ожидающие нас трудности глобальны, однако никогда еще ставки не были так высоки: на кону самое комфортное будущее из всех, которое можно было представить.

Другое счастье?

В 2041 году ИИ будет знать про нас очень много, но поймет ли он, что делает нас по-настоящему счастливыми? Тут есть три главные трудности:


▶ Как определить счастье? Это очень субъективная категория. Кроме того, по мере удовлетворения базовых потребностей определение счастья будет становиться все сложнее.

▶ Как измерить счастье? ИИ уже сегодня отлично умеет считывать эмоции, а в будущем будет способен мгновенно измерять уровень гормонов счастья в крови. Но сможет ли он определить, что именно вызвало всплеск этих гормонов? А отличить полезные стимулы от вредных?

Кто будет владеть данными о том, что делает нас счастливыми? Эта проблема актуальна уже сегодня: мы еще делимся в Facebook своими повседневными планами, но уже не доверяем ему. Корпорации манипулируют нашими данными, чтобы поставить нас в еще большую зависимость от своих продуктов.


Как с этим быть? В краткосрочной перспективе:


▶ учить ИИ более сложным целевым функциям. Скажем, сейчас заинтересованные в прибыли владельцы соцсетей программируют ИИ на функцию «время, проведенное пользователем в соцсети». Решением было бы усложнить функцию до «хорошо проведенное время в соцсети». Кроме того, пользователи должны быть в курсе разработки целевых функций – тогда нам проще будет придумать, что в этом случае значит «хорошо»;

▶ стимулировать корпорации поступать на благо общества:

1) грозя им правительственными постановлениями;

2) поощряя позитивное поведение как часть корпоративной социальной ответственности (подобно экологической ответственности компаний);

3) назначая независимых наблюдателей за работой компаний – владельцев ИИ.


В долгосрочной же перспективе нельзя исключать появление мета-интеллекта, который будет контролировать всех остальных техногигантов. Интересы такой организации должны полностью совпадать с интересами пользователей – другими словами, Google, Facebook и Amazon на эту роль не годятся по определению. На метаинтеллект не должно оказываться никакого давления с коммерческими целями. Как этого достичь? Как ни странно, может сработать одна из противоположных стратегий:


▶ Метаинтеллект как просвещенная монархия с идеей мудрого правителя, благосклонно поддерживающего интересы жителей своего королевства. В ближайшие 20 лет небольшие страны, управляемые сильными лидерами при поддержке населения, с наибольшей вероятностью примут прорывные решения в области внедрения технологий.

▶ Метаинтеллект как коммунизм: власть рассредоточена между множеством лиц, разделяющих общие ценности. На этом принципе основаны Википедия и блокчейн-сети, которые не находятся под влиянием какого-либо физического или юридического лица.


Хранение персональных данных в распределенной сети – более сложная проблема, чем хранение биткоинов, но не безнадежная. На помощь приходят такие технологии, как:


▶ федеративное обучение ИИ на разных децентрализованных устройствах;

▶ гомоморфное шифрование и TEE (доверенная среда выполнения), шифрующие данные таким образом, чтобы владелец ИИ не мог их раскрыть.


Ни один из этих механизмов не панацея, однако в ближайшие годы их надежность будет только расти.


Страницы книги >> 1 2 | Следующая
  • 0 Оценок: 0

Правообладателям!

Это произведение, предположительно, находится в статусе 'public domain'. Если это не так и размещение материала нарушает чьи-либо права, то сообщите нам об этом.


Популярные книги за неделю


Рекомендации