Текст книги "Дополненная реальность. Все, что вы хотели узнать о технологии будущего"

Как развивается AR

То, чего, по моему мнению, не хватает в этом описании сегодня и что отличает следующую волну развития AR, – это контекст. Контекстная информация преобразует наш опыт взаимодействия с AR, поскольку теперь с одинакового опыта для всех пользователей дополненная реальность сместилась в сторону персонализированного опыта, учитывающего ваши расположение, интересы и потребности. Контекст основывается на характеристиках получаемой из внешнего мира наиболее важной информации и подстраивается под вас, накладывая соответствующие образы поверх реального мира.

Контекстное распознавание технологии AR не только должно позволять лампе выглядеть так, будто она действительно находится на столе (как говорилось в определении 1997 года). Технология должна обеспечивать появление лампы тогда, когда вам требуется больше света, или выключать свет, когда вы уходите с работы. Технические аспекты этой задачи будут решены в ближайшее время, и, хотя эта сторона продолжит оставаться важной, фокус в дальнейшем сместится на вопросы значимости и эффектности получаемого пользователем опыта по дополнению реальности.

Процесс поиска целей усложняется и теперь заключается не просто в распознавании цели, выбранной из статичной библиотеки вещей, как, например, изображение динозавра в учебнике, запускающее трехмерную модель динозавра, отображаемую в дополненной реальности. Сегодня эта трехмерная модель может изменяться, подстраиваясь под такие факторы, например, как уровень знания предмета каждым из учеников или даже их индивидуальные особенности восприятия информации. Так, в следующий раз, когда ученик откроет книгу, AR изображение динозавра изменится с учетом нового изученного материала. Технология дополненной реальности становится живой, «дышащей» базой данных: взаимодействие факторов внешнего мира и дополненной среды, изменяющихся в реальном времени, позволяет технологии адаптироваться под ваши индивидуальные особенности, исходя из имеющихся данных.

Уже давно пора переосмыслить значение технологии AR и ее возможное применение, учитывая, что в настоящее время она вышла за рамки чисто теоретических рассуждений и получает все больше практического применения. Раньше для использования AR требовалось специальное оборудование, которое было громоздким и неудобным. Но сегодня, благодаря тому, что современные смартфоны оснащены огромным количеством датчиков, технология AR стала доступна практически каждому. В дальнейшем дополненная реальность будет применяться все чаще, например в незаметных портативных компьютерах, встроенных в одежду, очки или даже вшитые под кожу человека.

Крупные компании, такие как Apple, Facebook, Microsoft, Google и Intel, пристально наблюдают за дополненной реальностью и инвестируют в ее будущее, привлекая к ней массовую аудиторию. Генеральный директор Facebook Марк Цукерберг называет AR «новой коммуникационной платформой». Он пишет: «Мы считаем, что настанет день, когда дополненная реальность станет частью повседневной жизни для миллиардов людей»[6]6
  Страница Марка Цукерберга на Facebook (https://www.facebook. com/zuck/posts/10101319050523971). – Прим. авт.


[Закрыть].

Генеральный директор Apple Тим Кук считает[7]7
  David Phelan, «Apple CEO Tim Cook: As Brexit hands over UK», The Independent (http://ind.pn/2u7tbJy). – Прим. авт.


[Закрыть], что AR – это «настолько же значительная идея, как смартфон». Кук говорит: «Я думаю, что потенциал AR настолько велик, что его можно назвать огромным. Я очень впечатлен возможностями дополненной реальности, они могут улучшить жизнь многих людей и сделать ее более насыщенной». В 2017 году на ежегодной Всемирной конференции разработчиков (WWDC) компания Apple представила ARkit, передовую платформу для разработки приложений AR для iPhone и iPad. В Докладе WWDC Крейг Федериги, старший вице-президент Apple по разработке программного обеспечения, назвал ARkit «самой распространенной платформой AR в мире»[8]8
  По материалам WWDC 2017 года (https://youtu.be/oaqHdULqet0). – Прим. авт.


[Закрыть].

AR – это расширение ощущений человека, и эта технология не будет развиваться изолированно. Реальный эффект AR будет заключаться в том, что она станет основой для создания среды, сочетающей в себе также другие новейшие технологии, такие как портативные компьютеры, датчики, Интернет вещей (сокр. IoT от англ. «Internet of Things»), машинное обучение и искусственный интеллект.

Первая волна AR, которую я называю «наложение», была связана с наложением цифровых образов поверх реальности. В качестве примеров «наложения» можно привести трехмерную модель бейсболиста, возникающую на бейсбольной карточке, или виртуальную игру-викторину, появляющуюся на картонной подставке для кружки в баре. Эти проекты практически не имели вариаций и не менялись, если вы взаимодействовали с ними повторно; типичный одинаковый контент, не вызывающий у пользователя желания обратиться к нему снова. Часто для такого рода приложений также требовалось загрузить и распечатать определенное изображение для фокусировки, распознавания и запуска дополненной реальности.

Вторую волну AR я называю «Проникновение». Это новое поколение является более захватывающим, интегрированным и интерактивным по сравнению с первым. Ключевое различие между «Наложением» и «Проникновением» (в котором собственно и заключается секрет получения впечатляющего опыта взаимодействия с AR) – это вы. Вы являетесь движущей силой в «Проникновении». Вы – это контекст, определяющий дополненную реальность.

В отличие от «Наложения», технология этой волны выходит за рамки использования напечатанных объектов к новому пониманию пространства и глубокому погружению в окружающую среду. Весь мир становится объектом трекинга. При переходе к технологии «Проникновения» снимаются ограничения «Наложения» и возникает возможность для сенсорного и более тесного взаимодействия как с внешним миром, так и друг с другом.

Новые сенсорные смартфоны, поддерживающие технологию AR, такие как Lenovo Phab 2 Pro и Asus ZenFone AR, использующие в работе технологию AR от Google под названием Tango, – отличные пример того, как работает «Проникновение». Технология Tango включает в себя отслеживание движения и восприятие глубины, позволяя устройству ориентироваться в физическом пространстве подобно тому, как это делают люди.

Когда вы держите устройство и перемещаете его по комнате, камера, распознающая глубину, фиксирует то, что расположено рядом, и может определять физические границы и местоположение предметов вокруг. Оно способно определить, где находятся стены, пол и даже мебель. В недалеком будущем такие технологии, как Tango, позволят по-новому взглянуть на привычные повседневные действия, такие как, например, рассказывание ребенку сказки на ночь. Представьте себе, что кровать превращается в виртуальный джип для сафари, и обезьяна прыгает с комода на лампу, в то время как лев крепко спит на комоде. Ваша физическая среда, переплетаясь с виртуальным дополнением, погружает вас внутрь самой истории.

Проникновение в ваши чувства

Kinect от Microsoft позволил технологии AR сделать большой шаг вперед в области распознавания целей в реальном мире. Kinect сыграл важную роль в этом, сделав человека частью AR, благодаря отслеживанию движений тела. До Kinect цели для распознавания AR были, как правило, статичными и ограничивались напечатанными изображениями. Эта технология сделала AR более интерактивной и позволила распознавать не только ваши действия, но даже выражение лица и эмоции. (В главе 2 рассказывается, как компьютерное зрение усовершенствовало AR и как оно позволяет нам по-новому взглянуть на мир через эти новые «глаза».)

Изобретатель Kinect Алекс Кипман (он же изобрел AR-гарнитуру Microsoft HoloLens) описывает[9]9
  «How X-Box Kinect Tracks Your Moves», NPR (http://www.npr. org/2010/11/19/131447076/how-the-x-box-kinect-tracks-your-moves). – Прим. авт.


[Закрыть]влияние Kinect, как «монументальный сдвиг от компьютерной индустрии из того старого мира, в котором мы должны были понимать технологии, в новый мир, где технологическая составляющая растворяется и начинает понимать нас». Технология AR не только распознает нас и окружающую среду, но и начинает распознавать нашу деятельность и реагировать на нас. Взаимодействие с технологией становится более естественным, так как технологическая составляющая исчезает и ощущения выходят на передний план. Это и есть «Присутствие».

«Присутствие» обеспечивает новый уровень погружения: от эффекта технологии «Наложения» мы переходим на новый уровень, на котором благодаря взаимодействию технологии со всеми нашими чувствами, мы оказываемся в более многомерном пространстве. Взаимодействие со всеми остальными человеческими чувствами, помимо зрения, будет играть наиболее важную роль в следующей волне AR. Например, дополненный звук часто сопрягается с визуальными эффектами, но звук может использоваться в AR и самостоятельно, без визуальной составляющей, или даже интегрироваться с элементами воздействия на другие органы чувств. В дополнение к визуальному и аудиальному восприятию, в настоящее время AR может воздействовать на осязание, обоняние, вкусовые рецепторы и даже создавать новые ощущения (более подробно об этом вы можете прочитать в главах 3, 4 и 5).

«Проникновение» – это технология AR, создающая новый гибридный режим, который объединяет реальное и виртуальное. AR наполняет физический мир цифровыми свойствами, а виртуальный мир становится осязаемым. Технология дополненных тактильных ощущений воздействует на чувство осязания человека за счет изменения давления воздуха, деформируемых экранов и специальных контроллеров. Например, AR позволяет протянуть руку и погладить виртуальную кошку, ощутив прикосновение к ее шерсти и вибрацию от мурлыкания.

Благодаря технологии AR также возможно создание вкуса и запаха с использованием таких устройств, как, например, Electronic Taste Machine[10]10
  Досл. пер. «Электронная машина вкуса». – Прим. пер.


[Закрыть] и Scentee – оба изобретены Эдрианом Дэвидом Чоком, профессором, изучающим полную информатизацию в Университете Лондона. Scentee – небольшое устройство, подключаемое к аудиоразъему смартфона и позволяющее отправлять сообщения, которые источают определенный запах. Electronic Taste Machine благодаря использованию металлических датчиков может передать на ваш язык разные вкусовые ощущения – от кислого до горького, соленого или сладкого, в зависимости от типа электрического тока, проходящего через электрод. В результате этого в мозг передается виртуальное ощущение вкуса.

Чокхочет, чтобы мы могли взаимодействовать с компьютерами так, как мы это делаем в реальном мире, используя при этом все пять чувств. Он объясняет[11]11
  «Share Touch, smell and taste via the internet» (http://bit.ly/2wb4wAS). – Прим. авт.


[Закрыть]:

Представьте, что вы смотрите на свой рабочий стол или на свой iPhone или ноутбук, где все находится за стеклом, в окошке, и вы либо касаетесь экрана, либо наблюдаете за происходящим через него. Но в реальном мире мы можем приподнять стекло или открыть окно, прикоснуться и почувствовать вкус или запах.

Эта следующая волна AR позволяет нам «открыть окно» и расширить спектр человеческих чувств.

Человеческий мозг может воспринимать оцифрованные и электрохимические сигналы, создавая новые ощущения. Человеческий глаз не различает такие явления, как радиоволны, рентгеновские лучи и гамма-лучи, потому что у нас нет соответствующих биологических рецепторов. И дело не в том, что эти лучи невозможно увидеть; человек не может увидеть их, по крайней мере пока, потому что у нас нет соответствующих органов чувств. AR может дать людям такие сверхспособности, благодаря которым мы не только увидим больше, но и сможем использовать все остальные органы чувств, получая более насыщенный опыт и знакомясь с расширенным спектром информации и данных. Теперь у нас есть технология, позволяющая узнать этот мир намного лучше.

Различное применение AR

Давайте рассмотрим несколько отраслей, которые новая волна AR уже затронула.

Благодаря AR у врачей появилась возможность взаимодействовать с виртуальными 3D-моделями человеческого тела. Так, сегодня врачи могут работать с цифровыми моделями и даже трехмерной печатью на различных этапах лечения. Новейшие разработки в области сенсорно дополненного восприятия однажды позволят хирургам оперировать виртуальный мозг, ощущая его физически, прежде чем выполнять реальные операции.

Уже сегодня технология AR позволяет распознавать выражения лиц, позволяя, например, отследить момент, когда у студента возникли сложности в освоении материала. Учителя смогут использовать эту технологию в ближайшем будущем для изменения содержания уроков в зависимости от воздействия на учащихся. Например, если вы обучаетесь дистанционно или просматриваете лекцию через свое устройство AR и по вашему выражению лица можно сказать, что вам что-то непонятно, предмет будет разъяснен вам еще раз. Или, например, если вы отвлеклись, ваше внимание может привлечь какой-то вопрос.

С помощью AR уже сегодня можно посмотреть, как будут выглядеть те или иные вещи в вашем доме (например, мебель) или как они будут смотреться на вас самих, если речь идет, скажем, о часах или одежде. Современные технологии развиваются таким образом, чтобы дать вам возможность не только видеть, как выглядят вещи, но и прикоснуться к ним.

AR уже сейчас позволяет получать инструкции и помощь в реальном времени, делясь изображением того, на что вы смотрите, с другими людьми. Формируются новые процессы проектирования, позволяющие осуществлять дистанционное сотрудничество в режиме реального времени, в результате чего меняется сам подход к работе людей, находящихся в разных точках земного шара. Например, архитектор из Японии может виртуально присутствовать на месте строительства в Канаде и оказывать строителям полноценную поддержку.

Однажды вам больше не понадобится телевизор: ваша AR-гарнитура станет вашим развлекательным центром, наполненным персонализированным контентом. Независимо от того, появится ли в вашем доме ваш любимый исполнитель и споет вам, или вы окажетесь в открытом поле, чтобы пройти через виртуальный лабиринт, – новые формы цифрового контента будут адаптированы к вашему физическому окружению и будут с ним сосуществовать.

AR сегодня: основное внимание сконцентрировано на человеке

Когда я начала работать над технологией дополненной реальности 12 лет назад, основное внимание в этой области уделялось технологии в целом; о контенте стали задумываться уже намного позже, если вообще задумывались, и, как правило, такие размышления были запоздалыми. В то время, когда большинство исследователей и разработчиков работали над техническими проблемами AR, мне посчастливилось быть частью команды, работавшей в уникальной лаборатории в Йоркском университете Торонто (Канада), под руководством Кейтлин Фишер, где мы вместе формировали будущее повествовательной составляющей дополненной реальности. Наша лаборатория сильно отличалась от других исследовательских центров того времени: мы работали на базе факультета изобразительных искусств и кафедры кинематографии, в то время как большинство университетских исследовательских лабораторий по развитию AR базировались на кафедрах вычислительной техники. В других лабораториях, как правило, делался акцент на исследования в какой-то конкретной области AR с уклоном в разработку и совершенствование отдельных методов. В то же время наша лаборатория сосредоточила работу на создании контента и эффекте от использования этой технологии.

С нашим подходом мы были «агностиками» в том, что касалось программного и аппаратного обеспечения. Дополненная реальность вдохновила наши разработки, но ее технологические рамки нас не ограничивали. Во многих лабораториях занимались решением этих проблем, а вот над созданием контента и новыми видами применения технологии никто не работал. Мы экспериментировали над объединением технологий, комбинируя их по-новому, чтобы уйти от традиционных ограничений в использовании AR. Если какой-то технологии не существовало на тот момент, мы обращались за помощью к инженерам и ученым, чтобы создать ее.

В 2009 году в нашей лаборатории был разработан один из первых коммерчески доступных инструментов – программа SnapDragonAR, работающая по принципу перетаскивания объектов из одного места в другое. Она позволила людям, не обладающим специальными знаниями в области программирования, внести свой вклад в формируемую среду и сделала AR доступной для педагогов, художников, кинематографистов и вообще для широкой аудитории. Благодаря этому появился потенциал для создания AR-контента любым человеком, которому это может быть интересно. В результате наших усилий вселенная AR вышла за рамки исключительно технической сферы программирования, и новаторы дополненной реальности и по сей день продолжают развивать и совершенствовать ее.

AR – это уже не просто технология; это возможность формировать реальный мир в соответствии с нашими пожеланиями и делать значимые открытия, приносящие пользу всему человечеству. За последнее десятилетие сама технология, понимание ее места в мире и ее возможности сильно изменились. Теперь, когда у нас есть все эти невероятные возможности, как мы поступим? Это вопрос, на который мы должны ответить все вместе: как должна развиваться технология AR? Нам нужны лидеры в бизнесе, дизайне и культуре, которые помогут управлять развитием и внедрением новых возможностей в этой быстро растущей отрасли. AR радикально изменит то, как мы живем, работаем и играем.

Глава 2. Взглянуть на мир по-новому

Мы находимся в начале масштабного процесса изменения того, как мы видим и воспринимаем окружающую нас реальность. Компьютерное зрение, машинное обучение, новые типы камер, датчиков и встраиваемых в одежду электронных устройств невероятно расширяют человеческое восприятие. Дополненная реальность дает нам «новые глаза».

Развитие AR как нового средства коммуникации уходит корнями в историю движущихся изображений и зарождения кино. В 1929 году один из пионеров кинематографа Дзига Вертов говорил о силе камеры, описывая новую реальность: «Я глаз механический. Я машина, показывающая вам мир таким, каким только я его смогу увидеть». Известный фильм Вертова «Человек с киноаппаратом» был снят с использованием инновационных ракурсов и технологий, фиксирующих картинку, не доступную для человеческого зрения.

Вертов экспериментировал с новыми точками для съемки (например, съемка с движущихся транспортных средств, таких как мотоцикл, или размещение камеры на железнодорожных путях в момент, когда поезд проходил по ним). Он также экспериментировал с ускорением и замедлением видеоряда. Вертов использовал новую технологию механической камеры для расширения возможностей человеческого глаза и создания новых способов наблюдения. Он писал: «Мой путь – к созданию свежего восприятия мира. Вот я и расшифровываю по-новому неизвестный вам мир».

Спустя почти столетие путь Вертова привел нас к AR, раскрыв новую реальность и понимание нашего мира. Камера играет центральную роль в работе AR: она соединена с компьютерным зрением для сканирования и расшифровки нашего физического окружения. Раньше AR главным образом основывалась на использовании координатных меток (в виде черно-белых геометрических узоров) или изображений для дополнения двумерных (2D) поверхностей, таких как печатные версии журналов.

Реальный мир, однако, не плоский, он находится в трехмерном (3D) пространстве. В отличие от 2D координатных меток или изображений, датчики для распознавания трехмерного пространства используются в AR для фиксирования и отображения реального мира. Датчики распознавания трехмерного пространства, такие как камера Microsoft Kinect и камера RealSense от Intel, не используют в своей работе устаревшие координатные метки и изображения, в результате чего трехмерное пространство иначе воспринимается, передается и дополняется с использованием компьютерных технологий.

Дзига Вертов в своей работе исследовал, как камера, подобно механическому глазу, может превосходить возможности человеческого зрения. Он продемонстрировал, каким выглядит мир сквозь призму камеры. Камеры с датчиками глубины, такие как Kinect и RealSense, дают возможность понять обратное: что было бы, если бы компьютер мог видеть, как человек? Технология AR начинает подражать особенностям человеческих чувств, позволяя нам взглянуть на мир совершенно по-новому.

Вы – контроллер

В 2010 году, когда появился Microsoft Kinect, технология AR вышла на новый уровень. Слоган Kinect «You are the controller» в переводе означает: «Вы – контроллер». Изменяя положение своего тела, движение которого фиксируют датчики, пользователи могут создавать дополненную реальность и управлять ею.

До создания Kinect для того, чтобы технологию AR можно было бы применить в сочетании с вашим телом, вам пришлось бы покрыть себя специальными координатными метками, напечатать изображение на своей одежде или даже сделать особую татуировку. Но с появлением Kinect использование технологии AR стало значительно более захватывающим, потому что барьер между пользователем и дополненной реальностью исчез и они слились воедино. Стоя перед экраном с подключенным устройством Kinect, вы можете видеть и взаимодействовать с трансформированной версией себя[12]12
  https://youtu.be/bx5McnEht7Q – Прим. авт.


[Закрыть], как будто вы стоите перед волшебным цифровым зеркалом. Дополненная реальность, создаваемая вашими движениями и жестами, формируется индивидуально под вас.

На базе Kinect проектировщики сразу же начали создавать новые интерактивные программы. Инсталляция «Предательство неприкосновенности»[13]13
  http://milk.co/treachery – Прим. авт.


[Закрыть] (2012) Криса Милка – прекрасный пример использования Kinect художником. Вы предстаете перед рядом из трех интерактивных панелей, которые олицетворяют творческий процесс через рождение, смерть и перерождение. Ваше тело зеркально отражается как темная тень с различными преобразованиями, происходящими на каждой панели. На первой панели ваше тело распадается на мириады разлетающихся птиц. Когда вы переходите ко второй панели, эти птицы слетаются, чтобы напасть на вас. На третьей и последней панели у вашего силуэта прорастают гигантские крылья, и, хлопая руками, ваше отражение взлетает, поднимаясь с земли в небо.

Милк дал следующей комментарий по поводу своей инсталляции:

Мне интересно, когда между моей работой и зрителем возникает двухсторонний диалог. Посетитель выставки становится непосредственным участником содержания и концепции моей работы, и с помощью технологии AR делается акцент на испытываемых впечатлениях, на инновационной способности к глубокому духовному погружению.

Часть «магии» Kinect заключается в том, что технология становится невидимой, потому что она предельно проста в использовании: вы стоите перед экраном и двигаетесь. Программа реагирует на движения вашего тела и формирует движения на экране. Технология позволяет создавать изображения, но без вашего участия это становится невозможным. Технология отступает на второй план, и вы в буквальном смысле становитесь ключевой фигурой в ее работе.