Текст книги "Дополненная реальность. Все, что вы хотели узнать о технологии будущего"

Дивный новый мир тактильных фильмов

Что если помимо того, чтобы касаться предметов, реальных или виртуальных, только кончиками пальцев, у вас была бы возможность чувствовать их всем своим телом? В своей статье[45]45
  http://worrydream.com/ABriefRantOnTheFutureOfInteractionDesign. – Прим. авт.


[Закрыть] Брет Виктор также пишет: «Имея возможность использовать все тело целиком, вы действительно думаете, что будущее интерактивных технологий в касании только одним пальцем?»

Феликс Хейбек, Алексис Хоуп, Джули Лего и София Брюкнер, исследователи из Медиалаборатории Массачусетского технологического института, написали книгу, которую вы можете носить и «читать» с помощью всего вашего тела. Прототип сенсорной литературы[46]46
  http://bit.ly/2u8hgLt – Прим. авт.


[Закрыть] представляет собой жилет, оснащенный функцией тактильной стимуляции, который связан с книгой и позволяет читателю почувствовать на физическом уровне эмоции, испытываемые главным героем. Надеваемое устройство способно изменять звук, освещение, температуру, стягивать грудную клетку и даже менять сердечный ритм читателя, чтобы передать то, что испытывает в этот момент герой книги.

«Летишь вечером в ощущалку, Генри? – спросил помощник Предопределителя. – Я слышал, сегодня в «Альгамбре» первоклассная новая лента. Там любовная сцена есть на медвежьей шкуре, говорят, изумительная. Воспроизведен каждый медвежий волосок. Потрясающие осязательные эффекты».

Олдос Хаксли

Прототип сенсорной стимуляции впервые упоминается в научно-фантастическом романе Олдоса Хаксли «О дивный новый мир» (1932), в котором описывается, как зрители «испытывают ощущения» вымышленных персонажей. «Тактильные фильмы» – фильмы, в которых сочетались ощущения осязания с визуальными эффектами и звуком. Зрители кинотеатра брали в руки металлические шары, закрепленные в подлокотниках стульев, и испытывали тактильные ощущения, повторяющие ощущения персонажей на экране.

Возвращаясь к идее Обрист о том, что сенсорную стимуляцию можно использовать в кинотеатре, чтобы создать более сильные ощущения от просмотра, я могу предположить, что ее идеи могут быть применены следующим образом. Вместо повторения тактильных ощущения персонажей (как в тактильных фильмах из отрывка выше, описывающего, что можно было почувствовать волосы шкуры медведя), эмоциональное состояние персонажа могло бы передаваться за счет подачи коротких резких струй воздуха в середину руки зрителя (как в исследовании Обрист), чтобы передать волнение персонажа. Такую технологию можно применить даже без сопутствующего видеоряда и использовать для дополнения аудиокниг или радиотрансляций. «Осязание эмоций» становится реальным, создавая новые возможности для передачи эмоций персонажа посредством не только зрения и слуха, но также осязания.

В работах Обрист, Форсланда, а также исследователей Массачусетского технологического института приводятся способы создания сильного восприятия другого человека или персонажа посредством невербального преобразования чувств, настроения, сообщений или даже целой истории. Результатом этого становится формирование нового способа познания и понимания человеческих чувств с помощью своего тела. Но как еще можно использовать этот тип информации для интерпретации и понимания других типов данных?

Сенсорная замена

Нейробиолог Дэвид Иглман занимается разработкой специального жилета с тактильной симуляцией, целью создания которого является расширение способностей человека воспринимать данные новым интуитивным способом.

Иглман и его команда в собственной Лаборатории по изучению восприятия и действия в Медицинской школе Стэнфордского университета (США) создали устройство под названием VEST[47]47
  В пер. с англ.: жилет (http://www.eagleman.com/research/sensory-substitution). – Прим. пер.


[Закрыть] (по первым буквам от англ. Versatile Extra-Sensory Transducer[48]48
  В пер. с англ.: многофункциональный экстрасенсорный преобразователь. – Прим. пер.


[Закрыть]) – приспособление, которое позволяет глухим людям воспринимать речь с помощью вибрации. Смартфон или планшет с установленным на нем приложением использует свой микрофон для распознавания звуков. Затем эти звуки передаются по Bluetooth на жилет. Тот преобразует звуки в различные виды вибраций, которые пользователь ощущает спиной.

Иглман делает акцент на том, что испытываемые при этом чувства не следует интерпретировать как своеобразный шрифт Брайля. В своем выступлении на конференции TED в 2015 году[49]49
  David Eagleman, «Can we create new senses for humans?», TED, 2015 год (http://bit.ly/2hrqVXk). – Прим. авт.


[Закрыть] он отметил[50]50
  Shirley Li, «The Wearable Device That Could Unlock a New Human Sense», The Atlantic (http://theatln.tc/2hrk6VM). – Прим. авт.


[Закрыть]:

Вибрация, которую вы чувствуете, когда на вас надет жилет, повторяет частоту вибраций издаваемого звука. То, что вы чувствуете, не является кодом для буквы или слова это также не аналог азбуки Морзе, – вы ощущаете на себе сам звук.

Иглман отделяет этот жилет от других носимых устройств, таких как Apple Watch, где разные варианты вибрации используются для передачи разных сигналов (например, различные варианты шаблонов вибрации для входящего звонка и текстового сообщения).

Вместо этого VEST использует «сенсорную замену» – информация подается в мозг через нестандартные сенсорные каналы, и уже затем в мозге формируется ощущение. Это похоже на продукты EyeMusic и vOICe, рассматриваемые в главе 2, суть работы которых сводится к тому, что мозг способен «видеть» под воздействием звука. В этих случаях, вместо того, чтобы попадать через зрительную зону коры мозга, сигнал поступает в мозг через слуховую зону, а затем уже попадает в соответствующий отдел. VEST также использует сенсорную замену для глухих людей.

Иглман и его команда предложили испытать VEST глухим людям. Во время своей лекции на конференции TED Иглман продемонстрировал, как Джонатан, 37-летний глухой от рождения мужчина, понимал значение сложных комбинаций вибраций после всего пяти дней обучения пользования устройством.

Следующим шагом для Иглмана и его команды в разработке VEST станет преобразование другой информации, например данных фондовых рынков или прогноза погоды. Так, например, если изменения на фондовом рынке будут передаваться посредством слабой вибрации, пользователи VEST смогут чувствовать и даже предугадывать определенные экономические тренды.

Больше не нужно ждать подарков в виде отдельных ощущений, отмеряемых нам матерью-природой. Вместо этого, как и любой хороший родитель, она дала нам инструменты, с которыми мы можем вылететь из гнезда и двигаться в развитии по своей собственной траектории».

Итак, далее встает вопрос: как мы будем использовать наши чувства, такие как осязание, чтобы ощущать мир по-новому?

В главе 2 мы рассмотрели, как с помощью дополненной реальности можно преобразовать наши среду и контекст, используя новейшие визуальные возможности. Здесь же, учитывая прогнозы Иглмэна, можно предположить, что в будущем мы сможем не только видеть, но и чувствовать по-новому и познавать мир, как никогда раньше, при помощи прикосновений. От работы с деформируемым экраном до передачи эмоций через вибрации, до нового восприятия мира через одежду, оснащенную устройствами тактильной стимуляции, как, например, разработанный Иглманом жилет, – все это подтверждает, что наше дополненное будущее наощупь не «стеклянное» и несет в себе технологии, интуитивно понятные любому человеку. Мы существуем в трехмерном пространстве и ощущаем вещи всем своим телом, но технологически мы часто ограничены только двумя измерениями экрана. Самые мощные AR-приложения позволят нам почувствовать вещи, как будто они существуют на самом деле, и использовать эти возможности человечества в новых гибридных цифровых устройствах для того, чтобы еще больше расширить потенциал нашего восприятия.

Глава 4. Дополненный звук и аудиогарнитура

Звук позволяет нам существовать как в окружающей среде, так и перенестись в какое-то другое место. Слушая, мы можем создать «театр разума», где, используя свое воображение, можно создавать визуальные образы или даже путешествовать во времени. Уже сейчас в нашей жизни встречаются многочисленные примеры звукового дополнения нашей среды: например, человек, едущий в набитом поезде, который не слышит окружающий его шум благодаря шумоподавляющим наушникам, или женщина, которая слушает свою любимую рок-музыку в самолете во время взлета и посадки. В будущем дополненный звук позволит нам блокировать «шум» повседневной жизни и обеспечит более сильные ощущения от звуковых эффектов.

«Когда люди говорят о технологии дополненной реальности, они обычно считают, что речь идет только о визуальных эффектах, которые накладываются камерой на изображение. Это всегда касается визуального ряда. Но не многие знают, что то же самое можно делать и со звуком», – сказал Майкл Брейденбрюкер, соучредитель Last.fm и основатель RjDj (Reality Jockey Ltd.). Заблуждение о том, что AR – это только визуальные эффекты, сохраняется и по сей день, несмотря на то, что звук не менее гибок и транспортабелен и зачастую не требует визуального дополнения.

Звуковые эффекты могут быть использованы как вместе с другими дополненными ощущениями, так и самостоятельно. Звук может помочь вам лучше ориентироваться в пространстве и быстрее находить необходимую информацию, испытывать яркие ощущения, раскрывать воображение, изменять окружающую среду. В этой главе рассматривается каждая из областей применения дополненного звука и приводятся примеры различных аудиогарнитур, завоевавших популярность на растущем рынке носимых устройств. В дополнение к получению данных из уха о здоровье и активности пользователя, аудиогарнитура позволяет создавать новые формы взаимодействия и общения, включая цифровую умную поддержку, реагирующую на голосовые команды в режиме реального времени.

Дополненный звук с привязкой к местности

Навигация на местности, информационный тур по музею или управляемая медитация – все это примеры того, как записанный или воспроизводимый в прямом эфире голос становится вашим проводником в своеобразном путешествии. Звук может сделать ваше окружение ярче, дополнив его аудиоэффектами или музыкой, сфокусировав ваше внимание на деталях, которые вы не заметили бы самостоятельно. Дополненный звук может открыть новые грани и качества этого мира.

Джанет Кардифф из Канады известна во всем мире своими запоминающимися аудиопрогулками, которые она записывает с 1991 года. Кардифф так говорит о своей работе[51]51
  Janet Cardiff, «Introduction to the Audio Walks» (http://www. cardiffmiller.com/artworks/walks/audio_walk.html). – Прим. авт.


[Закрыть]:

Аудиопрогулки похожи по своему формату на аудиогид. Вы берете CD-плеер или iPod и встаете или садитесь в определенном месте и нажимаете на кнопку воспроизведения. На CD вы слышите мой голос, дающий указания, например, «поверните налево» или «войдите в эту дверь», накладываемые на фоновый звуковой ряд: звук шагов, машин, птиц или другие звуковые эффекты. Это важная часть записи. Виртуальный записанный звуковой фон должен соответствовать характеристикам реального мира, чтобы создаваемое новое пространство воспринималось как «бесшовное сочетание» реального и дополненного. В своих записях я не только направляю слушателей, но и делюсь своими мыслями и информацией, которая побуждает дослушать лекцию до конца.

Кардифф создает смешанную реальность со звуком в качестве основного элемента, ведя адресованное лично вам повествование в людном месте и делая это место для вас более индивидуализированным. Она также говорит[52]52
  John Wray, «Janet Cardiff, George Bures Miller and the Power of Sound», The New York Times (http://nyti.ms/2vsR8ud). – Прим. авт.


[Закрыть], что ее прогулки можно назвать одной из форм «путешествий во времени». Работа Кардифф служит отличным примером прообраза дополненной звуковой реальности, ставшей доступной с использованием современных технологий.

Эндрю Мэйсон является основателем и генеральным директором Detour[53]53
  https://www.detour.com – Прим. авт.


[Закрыть], стартапа из Сан-Франциско, предлагающего коллекцию аудиопрогулок дополненной реальности под названием Detours. Мэйсон отмечает, что работа Кардифф, наряду с проектами других создателей, произвела огромное впечатление на него. «Первое, что я сделал, когда начал изучать эту идею, – это стал путешествовать по всему миру, чтобы тестировать разные аудиофайлы, привязанные к местоположению», – объясняет он. Среди них были: «Прогулка с Кардифф по Центральному парку»[54]54
  http://www.cardiffmiller.com/artworks/walks/longhair.html – Прим. авт.


[Закрыть], «Аудиопрогулка по Бруклину» и «Необычные прогулки по Лондону»[55]55
  http://www.hackneyhear.com – Прим. авт.


[Закрыть], созданные Фран Панеттой. «Эти работы побудили меня создать звуковую реальность, привязанную к местоположению, для создания кинематографического эффекта в реальной жизни, переноса слушателей в другой мир и максимального погружения их в ощущения и опыт других людей», – отмечает Мэйсон.

При включенном приложении Detour, голос местного рассказчика автоматически сопровождает вас в наушниках по ходу движения. Мэйсон отмечает, что Detour отличается от других приложений аудиотуров тем, что при его использовании нет необходимости постоянно брать в руки телефон или щелкать по значкам на карте для воспроизведения аудио. «Мы хотели создать такое приложение, которое позволило бы людям почувствовать, будто их сопровождает кто-то из местных, а технологическая подоплека отошла бы на второй план», – говорит Мэйсон[56]56
  Rachel Metz, «First Groupon Founder, Now Tour Guide», MIT Technology Review (http://bit.ly/2u3UHDv). – Прим. авт.


[Закрыть]. Когда аудиосопровождение само по себе становится интерфейсом, а смартфон лежит в вашем кармане с выключенным экраном и вам не нужно постоянно на него смотреть, вы можете сосредоточиться на том, что вас окружает, и на рассказе вашего гида.

Detour отличается от обычных аудиогидов тем, что эта технология знает ваше местоположение на протяжении всего времени работы, делая возможным динамичное использование, адаптируемое под ваш темп ходьбы, время суток и даже погоду. Нет необходимости нажимать кнопку «Воспроизведение» каждый раз, когда вы достигаете следующего пункта своего маршрута: программа анализирует ваши движения и автоматически определяет, что вы уже там. Для этого Detour использует GPS, iBeacon и другие датчики в вашем смартфоне, определяя точное местоположение. iBeacon – это разработка компании Apple, работающая на базе энергоэффективной беспроводной технологии Bluetooth Low Energy (BLE) для предоставления информации и услуг на основе вашего местоположения. Ее можно использовать при неуверенном приеме сигнала GPS. Сами маяки[57]57
  От англ. Beacon: Маяк. – Прим. пер.


[Закрыть] – это недорогие Bluetooth-передатчики, которые работают как датчики определения расстояния. Приложения на iOS получают сигнал этих маяков и реагируют, когда ваш телефон или планшет попадает в зону охвата сигнала. iBeacon используются в работе приложения Detour, чтобы автоматически запускать конкретную аудиозапись при приближении к определенной геопозиции. В дополнение к iBeacon, Detour использует акселерометр вашего телефона, фиксирующий ваши движения и шаги, и магнитометр для определения направления, в котором вы смотрите.

Дополненный звук для сочувствия и понимания

Detour был создан для того, чтобы «помочь людям заглянуть за обычно непроницаемую перегородку и открыть для себя то или иное место по-новому», – говорит представитель компании Харис Батт[58]58
  Luke Whelan, «The New App Will Change the Way You See Your Neighborhood», Mother Jones (http://bit.ly/2unquyx). – Прим. авт.


[Закрыть]. Detour позволяет вам посетить уникальные места, как, например, Тендерлойн, один из самых необычных и быстро меняющихся районов Сан-Франциско, чтобы увидеть ту его часть, которую немногие могут увидеть, а большинство не замечает. В ходе аудиопрогулки вы не только слушаете рассказы о людях, которые здесь жили и работали, но и можете зайти в церковь, которую они посещали, или в хостел, где они останавливались. «Когда вы повторяете те же движения, которые когда-то совершал кто-то другой, в этом есть нечто, что помогает лучше понять чувства, испытываемые другими людьми», – говорит Марианна Маккьюн, разработчик Detour.

Маккьюн 15 лет проработала репортером на радио. Она начинала с молодежной радиопередачи на общественном радио Нью-Йорка под названием Radio Rookies[59]59
  В пер. досл.: «Новички радио». – Прим. пер.


[Закрыть], в которой подростки, живущие в неблагополучных районах, рассказывали истории о себе и своей жизни. Маккьюн описывает одну из задач этой программы следующим образом: «Они рассказывают истории о том, что, по их мнению, важно для аудитории, имеющей с ними мало общего, чтобы более образованные и обеспеченные радиослушатели могли лучше понять, как они живут». Она приводит в качестве примера рассказ одной из девушек-подростков, Ширли Диас, по прозвищу Звезда, выступавшей на Radio Rookies. Она говорила на темы, обычно замалчиваемые широкой аудиторией. «Но когда вы слушаете ее, вы чувствуете, что погружаетесь в ее жизнь и начинаете понимать ее точку зрения, – говорит Маккьюн. – Она ведет вас по своему миру так, что вы можете увидеть этот мир ее глазами. Поэтому вы не отстраняетесь, как если бы наблюдали за ее жизнью со стороны, а смотрите на все с ее точки зрения».

«Я думаю, что у Detour есть потенциал, чтобы добавить еще один уровень, позволяющий увидеть мир глазами других людей: это даст вам возможность буквально почувствовать то, что испытал кто-то другой», – говорит Маккьюн. Она приводит в пример письмо, которое она получила от человека, попробовавшего аудиопрогулку Detour по Тендерлойну[60]60
  https://www.detour.com/san-francisco/our-tenderloin – Прим. авт.


[Закрыть]. «Я и несколько моих коллег заинтересовались этой аудиопрогулкой, потому что наши офисы находятся рядом с Тендерлойном, но мы мало что знали об этом районе, – говорится в письме. – Самым ярким моментом единения с программой было, когда когда мы зашли в церковь Святого Бонифация и увидели всех этих бездомных, спящих на церковных скамьях. Мы пожертвовали им кое-какие лекарства и поболтали с одним из волонтеров, который оказался бывшим наркоманом, самостоятельно излечившимся от зависимости». В результате этой прогулки завязалась оказавшая на нас большое влияние беседа, которая, скорее всего, не произошла бы при обычных обстоятельствах. Письмо заканчивалось так: «Странно, как нечто такое простое, как небольшое пожертвование и общение с этим человеком, может полностью изменить ваше отношение к целому району». Маккьюн комментирует это следующим образом: «Я думаю, что сочетание звукового сопровождение и физическое присутствие в описываемом месте побуждают людей выходить за привычные рамки».

Дополненный звук обладает способностью преодолевать определенные психологические барьеры и способствовать лучшему пониманию окружающих и сопереживанию. Это помогает вам не только увидеть мир чужими глазами, но и физически ощутить себя на месте другого человека. Это может вдохновить вас на определенные действия и даже изменить всю вашу жизнь, даже если толчком для этого будет простой разговор с кем-то, с кем при обычных обстоятельствах вы бы никогда не встретились.

В виртуальной реальности также используются технологии, прокладывающие дорогу разработкам, связанным с сопереживанием. «Облака над Сидрой» (2014) – VR-фильм, снятый режиссером Крисом Милком при поддержке Организации Объединенных Наций. В фильме рассказывается история 12-летней девочки по имени Сидра, живущей в сирийском лагере беженцев в Иордании. Фильм был показан на Всемирном экономическом форуме в Давосе в январе 2015 года группе лидеров, решения которых влияют на жизнь миллионов людей. Как отмечает Милк, эти люди, возможно, никогда бы не испытали тех чувств, которые испытывают живущие в палатках беженцы.

Когда вы используете гарнитуру VR и смотрите с ее помощью «Облака над Сидрой», вы наблюдаете за миром маленькой девочки, видя его на 360 градусов во всех направлениях. Вы не смотрите на Сидру через телевизионный экран, а сидите прямо в ее комнате, слышите ее голос, как будто вы находитесь рядом. Ее мир становится и вашим миром тоже. Когда вы смотрите вниз, вы видите, что вы сидите на той же земле, что и она. «Из-за этого, – говорит Милк[61]61
  Chris Milk, «How Virtual reality can create the ultimate empathy machine», TED, 2015 год (http://bit.ly/2v05VMe). – Прим. авт.


[Закрыть], – вы лучше понимаете ее ощущения. Вы сопереживаете ей сильнее».

Хотя технология VR специально предназначена для того, чтобы переносить вас в места или среды, не доступные вам физически, с помощью AR можно еще сильнее увеличить степень сопереживания, как это было сделано в Detour, побуждая вас взаимодействовать с вашей средой, когда это возможно. Одна из целей Мэйсона в использовании Detour – это заставить людей выйти из своей зоны комфорта и начать исследовать окружающий их мир. «Во многих компаниях, похоже, считают наивысшей ступенью развития создать такую возможность, при которой вы будете постоянно сидеть на своем диване в гостиной, куда вам будут доставлять еду, привозить и забирать вашу одежду и где вы сможете общаться с вашими друзьями с помощью VR-гарнитуры Oculus Rift, – говорит Мэйсон[62]62
  Casey Newton, «Groupon’s ousted founder is making gorgeous audio tours of San Francisco», The Verge (http://bit.ly/2vwrOEg). – Прим. авт.


[Закрыть]. – Возможно, я покажусь вам ретроградом, но я люблю жизнь в ее привычном понимании. Я хочу, чтобы Detour стала компанией, которая поможет людям получать больше позитивных эмоций».

Большинство туров являются журналистскими по своему типу, так как в них рассказывается об истории, людях и окрестностях, но в Detour с его дополненными аудиопрогулками, есть, например, проект, в котором рассказывается о войне с мусором в Сан-Франциско. План развития города называется «Нулевые отходы» и его цель – перестать направлять на свалку или сжигание все отходы к 2020 году. Это означает повторное использование или переработку всего, что выбрасывается в Сан-Франциско. Вместо того, чтобы просто показывать вам груду мусора и свалку, данный проект помогает вам задуматься о том, сколько мусора ежедневно производится, показывая вам различные стороны повседневной жизни в Сан-Франциско. Detour изменяет ваше привычное видение мира, благодаря аудиосоставляющей, и вдохновляет на перемены, которые продолжаются еще долго после завершения тура.