Текст книги "Дополненная реальность. Все, что вы хотели узнать о технологии будущего"

Глава 3. Тактильные ощущения

Отличием следующей волны дополненной реальности является новый сенсорный опыт, задействующий и другие органы чувств, помимо зрения. За счет осязательных эффектов в AR есть возможность не только синхронизировать то, что мы видим, с тем, как мы чувствуем, но и создавать новые способы тактильной коммуникации. Механизм тактильного отклика, используемый в Apple Watch , обеспечивает , к примеру, обратную связь для уведомлений, а в приложениях виртуальной реальности таких производителей, как Tactical Haptics[32]32
  http://tacticalhaptics.com – Прим. авт.


[Закрыть], он позволяет выйти на новый уровень реализма. На основании этого можно отметить тенденцию развития цифровой тактильности.

В реальном мире вы можете использовать свои руки, чтобы прикоснуться к чему-либо, поднять некий предмет или что-то сделать. В AR виртуальная составляющая существует в вашем физическом пространстве, но если вы протянете руку, чтобы коснуться виртуального объекта, в зависимости от того, используете ли вы смартфон или очки, вы почувствуете стекло или просто пустоту.

В главе 1 распознавание описывалось как встраивание виртуальных объектов в трехмерное пространство реального мира. Распознавание в AR сегодня сконцентрировано на визуальной составляющей, но как же быть с другими органами чувств? Если одной из целей AR является создание единой среды, в которой реальное и дополненное неразличимы, то иллюзия, очевидно, разрушается, когда пользователь, пытаясь прикоснуться к виртуальному объекту, ничего при этом не чувствует. В следующем поколении AR прикосновение к виртуальным объектам становится возможным, размывая и дальше грань между реальным и виртуальным.

Тактильные ощущения помогают нам ориентироваться и лучше чувствовать реальный мир. Наше чувство осязания помогает нам получать информацию на более глубоком уровне и ощущать такие характеристики предмета, как текстура и вес. Это позволяет понять, из чего сделан предмет и как он соотносится с другими предметами. Осязание позволяет нам убедиться, что объект существует физически.

Для меня утверждение, приведенное выше, оставалось верным до того момента, пока мои чувства не были введены в заблуждение, когда я впервые испытала устройства с применением haptics (технологии, обеспечивающей тактильную обратную связь) в 2011 году в Magic Vision Lab в Университете Южной Австралии. Я помню тот момент, когда я изо всех сил пыталась определить, что было физически реальным и что виртуальным. Я была ошеломлена. Я могла посмотреть и прикоснуться к виртуальной рыбе, чувствуя ее, будто она была реальной. Это было совершенно новым и сбивающим с толку ощущением: касаться виртуальных объектов и получать тактильную обратную связь от чего-то, что физически не существует в реальном мире. Как это возможно?

Нося портативный шлем-дисплей (HMD) и используя тактильный девайс под названием PHANTOM Desktop, оснащенный похожим на шариковую ручку устройством, которое нужно держать в руке, я могу касаться виртуальных объектов, появляющихся в моем физическом окружении, и ощущать их. Это тактильное устройство имитирует контакт, используя три небольших двигателя, которые обеспечивают обратную связь, создавая давление на стилус. В дополнение к текстуре, с помощью этого устройства можно ощутить вес виртуального предмета.

Это очень правдоподобная иллюзия: то, что я видела, действительно соответствовало моим ощущениям. Визуальная и тактильная составляющие тесно взаимосвязаны в реальности, но, как правило, при использовании AR-устройств эта взаимосвязь теряется. Последний опыт навсегда изменил мое представление о дополненной реальности и повлиял на мое видение того, как эта новая среда будет развиваться в будущем.

В 2011 году я написала книгу «Кто боится жуков?»[33]33
  https://vimeo.com/25608606 – Прим. авт.


[Закрыть], первую в мире AR-книгу с возможностью распознавания образов при помощи iPad. Книга объединила искусство моделирования бумажных фигур (разрезание, склеивание и складывание из бумаги) с магией AR, благодаря которой книга становилась интерактивной, позволяя лучше понять природу страха перед насекомыми. Если смотреть на книгу через iPad или смартфон, то на ней периодически появлялись различные виртуальные насекомые и членистоногие, в том числе волосатый тарантул, который мог поползти по руке читателя. Когда я работала над этой книгой, технология цифровой тактильности еще не была разработана в Magic Vision Lab, но теперь я отчетливо представляю, как эта технология может быть интегрирована в следующую редакцию моей книги. Благодаря этой технологии ощущение страха будет более сильным, т.к. можно будет не только увидеть паука, ползающего по вашей руке, но также и почувствовать его вес и прикосновение к коже.

Как и в случае с вышеупомянутым примером виртуальной рыбы, можно воссоздать то, как мы ощущаем конкретные вещи в физическом мире, и применять эти свойства к виртуальным объектам с целью улучшения качества «распознавания». Для дальнейшего развития AR как новой среды, важно найти и исследовать новые способы использования технологии дополненной цифровой тактильности, помимо воспроизведения ощущений от аналогов из окружающей среды.

Например, можем ли мы создать приложения с контрастными тактильными свойствами, когда что-то мягкое по своим свойствам будет восприниматься как нечто твердое? Как мы можем выйти за пределы экрана, чтобы по-новому испытывать чувство осязания? И как еще мы можем использовать тактильную стимуляцию в невербальных коммуникациях? В этой главе мы поговорим об исследованиях и инновациях в области тактильных технологий, проливающих свет на эти вопросы.

Тактильные технологии, применяемые в сенсорных экранах

В 2011 году в Magic Vision Lab я впервые стала свидетелем функционирования тактильной технологии, но оборудование, требуемое для ее применения, было дорогостоящим, громоздким и не доступным для обычного человека. Использование основной части AR-приложений на сегодняшний день предполагает наличие смартфона или планшета, а в ближайшем будущем также ожидается более широкое распространение интерактивных очков, которые изменяют возможности тактильной стимуляции в AR. Если раньше примером ее использования было только взаимодействие с сенсорным экраном смартфона или планшета, то теперь появляются новые виды применения.

В статье «Краткие рассуждения о будущем дизайна взаимодействий» (2011)[34]34
  Bret Victor, «A Brief Rant on the Future of Integration Design» (http:// worrydream.com/ABriefRantOnTheFutureOfInteractionDesign). – Прим. авт.


[Закрыть] Брет Виктор, разработчик пользовательских интерфейсов и процессов взаимодействия человека с компьютером, отмечает, что в большинстве концепций взаимодействия будущего не уделяется внимание тому, что чувствуют наши руки и как они манипулируют вещами. Он пишет, что почти каждый объект в мире имеет свойства, которые можно почувствовать, прикоснувшись к нему, – будь то вес, текстура, пластичность или форма. Тем не менее он говорит, что такие устройства, как iPad, «приносят в жертву все тактильное богатство работы с нашими руками». Виктор рассуждает о будущем, когда появится новая «динамическая среда, которую мы сможем видеть, чувствовать и изменять».

Как далеко мы продвинулись с 2011 года и с момента выхода статьи Виктора? В 2015 году Apple представила механизм тактильного отклика на iPhone и iPad, обеспечив тактильную обратную связь для пользователя. Тактильные устройства обратной связи и контроллеры становятся предметами активной разработки в индустрии игр VR, а также, вероятно, мы увидим в ближайшем будущем эту технологию, адаптированную для AR-приложений.

Технология E-Sense компании Senseg, которая была впервые продемонстрирована на Международной выставке бытовой электроники (CES) в 2012 году, представляет собой один из способов интеграции тактильной симуляции в AR посредством планшета или смартфона.

Дейв Райс, вице-президент основанной в Финляндии компании Senseg, описывает данную технологию как внедрение тактильных эффектов в сенсорные дисплеи различных устройств, включая смартфоны, планшетные компьютеры, сенсорные панели и игровые устройства. Он рассматривает возможности приложений, приводя в качестве примера игру «Охота за сокровищами», смысл которой заключается в поиске спрятанного сундука с сокровищами, но найти его на экране можно только на ощупь. Райс добавляет[35]35
  «New Technology: Haptic Feedback for Touchscreens» (https://youtu. be/FiCqlYKRlAA). – Прим. авт.


[Закрыть]: «Там не было визуальных подсказок, и это очень увлекательно, потому что теперь у нас есть возможность дополнить картинку осязаемыми эффектами, это позволяет создавать новый мир открытий».

В основе работы E-Sense лежит использование электростатических полей, которые вводят в заблуждение наше чувство осязания и имитируют различные уровни трения, позволяя создавать ощущение текстуры на плоском экране. В этой технологии используется Закон Кулона: притяжение или отталкивание объектов или частиц в зависимости от их электрического заряда. Так, например, когда вы натираете воздушный шар о свои волосы, он прилипает. Если потереть воздушный шар о голову, электроны переходят с ваших волос: волосы положительно заряжены, воздушный шар отрицательно заряжен, а противоположные заряды притягиваются. Senseg создает аналогичную силу притяжения между вашим пальцем и экраном. Управляя этой силой, можно создавать целую тактильную гамму, обеспечивая многообразные ощущения от взаимодействия с разными изображениями.

Представьте, что вы используете эту технологию на смартфоне или планшете, чтобы посетить виртуальный зоопарк прямо у себя дома и почувствовать на ощупь мягкую овечью шерсть. Тактильная функция может теперь соответствовать тому, что вы видите с использованием AR: виртуальное больше не ощущается как «стекло».

Fujitsu Labs из Японии – еще одна компания, работающая над технологией тактильной симуляции для сенсорных экранов. Компания презентовала прототип планшета с функцией тактильной симуляции на Всемирном мобильном конгрессе в 2014 году в Барселоне, где было показано, как технология может имитировать объемные детали, такие как выпуклости, гребни и выступы на поверхностях сенсорного экрана. Эта программа позволяет испытать ощущение как от поворота ключа в замке, прикосновения к песку или к струнам музыкального инструмента.

Вместо электростатической тактильной обратной связи Fujitsu Labs использует для тактильного эффекта ультразвуковые вибрации, импульсы которых передаются с различной силой. Вибрации отталкивают палец от поверхности планшета и в зависимости от силы имитируют различные текстуры. Быстрое изменение импульсов между низким и высоким трением может создать ощущение грубой или неровной поверхности, или же поверхность может казаться гладкой за счет подаваемого воздуха, уменьшающего силу трения. Fujitsu Labs планирует коммерциализировать эту технологию, в частности интегрируя ее в онлайн-магазины, где особенно важна возможность потрогать ткань, из которой сшита приобретаемая вещь.

Деформируемые экраны

И Senseg, и Fujitsu имитируют чувство осязания на плоских сенсорных экранах. Но что, если сенсорные экраны могли бы изменять свою форму и физически принимать форму изображений или объектов? Представьте, что вы своими руками преобразовываете виртуальные объекты из двумерного пространства в трехмерный мир.

GHOST[36]36
  Сокр. от Generic and Highly Organic Shape-Change Interfaces. В пер. с англ.: «Универсальные и высокоорганические изменяющие форму интерфейсы». – Прим. пер.


[Закрыть] – это исследовательский проект, над которым с 2013 года работают разработчики в четырех университетах Великобритании, Нидерландов и Дании, где они занимаются изучением дисплеев с изменяющейся формой. Исследователи создали плоскоэкранный дисплей Lycra, который, в отличие от стекла, может изменять свою форму, благодаря чему можно почувствовать форму соответствующих объектов.

Каспер Хорнбэк, исследователь из Копенгагенского университета, отмечает: «Почти все экраны имеют квадратную форму, поэтому для реализации данной технологии в полном объеме требуется возможность изменения их формы. В поле интересов наших исследований находятся экраны, которые могли бы изменять свою форму». Эта идея перекликается с мыслью Брета Виктора об экране компьютера как динамическом визуальном носителе, который может принимать практически любую форму, и вот теперь возможность появления такой среды становится все более реалистичной.

Такая технология могла бы, например, позволить хирургу работать на виртуальном мозге, получив необходимый осязательный опыт перед выполнением аналогичной операции в реальном мире. Художники и дизайнеры, работающие с различными физическими материалами, такими как, например, глина, смогут двигать объекты собственными руками и хранить их в своем компьютере. Хорнбэк предполагает, что с помощью такого дисплея вы сможете держать руку вашего близкого человека, даже находясь на другом континенте.

Эсбен Варминг Педерсен, член исследовательской группы Копенгагенского университета, объясняет, чем отличается работа деформируемого дисплея от того, как работают обычные стеклянные сенсорные экраны. «Все, что видит iPad, – это кончик пальца, касающийся стекла. Так, когда iPad пытается определить, где и как мы его касаемся, устройство можно рассматривать как своего рода систему координат». Деформируемый дисплей имеет более сложный принцип работы: когда вы прикладываете палец к экрану, камера считывает информацию в трех изменениях и определяет силу давления пальца на поверхность. Педерсен работает над разработкой алгоритмов компьютерного зрения, которые позволят распознавать эти трехмерные данные и использовать их таким образом, чтобы компьютер мог лучше понять и применить их в своей работе.

Одна из проблем, которую обозначает Педерсен, заключается в том, что мы еще не знаем, как работать с этими новыми экранами. Он говорит о том, что к настоящему моменту уже выработался определенный «словарь» для взаимодействия с двумерными дисплеями, например, если свести пальцы, изображение уменьшится, а если смахнуть пальцем картинку, она сменится другой. Однако если говорить о жестах в трехмерном пространстве, или деформируемых жестах, использование таких экранов уже становится менее очевидным. Педерсен в настоящее время занимается разработкой такого интуитивного словаря новых жестов.

Педерсен и Хорнбэк опубликовали[37]37
  Giovanni Maria Troiano, Esbin Warming Pedersen, Kasper Hornbaek, «User-Defined Gestures for Elastic, Deformable Displays», Международная Конференция по усовершенствованным визуальным интерфейсам, 2014 год (http://www.kasperhornbaek.dk/papers/AVI2014_ Gestures.pdf). – Прим. авт.


[Закрыть] в 2014 году исследование по распознаванию жестов, где респондентов попросили показать жесты, которые они находят подходящими для выполнения различных задач, таких как выбор, навигация и трехмерное моделирование на деформируемом экране. Среди жестов, которые предлагали участники исследования, были движения за дисплеем, толчок ладонью с вытянутыми пальцами, захват и скручивание.

Интеграция тактильного ощущения за пределами экрана

Компания Disney Research Labs использует другой подход к технологии тактильной стимуляции, не делая упор на разработку специальных экранов, но развивая новые способы для взаимодействия с системой. Технология REVEL[38]38
  https://www.disneyresearch.com/project/revel-programming-the-sense-of-touch. – Прим. авт.


[Закрыть], разработанная в 2012 году Иваном Пупыревым и Оливье Бо, может обеспечить интеграцию искусственных тактильных ощущений не только в сенсорные экраны, но и в предметы повседневного пользования, такие как мебель, стены, деревянные и пластиковые предметы и даже человеческую кожу.

REVEL использует новый тактильный эффект, которому Disney Research Labs дала название реверсивная электровибрация[39]39
  От англ. Reverse Electrovibration, сокр: REVEL. – Прим. авт.


[Закрыть]. Работа устройства заключается в том, что оно выдает слабый электрический сигнал в тело пользователя, создавая колебательное электрическое поле вокруг его пальцев. Когда пользователь проводит пальцами по поверхности объекта, он чувствует соприкосновение с определенной текстурой, что создает дополненную реальность. Различные тактильные ощущения могут быть созданы путем изменения уровня сигнала.

Гладкий пластиковый предмет может показаться на ощупь шершавым и неровным, хотя на самом деле он не такой. REVEL можно применить к AR, чтобы добавить текстуру к виртуальному контенту, проецируемому на стол, стены или отображаемому через AR-очки. REVEL также может использоваться без очков или проекций для создания дополненной реальности к существующим объектам, таким как, например, стеклянные витрины в музеях, что могло бы позволить посетителям ощущать артефакты, которые могут быть хрупкими и единственными в своем роде, а в определенных случаях и вовсе недоступными для прикосновения. Кроме того, REVEL может быть настроен индивидуально под каждого пользователя и может даже использоваться для отображения личного контента, такого как подсказки при восстановлении пароля, которые вы можете почувствовать.

В 2013 году Disney Research Labs также разработала AIREAL[40]40
  От англ. Interactive Tactile Experience in Free Air. Досл. пер.: «Интерактивная тактильная технология в воздушном пространстве» (https://www.disneyresearch.com/project/aireal). – Прим. пер.


[Закрыть]. Эта технология обеспечивает тактильные ощущения в воздухе без необходимости носить или касаться какого-либо специального устройства. Такой эффект достигается путем стимуляции кожи пользователя полями давления сжатого воздуха с использованием воздушных завихрений (воздушных колец), позволяющих пользователям одновременно видеть и чувствовать проецируемые изображения.

Датчики глубины изображения, интегрированные в AIREAL, фиксируют в трехмерном режиме изменения положения рук, головы и тела пользователя. Например, спроецированная трехмерная бабочка может отображаться на руке пользователя. Движение руки пользователя отслеживается AIREAL, и направление завихрений регулируется в соответствии с движением крыльев бабочки. Первые отзывы пользователей подтверждают[41]41
  Rajinder Sodhi, Matthew Glisson, Ivan Poupyrev, «AIREAL: Interactive Tactile Experiences in Free Air», по материалам конференции SIGGRAPH, 2013 год. – Прим. авт.


[Закрыть]: «физические ощущения от взаимодействия с виртуальной бабочкой соответствуют аналогичным реальным», что, по словам одного из пользователей, «ощущается как реальность – кажется, что бабочка настоящая».

UltraHaptics[42]42
  https://www.ultrahaptics.com – Прим. авт.


[Закрыть] также позволяет вам ощущать виртуальные объекты в воздухе. В то время как AIREAL работает, направляя небольшие кольца воздуха в пользователя, чтобы имитировать прикосновение, UltraHaptics использует высокочастотные ультразвуковые волны. Ultrahaptics была разработана учеными-компьютерщиками в Бристольском университете в 2013 году в рамках проекта GHOST. Ее выделили в отдельный проект для развития коммерческого использования технологии.

С помощью UltraHaptics инфракрасный датчик отслеживает точное положение пальцев пользователя в трехмерном пространстве и позволяет точно направить ультразвук на руки пользователя, создавая ощущение соприкосновения. Компания предлагает целый ряд приложений для этой технологии, включая взаимодействие с движущимися объектами в играх VR (которые могут быть расширены до AR), а также элементы управления для автоматических панелей. В домашних условиях данная технология может использоваться для того, чтобы избегать прикосновения к кухонным приборам грязными руками во время готовки.

Компания также работает над решениями в области повышения уровня безопасности и сотрудничает с Jaguar Land Rover в рамках разработки системы воздушного сенсорного управления, применяемой в экране Predictive Infotainment. Ее целью является устранение необходимости для водителя отвлекаться, сокращая количество времени, которое ему требуется, чтобы перевести взгляд и изменить положение рук. С технологией UltraHaptics положение рук водителя на интерактивном поле отслеживается так, как если бы он держал руль, при этом система генерирует тактильное ощущение, подтверждающее связь. Вы можете почувствовать кнопки и рычаги, переключать их в воздухе и получать отклик, подтверждающий, что действие успешно совершено, и при этом нет необходимости смотреть на дисплей.

Тактильная симуляция как способ коммуникации

Возможности таких систем взаимодействия, как UltraHaptics, не ограничиваются имитацией элементов управления или ощущением виртуальных объектов. Марианна Обрист, сотрудник и преподаватель кафедры информатики Университета Сассекса (Великобритания), использует UltraHaptics для изучения возможностей передачи эмоций в общении. Обрист пишет:

Прикосновение – это мощный инструмент для общения между людьми. В настоящее время наблюдается растущий интерес к разработкам интерактивных систем, которые отвечают за передачу эмоций, помимо голоса и мимики. В частности, общение и передача эмоций при прикосновении – это область исследований, которая открывает новые возможности для разработок в сфере эмоционально-ориентированного общения.

Обрист обратила внимание на то, как технологии следующего поколения, такие как UltraHaptics, могут, стимулируя различные области рук, передавать ощущение счастья, грусти, волнения или страха. Короткие, резкие струи воздуха, попадая в область вокруг большого пальца, указательного пальца и средней части ладони, создают волнение, а печальные чувства создаются медленной и умеренной стимуляцией внешней стороны ладони и области вокруг мизинца.

Обрист приводит пример пары, у которой случилась ссора утром перед уходом на работу. Когда они снова встретятся, женщина испытает приятные ощущения, передаваемые через ее браслет в середину ладони. Это чувство успокоит ее и укажет на то, что ее партнер больше не сердится.

Обрист считает, что данная технология имеет многочисленные возможности для применения. Она предоставляет новые способы общения не только слепым и глухим людям, но и вообще всем. Она может применяться как при взаимодействии двух людей, например, как отдельная тактильная система между парой или друзьями, так и при взаимодействии сразу нескольких получателей, например, в кинотеатре – для усиления впечатления от просмотра.

Smartstones[43]43
  http://www.smartstones.co – Прим. авт.


[Закрыть], компания, расположенная в Санта-Барбаре, Калифорния, работает над тактильной системой взаимодействия для друзей и близких, чтобы они могли общаться без помощи слов. Платформа Smartstones позволяет настраивать библиотеку сообщений и отправлять и получать их с помощью простых жестов. Электронное устройство под названием Touch имеет форму гладкого камня, который можно носить как подвеску или браслет или просто держать в руке. Сообщения принимаются на Touch как уникальная комбинация вибраций и вспышек светодиодов, называемая Hapticon.

Каждый камень имеет Bluetooth-соединение, гироскоп, светодиодные фонари, динамик, емкостный сенсорный интерфейс (который распознает и реагирует на легкие касания) и библиотеку распознавания жестов. Хотя для использования Touch смартфон не требуется, есть специальное приложение, которое позволяет вам запрограммировать его, заставляя реагировать соответствующим образом на различные типы касаний. Вы можете использовать его для создания собственной уникальной системы общения и даже отправки секретных сообщений. Камень можно запрограммировать на отправку любимому человеку сообщения «думаю о тебе» двойным касанием или «чувствую себя взволнованно», если потереть его пальцем. Также он умеет распознавать такие типы касаний, как смахивания, нажатия и встряхивания.

Хотя Smartstones могут использовать все, продукт первоначально предназначался для пожилых людей, у которых был инсульт или неврологическое заболевание, такое как боковой амиотрофический склероз. Smartstones также заинтересовал родителей детей, страдающих аутизмом. Одной из главной целей создания устройства было предоставить возможность общения тем людям, которые не могут это делать устно. При помощи этого устройства каждый может общаться быстрым и простым способом, не тратя время на изучение таких альтернативных средств коммуникации, как шрифт Брайля или язык жестов. «Мы, по сути, создаем платформу для непрерывного взаимодействия большого количества людей, – комментирует[44]44
  Andreas Forsland, «Augmenting Life. Unlocking Minds», Linkedin (https://www.linkedin.com/pulse/augmenting-life-unlocking-minds-andreas-forsland). – Прим. авт.


[Закрыть] Андреас Форсленд, основатель и генеральный директор Smartstones. – Сегодня мы фокусируемся на межчеловеческой коммуникации, стараясь расширить границы возможностей человеческого взаимодействия и повысить его качество. Особенно это ценно для людей с нарушениями речи, такими как аутизм, боковой амиотрофический склероз, афазия». Используя систему взаимодействия, устройства Smartstones могут отправлять импульсы с камня на камень, преобразовывать данные в текст или даже в голосовые сообщения.

Работы Обрист и Форсленда посвящены технологиям, поддерживающим более сложные формы цифровой коммуникации и новые виды взаимодействия пользователей с использованием рук, языка и эмоций. В то время как наша жизнь становится все более «цифровой», такие проекты помогают восстановить и, возможно, даже вывести на новый уровень важность прикосновений в век технологического прогресса, придавая новое значение тактильности и создавая новый способ понять мир и друг друга.