Текст книги "Медицинский путеводитель по виртуальной реальности"

Технологии виртуальной реальности

И сразу придётся оговориться…

Здесь и далее во всей книге речь будет идти исключительно о виртуальной реальности, порождённой техническими средствами. В литературе иногда можно встретить понятие виртуальной реальности, вызванной изменёнными состояниями сознания, медитацией и прочее. Мы подобные случаи рассматривать не будем – отметём их как не имеющие отношения к науке. Применение термина «виртуальная реальность» в этих случаях, по меньшей мере, является терминологической ошибкой.

Ранее, до бурного развития компьютерных технологий и появления коммерчески доступных бытовых (преимущественно игровых) средств создания VR, под виртуальной реальностью подразумевали предмет (совокупность предметов) или состояние (совокупность состояний), которые являются копиями или даже не существуют в объективной реальности. Благодаря широкому внедрению компьютерных технологий термин «виртуальная реальность» стал применяться преимущественно для обозначения особых устройств, предоставляющих пользователю стереоскопическое изображение компьютерного интерфейса, с которым можно интерактивно взаимодействовать.

Мы не будем говорить здесь об Интернете и киберпространстве как якобы виртуальной реальности; мы не будем вести речь о виртуальной реальности, не связанной с техническими средствами её порождения, так как таковой виртуальной реальности не существует (со строго научной точки зрения). Речь идти будет только о VR, связанной с генерацией стереоскопического изображения и приводящей к развитию у воспринимающего его человека эффекта присутствия.

Именно такая виртуальная реальность составляет ту территорию, по которой мы проведём маршрут нашего мысленного путешествия.

Технические средства создания виртуальной реальности с одной стороны ограничены техническим прогрессом и вычислительными мощностями. А, с другой стороны, ещё более сильно ограничены анатомией и физиологией воспринимающего существа – человека.

Даже при наличии сильного желания разработать VR-шлем для циклопа Полифема это не удалось бы сделать. Для создания стереоскопической картинки необходимо наличие бинокулярного зрения – и, следовательно, наличие двух (как минимум) глаз.

Что же включат в себя эти технические средства порождения виртуальной реальности? Что они из себя представляют?

Начнём с истории.

В 1962 году американский инженер Morton Heilig получил патент на установку, которую можно считать прародительницей технологий виртуальной реальности – мультимодальный кинотеатр Sensorama. Зритель, уютно расположившись в кресле, помещал свою голову в раструб футуристического дизайна, и далее за 0,25 $ (немалая сумма по тем временам) он посмотреть на выбор один из пяти коротеньких фильмов, длившихся по две минуты. В основном эти ролики сводились по своему сюжету к своего рода гонкам, однако пользователь установки был не водителем, а пассажиром: установка не подразумевала интерактивного взаимодействия с ней. Sensorama могла предложить неизбалованному зрителю середины прошлого века испытать на себе воздействие цветного стереоизображения, стереозвука, запахов, и ветра (то есть потока тёплого воздуха из встроенного фена). Кресло было сделано вибрирующим для усиления полноты ощущений.

В 1965 году Айвен Сазерленд (пионер IT-отрасли и автор массы изобретений, которые легли в основу современных интерфейсов взаимодействия человека с компьютером) представил свою разработку – устройство, считающееся первым в истории шлемом виртуальной реальности. Имя ему было «Дамоклов меч». Изображение генерировалось с помощью компьютера, хотя термин «компьютерная графика» здесь применим с трудом. Сначала видеосигнал выводился на два монитора, основанных на электронно-лучевых трубках, а затем изображение с них по оптической системе передавалось на окуляры. Система обладала некой степенью интерактивности: изображение менялось в зависимости от движений головы пользователя.

Установка виртуальной реальности Айвена Сазерленда называлась «Дамоклов меч» отнюдь не случайно. Тяжёлое устройство, подвешенное через систему блоков, фиксировалось на голове испытателей. Конечно, им было страшно, ведь десятикилограммовая конструкция с двумя электронно-лучевыми трубками внутри вот-вот норовило упасть им на хрупкие головы. (Представьте себе, что вам на голову повесили два старых бабушкиных телевизора, и вам станет понятно, что из себя представляло это устройство).

Следующей важной вехой в истории разработки виртуальной реальности стал проект Массачусетского технологического института «Кинокарта Аспена», реализованный в 1978 году. С помощью специальной установки на крыше автомобиля были сняты на 16-миллиметровую киноплёнку улицы городка Аспена. Эти изображения потом были оцифрованы и переведены в текстуры, «натянутые» трёхмерные модели зданий. Затем было сгенерировано много коротких видеороликов «езды» по городу, один фрагмент на один квартал. Ролики записали на передовой по тем временам оптический носитель LaserDisc, откуда они считывались в зависимости от направления движения, которое пользователь выбирал с помощью меню, выведенного поверх картинки. Были сделаны две виртуальные версии города – летняя и зимняя.

«Кинокарта Аспена» была сделана с целью демонстрации технологии создания объёмного изображения, в которое человек мог быть полностью погружён. Цель проекта, помимо демонстрации технологий, развлекательная. Параллельно с этим проектом велись разработки первых технологий виртуальной реальности в утилитарных целях.

В 1985 году для NASA была разработана относительно дешёвая станция виртуальной реальности. Она представляла собой систему из шлема VIVED (Virtual Visual Environment Display) и компьютера PDP-11/40 производства Digital Equipment Corporation. Станция была оснащена двумя 19-дюймовыми мониторами, камерами, датчиками движения головы и специально разработанной схемой обработки видеосигнала. Станция использовалась для таких задач, как исследование поверхности других планет, гидродинамическое моделирование, управление космическими роботами.

Космонавтика и авиация оказали существенное влияние на развитие технологий VR. C 1985 года виртуальная реальность стала всё более активно применяться в авиакосмических тренажёрных системах. Отмечу между строк, что исследований в области VR, участником которых мне посчастливилось являться, так же были порождены космической отраслью

Футуролог, философ и диджерати Джарон Ланье (тогда – просто разработчик и дизайнер цифровых сред) в 1984 году основал компанию VPL Research. Среди её разработок – перчатка для интерактивного взаимодействия с компьютером, умные костюмы для считывания и преобразования в цифровой сигнал движений человека, а так же достаточно передовые и компактные шлемы виртуальной реальности. Виртуальные среды, разработанные в VPL, применялись как для демонстрации технологий и в развлекательных целях, так и в качестве симуляторов и тренажёров, в том числе и в области медицины. Ланье выступил консультантом мрачного фильма об ужасах компьютерных технологий и виртуальной реальности «Газонокосильщик»; в этом фильме можно увидеть множество аппаратных решений тех лет, массу винтажного электронного оборудования, «прикрученного» к совершенно нелепому, на мой взгляд, сюжету.

Из-за многочисленных трудностей и несовершенства технологий разработка систем виртуальной реальности в 1970 – 1980-х годах осуществлялась робкими темпами. Однако к началу 1990-х развитие микроэлектроники и рост вычислительных мощностей позволили снова вспомнить о столь многообещающей идее. В 1991 году Sega громко разрекламировала шлем Sega VR, сообщив, что выпустит его в продажу в ближайшее время. Довести продукт до уровня коммерческой привлекательности им не удалось, и в 1994 году проект был закрыт. Причина закрытия проекта связана с серьёзными вестибулярными расстройствами, которые возникали у пользователей.

На стыке конца 80-х – начала 90-х годов прошлого века появились британские игровые автоматы Virtuality, оснащавшиеся шлемами с задержкой не более 50 миллисекунд, джойстиками, микрофонами и возможностью взаимодействия между несколькими пользователями по сети. Эти игровые автоматы не были портативными и не могли применяться индивидуально. В каждом шлеме стояли два LCD-дисплея с разрешением по 276 × 372 пикселя. Столь посредственное разрешение было крайнее некомфортно для пользователя; чтобы понять это, приблизьте лицо настолько близко к монитору, что вам станут видны отдельные пиксели, и представьте после этого, что вы всю окружающую вас реальность видите будто бы составленной из таких крупных пикселей.

В конце 1994 года компания Victormaxx выпустила свой шлем CyberMaxx. Разрешение каждого экрана составляло 505 × 230 пикселей, при этом можно было настраивать цветовой оттенок изображения. Стоил шлем достаточно дорого и был весьма требователен к производительности компьютера. Широкого распространения аппарат не получил, так как для него не было представлено качественное программное обеспечение. Слаба была и эргономика. Помните, недавно я сравнивал «Дамоклов меч» с двумя старыми телевизорами, представленными? К 90-м годам usability и комфорт шлемов виртуальной реальности продолжал оставлять желать лучшего. Все они были словно всё тот же бабушкин телевизор, правда, чуть полегче, но в него необходимо было помещать всю голову пользователя…

В 1995 году фирма Nintendo так же попыталась выпустить свой игровой, бытовой шлем VR. Её весьма специфический продукт, имевший монохромное изображение, получился абсолютно провальным. Причина провала заключалась, как и в предыдущем примере, в отсутствии привлекательного для пользователя программного обеспечения.

В том же 1995 году компания Virtual IO выпустила свою версию шлема: i-glasses. Это был довольно интересный продукт: компактный, лёгкий, удобный в ношении. К сожалению, мобильность у этого шлема была условной: куча кабелей, блок питания, собственный системный блок, не считая самого устройства. Разрешение изображения достигало уже 640 × 480 пикселей. Это уже было вполне приемлемое расширение, не вызывающее преждевременной усталости зрительного анализатора при эксплуатации.

Через пару лет на рынке появился шлем Glasstron, разработанный в Sony. Было выпущено несколько моделей, наилучшая из которых обладала разрешением 800 × 600. Шлем имел возможность переключения режимов управления: либо игрок двигался по направлению своего взгляда, либо движение и обзор становились независимыми, чтобы можно было, например, покрутить головой в кабине самолёта при игре в виртуальный симулятор.

До начала «нулевых» годов было проведено ещё несколько попыток продвинуть VR в массы, но все оказались неудачными. Экспансия виртуальной реальности на рынок бытовых игровых устройств захлебнулось. Развитие виртуальной реальности было связано в ту пору преимущественно с профессиональной сферой применения, например, для тренажёров и симуляторов. Крупные научно-исследовательские государственные институты, серьёзные организации, такие как NASA и DAPRA, могли себе позволить выделять существенные суммы на исследования. Они могли позволить себе дорогое и выпускающееся малой серией оборудование. На широком рынке такое оборудование было бы обречено на провал.

На какое-то время спустя описываемых тут событий интерес к виртуальным технологиям заметно поубавился, несмотря на интернет-революцию и всеобщую мировую компьютеризацию. Вторая попытка сделать виртуальную реальность доступной массовому пользователю состоялась спустя 16 лет, и продолжается в настоящий момент.

Компьютерный энтузиаст Палмер Лаки в 2011 году собрал прототип доступного широкой аудитории шлема Oculus Rift. Вскоре шлем поступил в массовое производство. Так технологии VR стали доступны многим, а не избранным единицам. Уже в 2014 году Facebook ( организация запрещена на территории РФ)   приобрёл фирму 2014 г. Oculus VR за 2 000 000 000 $. (Отмечу, что Палмеру Лаки – всего тридцать лет; систематического инженерного образования он никогда не получал. Это только преувеличивает его заслуги. Свой первый шлем виртуальной реальности он собрал в гараже родительского дома из запчастей, приобретённых на деньги, которые он заработал на ремонте мобильных телефонов соседей. VR была и остаётся отчасти технологической отраслью преимущественно для энтузиастов… и для гиков.)

Рынок бытовых и относительно недорогих шлемов виртуальной реальности стал стремительно развиваться. Появились шлемы, доступные для подключения к игровым консолям, к компьютерам, и автономные шлемы на операционной системе Android, не требующие подключения к внешним устройствам для работы.

2013-2017-е годы стали особенно насыщенными в плане выхода устройств виртуальной реальности. Поступили в продажу и стали доступны для широкого круга пользователей очки виртуальной реальности HTC Vive, упомянутый чуть ранее Oculus Rift, Sony PlayStation VR, Microsoft Hololens, Sumsung Gear VR и другие.

Появление на рынке доступных технологических решений привело к расширению круга исследований, связанных с виртуальной реальностью. Научные исследования в области VR стали, таим образом, доступнее. Сама технология VR стала активнее применятся в самых разных областях – в образовании, в медицине, в психологии.

Такова краткая хронология развития событий.

Теперь разберёмся, не вдаваясь в сложные детали, в том, как эти VR-гарнитуры работают.

Любой шлем, от минималистического Google Cardboard до полноценного HTC Vive устроен сходным образом. Это корпус, в котором, тем или иным образом, перед глазами пользователя закрепляются два экрана). Линзы фокусируют устремление глаза в бесконечность. На каждый глаз подается отдельная картинка, и общую картину каждым глазом пользователь видит под немного разным углом, как и в реальности. Это позволяет создать стереоскопическую, то есть объёмную, картинку. Так возникает явление виртуальной реальности: у человека возникает абсолютно полная иллюзия, что он находится не в своей комнате перед компьютером, а в совершенно ином месте.

Разобранный шлем VR Oculus Rift. Любой шлем виртуальной реальности состоит из двух жидкокристаллических мониторов под каждый глаз человека и двух линз под каждый глаз. А также он включает в себя некоторое количество электронных «мозгов». В случае самых простых VR установок, таких, как Google CardBoard «мозгов» и экранов и вовсе нет как таковых – вместо них вставляется смартфон. В случае неавтономных шлемов виртуальной реальности, требующих подключение к компьютеру, «мозги» представляют собой интерфейс, соединяющий экран шлема и компьютер; шлем выступает в качестве устройства ввода/вывода по отношению к компьютеру. В случае автономных шлемов их «мозги» включают в себя небольшой компьютер, по архитектуре и вычислительным мощностям близкий современному смартфону; работают они как правило, под управлением операционной системой Android. «Мозги» шлема обеспечивают не только развёртку изображения на каждый экранчик, но и отслеживание положение головы пользователя в пространстве, а так же беспроводную связь с джойстиками, служащими устройствами управления и ввода (контроллерами). Этот шлем я специально разобрал ради красивой иллюстрации, но так и не смог собрать его обратно…

Каждый шлем обладает теми или иными системами трекинга – то есть систем отслеживания движений головы пользователя. Это позволяет подстраивать объёмную «картинку» к положению человека, что усиливает его вовлечённость в виртуальную среду.

Критическими параметрами для комфортного использования шлема виртуальной реальности являются во многом параметры дисплея, используемого в устройстве, а именно разрешение, частота обновления экрана и угол обзора. В настоящее время достигнуты достаточно высокие значения разрешения (1280х1440) и частоты обновления (90 Гц), однако увеличение этих параметров лимитировано техническими возможностями компьютеров, обрабатывающих изображение. Пользователь при этом продолжает ощущать недостатки картинки, проявляющиеся, например, при движении головой, когда очередной кадр не успевает сформироваться из-за недостаточной частоты обновления экрана. Такие недостатки могут оказывать влияние на самочувствие пользователей, вызывать рябь в глазах, тошноту, мешая восприятию сюжетов, препятствуя погружению в виртуальную реальность.

Общий технический принцип, заключающийся в создании цифрового стереоизображения, в которое человек мысленно погружается, абстрагируясь от объективной реальности, остаётся прежним во всех устройствах VR.

Способность установки виртуальной реальности вызывать эффект погружения во многом зависит от количества сенсорных систем организма человека, на которые эта установка может воздействовать. Гипотетически, чем больше модальностей воздействия, тем выше способность VR создавать иммерсивность.

Поясню это шуточно. Если я напугаю вас резким звуком, или оболью холодной водой, или внезапно засвечу вам мощной лампой в лицо – в каждом из этих случаев будет задействована одна модальность. Если я одновременно накричу на вас, оболью холодной водой, а ваше лицо и глаза окажутся под мощным потоком света, поскольку я навёл на вас мощную настольную лампу для допросов – будут задействованы сразу три модальности. Уверен, когда три модальности сразу – эффект (ответная реакция) будет куда ярче.

Технические средства порождения виртуальной реальности обладают определённым и ограниченным количеством модальностей воздействия. Классический шлем виртуальной реальности прежде всего воздействует на систему зрения человека. Вторая модальность – аудиальная, связанная со звуками, воспроизводимыми в наушниках, встроенных в шлем. Некоторые установки VR обладают возможностью воспроизводить некоторые виды тактильных ощущений – посредством нагревания рук пользователя или вибрационного воздействия. (Это называется гаптика.)

Следует помнить, что количество модальностей воздействия VR всегда меньше, чем количество видов восприятия, доступных человеку.

Приведу мнемоническое правило. Я слышал, что вчерашний чёрный холодный квадрат по своему запаху шершавый на вкус и болит. В этой на первой взгляд бредовой фразе зашифрованы все виды восприятия (перцепции), доступные человеку. Их, как цветов радуги, всего семь: слух, время, зрение (различают восприятие формы и восприятие цвета), обоняние, осязание и интероцепция (восприятие внутренних стимулов организма, таких как боль). Технически пока нет возможности создать такую установку виртуальной реальности, которая воздействовала бы на все виды восприятия.

Это объясняет, почему невозможна «Матрица» (не стоит верить киношникам!..) и почему мы живём в объективной реальности, а не в симуляции.

Даже в околонаучных кругах последнее время часто обсуждают гипотезу – дескать, объективной реальности не существует, и мы все живём в симуляции, в компьютерной программе, в виртуальной реальности. Это невозможно по целому ряду причин. Во-первых, нет возможности оказывать воздействие на все виды перцепции (восприятия), доступные человеку. (Это оказалось бы возможным только при наличии нейромодуля, вживлённого напрямую в мозг, но такие технологии ещё не существуют; вдобавок, опытные нейрокомпьютерные интерфейсы недолговечны, так как их микроскопические контакты быстро зарастают клетками глии и покрываются миелином, после чего приходят в негодность.) Во-вторых, при передаче информации неизбежны искажения и потери, которые сделали бы «картинку» нереалистичной. В-третьих, при формировании визуальной картины мира зрительная система человека обрабатывает поток информации в 10 миллионов бит в секунду. Не всякая вычислительная система (компьютер) способна работать столь оперативно.

Спекуляции на эту тему показывают нам, что человек хоть и является слабым звеном в любой системе «человек – машина», но остаётся существом невероятно сложным; существом, которое невозможно полностью скопировать.

Так что, повторюсь, виртуальная реальность ограничена с одной стороны техническими возможностями средств её порождения, а, с другой стороны, она ограничена человеческими возможностями.

Для понимания сказанного выше, для понимания ограниченности человеческих возможностей, добавлю вот что.

Человек вообще не способен воспринимать ни виртуальную, ни объективную реальность в полноте её свойств и качеств. Более того, мы видим вещи не такими, какие они есть, а такими, какими они нам кажутся исходя из нашей собственной интерпретации этих вещей, накопленного опыта чувственного восприятия, способностей мозга и отдельных деталей строения сенсорных систем. В мире есть ультрафиолет, который мы не видим, и ультразвук, который мы не слышим. Цветов больше, чем мы способны воспринимать; диапазон слуха у нас так же ограничен. Вообще, вопросы восприятия всецело опосредованы анатомией и физиологией – и сугубо видоспецифичны. (Собака слышит больше, чем человек, но улитка видит меньше, чем люди обычно видят.)

Наше восприятие, таким образом, ограничено нашим анатомическим строением и мы не можем этого преодолеть. С другой стороны, наше восприятие не имеет смысла для мозга, если мы не можем интерпретировать внешние стимулы, наделяя их психологическим смыслом. (Для понимания этого сравните восприятие шума, который не будет иметь смысла, и восприятие музыки, которая рождает психологический образ и радикально меняет настроение – от улыбки до слёз, в зависимости от музыкального произведения.)

Нам это важно в связи с нижеследующим.

В виртуальной реальности можно изобразить практически всё что угодно, но это будет ограничено техническими возможностями; при этом далеко не всё из этого «всё что угодно» может быть воспринято человеком и интерпретировано им (наделено смыслом).