Текст книги "Человеко-компьютерное взаимодействие"

2.4. WIMP-интерфейс

WIMP-интерфейс – это наиболее часто используемый интерфейс в настоящее время. Все продукты компании «Microsoft» основаны на нем (все версии Windows, в том числе и для операционной системы UNIX, и многие системы для Макинтошей). Аббревиатура WIMP – это Windows (окна), Icons (значки, иконки), Menus (меню), Pointers (указатели мыши). Иногда – Windows, Icons, Mice (мышь), Pull-down menus (выпадающие меню). Опишем по очереди каждый элемент – Windows, Icons, Menus, Pointers. Отметим, что кроме этих элементов широко используются кнопки, инструментальные панели, палитры, диалоговые окна и др. Их принято называть widgets, что лучше всего перевести, как «прибамбасы». Наборы таких «прибамбасов» образуют инструментарий взаимодействия человека с компьютером. Современные оконные системы используют одинаковые наборы «прибамбасов» для реализации основного принципа – видеть и чувствовать.

Windows. Окна могут по-разному располагаться, быть наложенными друг на друга или располагаться каскадом, менять размеры, развертываться во весь экран, свертываться в иконку. Важная часть окна – наличие скролл-бара для перетаскивания содержимого в видимую часть (что делает окно аналогом реального окна).

Icons. Маленькая картинка служит «представителем» закрытого окна, позволяя развернуть его, когда потребуется. Такая картинка – напоминание о существовании окна, экономит место на экране. Иконки также служат для отображения других элементов системы, являясь их «сверткой», например мусорная корзина, разные диски, папки и пр. Варианты изображения иконки могут быть самыми разнообразными и служат мнемоническими правилами, позволяющими по виду иконки понять, что за ней скрывается. Разные варианты иконок показаны на рис. 2.1.

Рис. 2.1. Разные варианты иконок

Menus. Описание меню дано в разд. 2.3.

Рис. 2.2. Разные варианты форм курсоров

Pointers. Указатели – основа функционирования WIMP-интерфейса. Большое значение имеет форма курсора. Скажем, стрелка, либо вертикальная полоска, либо курсор меняют форму при изменении функции (стрелка заменятся крестом при рисовании линий). Форма указателя может также информировать о состоянии системы: иметь вид песочных часов, если выполняется программа и надо подождать. Форма указателя подобна иконке, но в дополнение к ней указатель имеет так называемую hot-spot (активную область); если указатель в форме стрелки (любого вида), то центр этой области – на острие стрелки, если в виде указывающего пальца – на кончике этого пальца, но есть формы, когда активная область не столь очевидна (и это плохо). При выборе формы указателя следует всегда заботиться об очевидности активной области. Варианты указателей показаны на рис. 2.2.

Рис. 2.2. Разные варианты форм курсоров

Используются и другие элементы, например диалоговые окна (они могут быть также всплывающими или нет, иметь текст, иконку или и то и другое), наборы инструментальных кнопок (toolbars), при нажатии на которые происходят какие-то часто встречаемые действия.

2.5. Трехмерный (пространственный) интерфейс и виртуальная реальность

Такой тип интерфейса все более востребован последнее время. Самая убедительная иллюстрация этого – виртуальная реальность, но этим отнюдь не исчерпывается круг возможных приложений 3D (3-Dimensions, т.е. трехмерных образов). В целом же пространственный интерфейс сочетается с другими возможностями, особенно в WIMP-интерфейсах.

Простейший случай – использование в WIMP-интерфейсе элементов объемности, к примеру затенения (для кнопок, полос прокрутки и др.). Разумно используемый эффект трехмерности позволяет подсветить активные (или какие-то нужные) области. К сожалению, во многих интерфейсах злоупотребляют этими эффектами, скульптурно выделяя каждый фрагмент текста, меню, границы, в результате чего теряется смысл это мощного средства. В пространственных интерфейсах объекты обычно плоские, но путем изменения их размера создают ощущение удаленности-приближенности. Для создания ощущения трехмерности пользуются углом освещения, размерами (о которых мы сказали) и наложениями одних изображений на другие.

Трехмерные интерфейсы в большинстве случаев относятся к интерфейсам прямой манипуляции. Смысл в том, что пользователь не отдает команды системе, а манипулирует объектами, что более естественно. Первым популярным применением этого метода была корзина для удаления файлов на Macintosh (начиная с Windows 95 такая корзина стала стандартом и в мире Windows, хотя существовала и раньше). Ограничимся констатацией того простого факта, что, если перетащить в нее пиктограмму файла, этот файл будет удален.

Важно понимать еще две вещи. Во-первых, для достижения достаточной эффективности не следует стараться наиболее реалистично отражать действие, значительно важнее более реалистично отразить объект, над которым это действие совершается. Например, компьютерную панель управления работой осветительных приборов не обязательно снабжать точными изображениями выключателей. Главное – реалистично отразить на ней план помещения и расположение источников света, равно как и показать прямую (читай – непосредственную) связь между этой информацией и собственно выключателями. Во-вторых, бывают ситуации, когда эффективность непосредственного манипулирования уравновешивается неэффективностью физических действий пользователя.

Термин «виртуальная реальность», или «виртуальное окружение», означает, что создается такое компьютерное изображение, которое, находясь в согласии с прошлым опытом человека, интуитивно воспринимается им как естественное. Виртуальная реальность отличается от множества других компьютерных образов выполнением следующих условий:

• графическое изображение должно позволять выполнять пространственные преобразования, зависящие, скажем, от пространственного положения пользователя;

• все три оси, описывающие положение объектов в пространстве, должны быть активны, т.е. задействованы;

• изменения объектов на экране должны соответствовать их реальным изменениям в трехмерном пространстве;

• должно быть реализовано большинство интуитивно возможных взаимодействий с предъявляемым объектом в реальном мире;

• должны быть возможны преобразования объектов по всем реальным или требуемым степеням свободы;

• реакция объектов на воздействие должна происходить в квазиреальное время.

Виртуальная реальность есть результат отделения (можно даже сказать, отрыва) логического представления процессов от их физической сути. Для человеко-компьютерного взаимодействия под логическим представлением понимается представление пользователя о системе. Наиболее ярким примером этого являются файловые системы – мы давно уже не задаемся вопросом, какие конкретно блоки на дисках занимают те или иные данные, более того, содержимое файлов совершенно не зависит от того, как именно и на каких носителях они лежат. Современным примером в этой области являются виртуальные массивы EVA, существенно изменившие подход к управлению ресурсами в сетях хранения данных. Но сегодня развиваются еще и виртуальные центры обработки данных, значит, кроме виртуальных систем хранения данных внедряются и виртуальные машины.

Виртуализация требует наличия средств преобразования логического представления в физическое и обратно. В качестве ресурсов, подвергающихся виртуализации, могут выступать как программные, так и аппаратные средства. Главное – возможность разделения объекта виртуализации на отдельные блоки, каждый из которых можно сравнительно легко преобразовать в требуемую форму. Скажем, если мы хотим использовать многопоточную обработку, например, на многопроцессорной машине, приложение должно быть разделено на потоки (thread) – относительно независимые нити выполнения, которые можно исполнять параллельно как на нескольких процессорах или даже машинах, так и на одном процессоре (но с точки зрения приложения тоже параллельно). В этом случае преобразователь может быть встроен в операционную среду, чтобы обеспечивать взаимодействие и изоляцию приложений и их частей.

На уровне приложений, например, виртуализация существует давно: еще в 1960-1970 гг. ею пользовались для создания псевдомногозадачных сред. Примерно тогда же появились виртуальные машины в мэйнфреймах IBM. Это позволило перейти от пакетной обработки данных к интерактивным приложениям и обеспечить параллельную работу нескольких пользователей или приложений. Сегодня большинство операционных систем поддерживает параллельную обработку приложений и может обслуживать одновременно несколько пользователей, а средства виртуализации продолжают развиваться, например, в сторону обеспечения одновременной работы нескольких операционных систем на одной машине. Современный уровень развития средств виртуализации позволяет временно не задействованным ресурсам приносить реальную пользу. Виртуализация дает конкурентные преимущества, именно поэтому она столь популярна.

Для человеко-компьютерного взаимодействия основной смысл виртуальной реальности состоит в создании автономных программных приложений, чьи абстрактные репрезентации ориентированы в большей степени на представления пользователей, чем на реальные объекты. В этой связи уместно помнить, что в виртуальной реальности могут происходить и невыполнимые преобразования. Создать же абсолютную имитацию естественного мира с его бесконечным разнообразием невозможно, потому что это означало бы создание совершенной психической модели мира.

Степень погружения пользователя в виртуальную реальность зависит от правдоподобности этой реальности. Погружение имеет технические измерения: содержательно-изобразительное, индивидуально-психологическое. Цель погружения достигнута, когда пользователь верит, что находится не в том мире, где располагается его физическое тело. Различают внешние и внутренние факторы погружения; внешние факторы определяются используемой технологией, а внутренние отражают субъективный опыт взаимодействия с подобными объектами.

Виртуальное окружение должно соответствовать субъективным ожиданиям человека, т.е. быть почти абсолютной метафорой (см. разд. 4.4) и таким образом расширять его возможности овладения предметом и принятия решений. Разработка ПИ и инструментария должна при этом отвечать следующим принципам:

• трехмерности объектов на экране;

• прямой манипуляции и интуитивному взаимодействию с объектами вместо ввода команд;

• интерактивности, а не формализованной последовательности действий;

• мультисенсорной адресации, а не только зрительно воспринимаемой.

Эти требования вытекают из основной цели – человеко-компьютер-ное взаимодействие должно быть аналогичным взаимодействию с реальным миром, где важны и формы, и фактура, и звуки, и осязательные ощущения, и запахи, и окружение. Все сенсорные каналы человека в идеале должны участвовать во взаимодействии.

В последнее время широкий круг разработчиков стремятся создать трехмерный, т.е. объемный, интерфейс, который смог бы стать по-настоящему массовым продуктом. Несмотря на то что уже известно множество способов создания объемных изображений, в этой области постоянно патентуются новые изобретения. При этом одни исследователи концентрируют усилия на создании изображений не на экране, а в воздухе, другие – на создании трехмерных изображений, пусть даже и на экране.

В 2001 г. в Южной Корее были представлены первые разработки так называемого Walk-thru Fog Screen («прогулка сквозь туманный экран») – плоского экрана, состоящего из частиц, напоминающих дым или туман, на который проецируется изображение. Экран состоит из ламинарных потоков воздуха, которые нагнетаются сверху и перемещаются упорядоченными слоями, параллельными направлению течения. Между слоев воздуха закачивается туман, на который и проекцируется изображение. В результате получается плавающая в воздухе картина, сквозь которую можно проходить или даже изменять ее, используя специальную аппаратуру. Создатели предлагают использовать свое изобретение в качестве декораций для театров, улучшения дизайна помещений, визуальных презентаций, рекламы.

В том же году корпорация «IO2 Technology» презентовала устройство, проецирующее в воздухе изображение, которое можно крутить руками. Это устройство не создает туман или другое вещество, а изменяет свойства воздуха так, что при освещении специальными приборами на нем проецируется изображение. Изображение, как и в случае с ламинарным экраном, не имеет физической глубины, является плоским, двумерным. Изобретение выпущено в продажу в виде проектора с диагональю 30 дюймов и разрешением до 1024 x 768 dpi (и стоимостью около 25 тыс. долл.).

Другим направлением стало создание мониторов, изображение на которых выглядит объемным. Трехмерное восприятие здесь достигается за счет того, что изображение, поступающее в левый глаз отличается от изображения, поступающего в правый. Этот эффект используется в объемном кино: камера снимает с помощью двух объективов, расставленных как человеческие глаза, а при демонстрации фильма зрителю нужно надеть специальные очки с соответствующими светофильтрами, разными для каждого глаза.

Сотрудники Института имени Генриха Герца в Берлине представили на выставке CeBIT-2005 новую технологию создания объемных изображений «Mixed-Reality», позволяющую просматривать ЗD-изобр-жения без специальных стереоочков. Первую такую разработку продемонстрировала компания «Sharp» летом 2004 г. Пример такого дисплея показан на рис. 2.3. В 2004 г. германская компания «SeeReal Technologies» выпустила на рынок трехмерный двадцатидюймовый LCD-монитор с самым высоким в мире разрешением: 1600 x 1200 dpi. Монитор воспроизводит 16,7 млн цветов, имеет яркость 250 кд/м² и контрастность 400: 1. В основе работы этого дисплея лежит уникальный принцип отслеживания положения глаз пользователя в пространстве: система подстраивает изображение таким образом, чтобы каждый глаз видел свою картинку. При этом никаких очков для использования монитора не нужно. Этот дисплей пригодится не только фанатам игр, но также медикам, физикам и конструкторам, ведь он позволяет моментально получать гораздо больше информации о предмете, будь то новая деталь самолета или белок.

Рис. 2.3. Пример вертикально расположенного ЗD-дисплея

Похожую систему представила в 2005 г. компания «Grundig» для телетрансляций. Классическая телевизионная панель была переработана: поверх экрана появился фильтр, позволяющий транслировать разные картинки для левого и правого глаза.

В 2005 г. калифорнийской компанией «EP Industries» запатентовано изобретение, позволяющее снимать объемное кино без использования двух параллельных потоков информации для каждого глаза. Система «Circlescan 4D» работает на основе эффекта Пульфриха: левый и правый глаз видят изображение с задержкой во времени благодаря тому, что на один глаз надевается темный светофильтр. Из-за светофильтра человеческий мозг обрабатывает информацию на долю секунды медленнее, поэтому, если камера смещается во время съемки, в разные глаза попадает разное изображение. Система «Circlescan 4D» работает на основе вращающихся зеркал, которые направляют изображение в объектив кинокамеры, поэтому движение камеры при съемке не обязательно и не влияет на результат. Снятые таким образом фильмы могут быть показаны на самом обычном экране, от зрителя требуется лишь использование затемняющего фильтра для любого глаза.

В конце 2004 г. группа сотрудников Кембриджского университета, образовавшая компанию «Light Blue Optics», разработала первый голо-графический проектор для мобильных устройств, основой которого является чип, способный генерировать до 200 голограмм в секунду.

Перспективной разработкой ЗD-дисплеев можно признать разработку японской компании «Toshiba», предложившей технологию, позволяющую создавать объемные изображения с многометровой визуально воспринимаемой глубиной на плоском, горизонтально лежащем дисплее. Созданы два жидкокристаллических экрана размером 15,4 и 24 дюйма, которые располагаются горизонтально и проецируют изображение над собой. Физическое разрешение матриц дисплеев составляет 1920 х 1200 точек, однако изображения, на которые следует смотреть под углом (а не отвесно вниз), имеют разрешение 480 х 300 точек, так как при взгляде с разных положений наблюдателю открываются различные пиксели, отвечающие за тот или иной угол просмотра. Сверху матрицу прикрывает специальное стекло с решеткой из множества маленьких линз, которые обеспечивают распространение различных изображений одного и того же предмета в правильных направлениях. Кардинальное отличие от предшественников состоит именно в том, что иллюзия объемности изображения действительно создается в разных плоскостях пространства. Правда, пока изображение нельзя обойти вокруг, так как при смещении более чем на 30° картинка растает.

До сих пор стереоскопические изображения можно было просматривать только лишь на вертикально расположенных экранах. Изменение ориентации дисплея, по мнению авторов разработки, позволит улучшить восприятие объемных образов, увеличить угол обзора и создавать целые композиции, состоящие как из виртуальных, так и из реальных объектов, т.е. обеспечить вполне реалистическое ощущение глубины. Специалисты «Toshiba» считают, что зрители испытывают неудобство при просмотре ЗD-изображений, если они воспринимаются расположенными всего в нескольких сантиметрах от поверхности дисплея, поскольку бессознательно зритель предполагает, что пространство за дисплеем имеет бесконечную глубину.

В противоположность этому стереоскопические изображения той же высоты будут выглядеть натуральнее на расположенном горизонтально дисплее, поскольку зрители будут считать, что перед дисплеем нет ничего. Благодаря проецированию изображений объектов под разными углами никаких дополнительных приспособлений вроде специальных очков не требуется. Обычно для создания ЗD-изображений в каждый глаз наблюдателя проецируется отдельное изображение. При этом, однако, стереоскопический эффект исчезает, как только наблюдатель меняет собственное местоположение. В представленном же «Toshiba» дисплее наблюдатель может перемещаться без потери ощущения объемности. Пример композиции из трех виртуальных и одного реального объекта на горизонтальном ЗD-дисплее компании «Toshiba» показан на рис. 2.4.

Рис. 2.4. Пример горизонтально расположенного ЗD-дисплея компании «Toshiba». Композиция из трех виртуальных и одного реального объекта

Представители компании говорят о возможности создания в ближайшие годы плавающих над столами меню в ресторанах, о новых игровых системах и системах обучения, электронных книгах с трехмерными иллюстрациями и других подобных вещах. Впрочем, уже в настоящее время трехмерные изображения активно внедряются в практику, в частности в системы автоматизированного проектирования (САПР). Мировые лидеры в производстве САПР давно убеждают пользователей переходить на ЗD-моделирование. Компания «Autodesk», ставшая ведущей в области двумерного черчения, интенсивно переходит с 2D на ЗБ. Следует, впрочем, уточнить, что компания предлагает не вместо 2D, а и 2D вместе. Конечно, совсем без 2D жить невозможно – есть огромный круг задач, которые проще и эффективнее решить в 2D. И широко известный А^юСАБ, содержащийся во всех продуктах компании, поставляется теперь со всеми ЗD-решениями по умолчанию.

Отдельно стоит упомянуть о разработках устройств, «обогащающих реальность» (Augmented Reality Systems). Одним из наиболее интересных примеров использования этой технологии является разработанное в Колумбийском университете устройство «The Mobile Augmented Reality System» (MARS). Пользователь, надевший специальный шлем, получает возможность читать тексты, смотреть изображения и прослушивать музыку об объектах окружающей его реальности, включая людей. Глядя в небо, можно будет прочесть номер рейса пролетающего самолета, а подходя к ресторану, узнать, что сегодня в меню и по какой цене. Водитель, чинящий машину, будет видеть и по ходу ремонта узнавать функцию и схему частей двигателя; полисмен, глядя на прохожих, сможет их идентифицировать и выслеживать интересующих его людей; архитекторы смогут на местности видеть новые здания – в разрезе и в разных ракурсах. Система MARS может обмениваться информацией с системой глобального позиционирования GPS. Общая схема использования системы MARS представлена на рис. 2.5.

Рис. 2.5. Общая схема использования системы MARS (пример)[2]2
  Источник: http://www1.cs.columbia.edu/graphics/projects/mars/mars.html


[Закрыть]

Очень интересна разработка Джереми Ньютона (США), который создал интерактивный компьютерный экран, позволяющий демонстрировать разным пользователям различные видеоизображения одновременно. Рассмотрев ряд методик пространственной сепарации изображений, он предложил систему, состоящую из линзово-растрового (лентикуляр-ного) стереоскопического экрана, камеры, отслеживающей положение пользователей относительно него, и управляющего компьютера. Массив из вертикально ориентированных линз позволяет выделять изображения, предназначенные для просмотра двумя пользователями, расположенными соответственно слева и справа друг относительно друга. Новое изобретение позволит покончить с разрушающей семьи борьбой за заветное место у экрана ПК. Схема такого дисплея показана на рис. 2.6.

Однако разработка японского Национального института передовых наук и технологий («Advanced Industrial Science and Technology – AIST») и Университета Кейо совместно с компанией «Burton Inc.» существенно отличается от описанных технологий: найден способ генерировать действительно трехмерное изображение, а не иллюзию, основанную на том, что в разные глаза подается разная информация. Развитие новой технологии способно окончательно стереть грань между реальным и виртуальным мирами и обладает огромным потенциалом, в частности вследствие простоты технологии. Устройство способно создавать в воздухе физически трехмерное изображение. Это принципиальный прорыв в области разработок трехмерных интерфейсов. Разработки японских ученых существенно изменяют представления о пределах возможного, совмещая реальность с киберпространством.

Рис. 2.6. Схема дисплея Джереми Ньютона[3]3
  Источник: www.cnews.ru/news/top/mdex.shtm?2005/06/14/180328


[Закрыть]

Это, по сути дела, не голограмма; никаких специальных оптических эффектов не используется. В данном случае невидимые для человеческого глаза импульсы мощного инфракрасного лазера длительностью около 1 нс (10^-9 с) и частотой повторения около 100 Гц, конвергирующие с другим инфракрасным лазерным лучом, формируют прямо в воздухе небольшие сгустки плазмы – отдельные пиксели, словно парящие в воздухе. В устройстве используется явление плазменной эмиссии в окрестностях фокуса лазерного излучения – визуально оно воспринимается как светящаяся точка или шарик. Лазерные лучи отражаются от нескольких рефлекторов, и в общей сложности за одну секунду в воздухе удается сгенерировать до сотни парящих пикселей, которые могут располагаться в нескольких метрах от источника излучения. Как и в случае с «Walk-thru Fog Screen», здесь используется специальный газ особого состава, незаметный для глаз.

Изображение проецируется инфракрасным импульсным лазером, который при помощи системы качающихся зеркал фокусируется на заданных точках пространства и генерирует маленькие шарики светящейся плазмы.

Прибор способен зажигать в любом месте пространства до 100 таких точек в секунду, если там содержится нужный состав. Каждая точка создается одним лазерным импульсом, глаз наблюдает точки одновременно, а не последовательно, за счет эффекта остаточного изображения. Построение массива трехмерных точек осуществляется с помощью механической развертки лазерного луча, а также изменения точки фокусировки. Технология управления лазерным фокусом позволяет обеспечить уже сейчас глубину трехмерного объема в несколько метров, а в перспективе – существенно увеличить ее. И сколь бы малым ни казалось значение 100 пикселей в секунду, изображения, полученные с помощью этого устройства, – прекрасное зрелище. Общая схема этой технологии показана на рис. 2.7.

Рис. 2.7. Технология построения растровых изображений в пространстве[4]4
  Источник: www.aist.go.jp/aist_e/latest_research/2006/20060210/20060210.html


[Закрыть]

При помощи таких светящихся точек можно создавать непосредственно в воздухе сложные трехмерные изображения, которые будут подлинно трехмерными, но при этом нематериальными. Пока прибор способен создавать лишь слегка окрашенные однотонные голубоватые точки, однако в будущем несомненно будут созданы устройства, создающие значительно более качественные изображения. На рис. 2.8 показаны изображения, сделанные по технологии AIST.

Сейчас активно внедряются международные стандарты новых форматов трехмерных изображений в Интернете, которые разрабатываются группой компаний во главе с корпорацией «Intel» и Национальным институтом стандартов и технологий США (National Institute of Standards and Technology – NIST). Эволюция человеко-компьютерного взаимодействия представлена в табл. 2.1.

Рис. 2.8. Примеры изображений по технологии AIST[5]5
  Источник: www.aist.go.jp/aist_e/latest_research/2006/20060210/20060210.html


[Закрыть]

Таблица 2.1

Развитие основных средств человеко-компьютерного взаимодействия