Текст книги "Айтрекинг в психологической науке и практике"

Изображение предъявляют на экране монитора Samsung с диагональю 23' (с разрешением 1920x1080 пикселей) на расстоянии 60 см от глаз испытуемых, занимая 47° по горизонтали и 26° по вертикали их зрительного поля. В экспериментах голову испытуемых фиксируют с помощью лобно-подбородной подставки.

С точки зрения построения эксперимента необходима возможность составления набора предъявляемых стимулов, как статических, так и динамических. Эта возможность предусмотрена в разработанном программном обеспечении. Интерфейс позволяет добавлять графические файлы разных форматов, задавать время предъявления стимулов.

Также в программе предусмотрена возможность проведения повторной калибровки в течение эксперимента, в том числе в «горячем» режиме, и добавления фонового изображение между предъявляемыми стимулами.

В экспериментах на экране монитора предъявляют различные зрительные стимулы и регистрируют изображение глаза. Координаты взора отражают траекторию движения глаза и периоды фиксаций. Такие траектории можно «наложить» на изображения, предъявляемые на мониторе, что позволяет качественно оценить процесс сканирования испытуемым зрительной сцены во время эксперимента (рисунок 4).

Рис. 4. Стимульное изображение с наложенными на него треками и выделенными фиксациями. Испытуемый сканирует взором детали интерьера и фигуру человека

У многих современных трекеров, предлагаемых на рынке, существует ряд ограничений, связанных с закрытыми алгоритмами анализа и удобством работы с конкретным программным обеспечением. Программа VisualStimulator дает исследователю максимально необходимый доступ к разным уровням обработки, начиная с потока исходных данных, на основе которых строятся треки, и заканчивая выделенными из них событиям (фиксации, саккады и моргания). В программе предусмотрены возможности изменения цветов накладываемых треков; существует возможность изменения цвета трека, саккад и фиксаций отдельно. Для большей наглядности линия, соответствующая саккаде, передается с разной толщиной: тонкая в том месте, где саккада начинается, и утолщающаяся в сторону конца саккады.

Возможность синхронного вывода видеозаписи и прорисовки треков взора, наложенных на изображение (рисунок 4) позволяет верифицировать моменты генерации событий (саккад и фиксаций) при проведении эксперимента. Этот метод дополняет преимущества использования открытых алгоритмов работы программно-аппаратного комплекса, которые, в свою очередь, также позволяют получать как массивы исходных координат центра зрачка в системе координат матрицы видеокамеры, так и в системе координат монитора, на котором предъявляются стимульные изображения. Большое внимание при разработке описанного программного обеспечения уделялось именно возможностям визуализации, что является очень важным аспектом при анализе полученных записей. Специальной опцией является то, что координаты треков или соответствующие им события могут «выгружаться» непосредственно за тот промежуток времени, который отражается на картинке в данный момент. Также возможно делать временные отступы от начала или конца записи, чтобы точно определить интересующий исследователя фрагмент записи.

Известно, что у ряда трекеров, даже современных, отсутствует возможность загрузки динамических стимулов, что сильно ограничивает возможности исследователя. В нашем ПО специально была предусмотрена такая возможность и представлены все необходимые для анализа записанных данных инструменты. Для вывода стимульного видеоряда с наложенными на него треками движений глаз в программу VisualStimulator был интегрирован видеоплейер (рисунок 5), автоматически вызываемый при просмотре сделанной в эксперименте записи.

Рис. 5. Синхронный вывод трека в интервале 500 мс и видеоизображения глаза, которое хранится в отдельном файле

5

Применение технологии айтрекинга в исследованиях

Разработанный программно-аппаратный комплекс с успехом применялся нашей научной группой в целом ряде исследований. Основными направлениями исследований стали работы со статическими и динамическими изображениями (Шурупова и др., 2015) и исследования движений глаз при чтении предложений с синтаксической неоднозначностью (Жондо и др., 2015). По результатам проведенных исследований были защищены две дипломные работы на кафедре высшей нервной деятельности биологического факультета МГУ им. М. В. Ломоносова. Результаты, полученные в указанных работах подтвердили динамику зависимости параметров движений глаз при просмотре статических и динамических сцен, а также при чтении предложений с синтаксической неоднозначностью, которая описана в ранее опубликованных работах, что говорит о релевантности полученных результатов и косвенно свидетельствует о точности работы программно-аппаратного комплекса. При этом с использованием описанного оборудования и программного обеспечения были получены новые содержательные результаты. Высокая частота и удобство работы с программно-аппаратным комплексом позволяет эффективно регистрировать данные в экспериментах и получать результаты на уровне работ современной мировой науки.

6

Заключение

Приведено описание программно-аппаратного комплекса, разработанного нашей научной группой. В нем предусмотрены широкие возможности настройки как аппаратной части (изменение частоты, разрешения и др.), так и широкий спектр программных настроек, необходимых для удобной и продуктивной работы с данными регистрации движений глаз.

Установка позволяет быстро освоить навыки работы с ней, что является также существенным преимуществом, особенно для начинающих работать с айтрекингом. Важными особенностями являются возможности синхронного вывода треков движений глаз и видео изображения глаза с выделенным на нем зрачком и оперативного добавления калибровки в процессе проведения эксперимента.

Циклы работы программы VisualStimulator и поток координат зрачка синхронизованы по времени. В настоящее время формат принимаемых данных определяется программным обеспечением цифровой камеры Fastvideo-ЗОО, однако потенциально существует возможность работы с данными в любом другом формате и с другими типами камер. Этот фактор дает преимущества перед используемыми в настоящее время коммерческими айтрекерами, так как позволяет изменять аппаратную часть, базируясь на серийно производимых типах видеокамер в широком ценовом диапазоне.

Существует потенциальная возможность применения программно-аппаратного комплекса для работы с животными (низшими приматами).

Литература

Видео нистагмограф. URL: http://www.vdvs.ru/products/vng/vng.htm (дата обращения: 15.06.2015).

Жондо А. С, Анисимов В. Н., Фёдорова О. В., Латаное А. В. Движения глаз при чтении предложений с локальной и глобальной синтаксической неоднозначностью // Когнитивная наука в Москве: новые исследования. М.: ООО «Буки Веди», ИППиП, 2015. С. 131–134.

Скоростная матрица ШРА-300. URL: http://www.fastvideo.ru/info/sensor/ cypress/lupa300.htm; http://www.fastvideo.ru/info/sensor/cypress/ lupa_300.pdf (дата обращения: 15.06.2015).

Стандартная система скоростной видеозаписи: 640x480,10 бит, 300 fps. URL: http://fastvideo.ru/products/vga/fv300.htm http://fastvideo.ru/ products/vga/fv300.htm (дата обращения: 15.06.2015).

Программное обеспечение Fastvideo Lab для скоростной видеосъемки. URL: http://www.fastvideo.ru/products/software/software.htm (дата обращения: 15.06.2015).

Программное обеспечение для видео нистагмографии. URL: http://www. vdvs.ru/products/software/software.htm (дата обращения: 15.06.2015).

Центр разработки для Windows. Mailslots. URL: https://msdn.microsoft. com/ru-ru/library/windows/desktop/aa365576%28v=vs.85%29.aspx (дата обращения: 15.06.2015).

Шурупова М. А., Анисимов В. Н., Красноперое А. В., Латаное А. В. Параметры движений глаз при просмотре динамических сцен // Когнитивная наука в Москве: новые исследования. М.: ООО «Буки Веди»-ИППиП, 2015. С. 492–498.

Шурупова М. А., Анисимов В. Н., Латаное А. В. Параметры движений глаз при просмотре динамических сцен // Одиннадцатый международный междисциплинарный прогресс «Нейронаука для медицины и психологии». Тезисы докладов. Судак, 2015. С. 456.

Lemire D. A Better Alternative to Piecewise Linear Time Series Segmentation // SDM. 2007. P. 545–550.

PIXCI® EB1 PCI Express xl Base Camera Link Frame Grabber. URL: www.epixinc.com/products/pixci_ebl.htm (дата обращения: 15.06. 2015).

Sheela S. V., Vijaya P. A. Mapping Functions in Gaze Tracking // International Journal of Computer Applications. 2011. V. 26. № 3. P. 36–42.

Velichkovsky B. M. et al. Two visual systems and their eye movements: Evidence from static and dynamic scene perception // Proceedings of the XXVII conference of the cognitive science society. Mahwah, N.J.: Lawrence Erlbaum, 2005. С 2283–2288.

Обзор изобретений, полученных при использовании айтрекинговых исследований в процессе изучения способности 3D-восприятия образов плоскостных изображений
В. Н. Антипов, А. В. Жегалло, В. В. Курчавов, Н. В. Звёздочкина, Л. М. Попов

Введение

Айтрекинговые исследования, изучение движения глаз позволяют получить первичную информацию о новой способности зрительного восприятия – способности воспринимать образы плоскостных изображений с эффектами глубины, объема, пространственной перспективы (далее – феномен) (Антипов, 2005). Естественно-природный механизм зрительного восприятия – стереоскопическое зрение, бинокулярная диспаратность однозначно препятствует наблюдению атрибутов феномена. Однако в настоящее время по различным направлениям феномена получено 19 патентов на изобретения. Авторами и патентообладателями изобретений являются научные работники Казанского университета, ИП РАН, ЦЭП МГППУ, ИФ РАН, Ульяновского училища гражданской авиации. Существенный вклад в доказательство существования феномена внесли именно исследования на бинокулярном айтрекере. Экспериментально показано наличие восприятия глубины, объема образов плоскостных изображений, величина которых соизмерима с трехмерными параметрами, наблюдаемыми при рассматривании 3D-растровых изображений. При этом элементы феномена не меньше уровня наблюдаемой стереоскопической глубины стереограмм в условиях фузии.

В настоящей работе приводится информация по изобретениям, полученная в результате проведенных исследований. Фактический материал сгруппирован по нескольким направлениям изобретательской деятельности. Первое – непосредственно доказательство способности восприятия глубины и объема. Второе – визуализация наблюдаемых эффектов восприятия глубины. Третье – применение айтрекинговых исследований для: 1) изучения ЭЭГ активности мозга при наблюдении феномена; 2) разработки системы тестов; 3) выявление особенностей коллективно-когнитивного бессознательного восприятия. Четвертое – использование результатов работы для усовершенствования пособий для тренинга, применяемых при развитии новой способности восприятия, при обучении операторов интроскопа.

Процедура и методы исследований

Работы проводились в Центре экспериментальной психологии МГППУ (айтрекер SMI HiSpeed) и в лаборатории физиологии зрения Института физиологии им. И. П. Павлова РАН (айтрекер SMI RED). В качестве стимульных изображений использовались: плоскостные, растровые изображения, стереограммы в плоскостном и трехмерном вариантах наблюдения. Испытуемым был один из авторов настоящей работы. При написании изобретений использовалась информация: числовых массивов значений Х-, Y-координат направления взора правого и левого глаз и построение гистограмм разности. Проводилась регистрация траектории движения глаз, визуализация текущих значений координат. Обработка информации: методы нелинейной динамики с построением гистограмм разности Х-, Y-координат. Траектории движения глаз на стимульных изображениях позволяют визуализировать наблюдаемые эффекты восприятия глубины. Оперативные результаты величины Х-, Y-координат непосредственно демонстрируют возникновение горизонтальной и вертикальной диспаратности.

Результаты исследований

Первое направление – непосредственное доказательство способности восприятия глубины и объема, патент № 2530660 (Антипов, Жегалло, 2014а).

При восприятии объема фокусировка глаз происходит далее плоскости расположения стимульных плоскостных изображений. Непосредственно на плоскости монитора фиксируется разность Х-, Y координат: ΔX=Х^Ra—Х^Le≠0, ΔУ=У^Ra—У^Le≠0. На рисунке 1 показаны гистограммы разности: на верхнем рисунке по Y-координатам, на нижнем – по Х-координатам. По горизонтальной шкале откладывается величина разности координат на экране монитора, пересчитанная в сантиметрах (т. е. диспаратность). На вертикальной – вероятности значений разности координат за время регистрации.

На рисунке 2 приводятся построенные текущие записи разности координат. Отрицательные значения показаний гистограмм разности (рисунок 1) и текущих значений разности координат (рисунок 2) показывают, что плоскости наблюдаемых эффектов глубины изображений располагаются далее плоскости монитора компьютера ай-трекера. Особо отметим выбросы амплитуды показаний рисунке 2. Не анализируя причин возникновения, отметим, что их продолжительность не превышала 40 мс. Как правило, они попадают под условия, когда разность ДХ приближается к значению межзрачкового расстояния испытуемого. Они отмечены стрелками на рисунке 1. Анализ показывает, что при таких условиях кратковременно фиксируются протяженное восприятие эффектов возникновения глубины.

Рис. 1. Контуры гистограмм разности

Рис. 2. Текущие значения разности по X и Y-координатам Х и Y-координат

Допустим, что операторы или летчики на экранах своих мониторов наблюдают эффекты глубины, тогда возникают проблемы с оперативностью принятия решения.

Возникновение стационарных и нестационарных условий восприятия глубины плоскостного изображения представлено и в патенте № 2532401 (Антипов, Жегалло, 20146). В материалах изобретения приводятся спектрограммы условий восприятия плоскостного изображения. Показано, что среднее время фиксации правого глаза превышает показания для левого глаза почти в два раза.

Доказательство величины наблюдения глубины и объема, сопоставимой с уровнем восприятия растровых 3D-изображений, стереоглубины стереограмм в условиях фузии описано в содержании патента № 2538452 (Антипов, Жегалло, 2015). В пунтке 1 формулы анализируется гистограмма разности при восприятии глубины растрового 3D-изображения (рисунок 3). Далее она сопоставляется с гистограммой разности при восприятии глубины феномена плоскостного изображения (рисунок 4).

Рис. 3. Гистограмма разности восприятия растрового изображения

Рис. 4. Гистограмма разности восприятия 2D изображения

На рисунках 3 и 4 видно: сдвиг максимума контура гистограмм разности в область отрицательных значений, ширина контура изображений показывает общие закономерности наблюдения глубины плоскостного и растрового изображений.

В пункте 2 формулы показано, что контур гистограммы разности плоскостного восприятия стереограммы сопоставим с контуром гистограммы разности восприятия стереоглубины стереограммы (рисунок 5).

На рисунке 5 по горизонтальной шкале откладываются показания, получаемые непосредственно из значений числовых массивов.

Рис. 5. Контуры гистограмм разности при восприятии стереограммы: плоскостное восприятие (I) трехмерное восприятия (II)

Контур гистограммы при восприятии стереоскопической глубины (II) формируется величиной диспаратности построения стереограммы. Сравнение контуров гистограмм показывает, что ширина контура плоскостного восприятия (I), как минимум, не меньше второго контура. Иными словами, величина восприятия глубины плоскостного изображения сопоставима с глубиной восприятия стереоглубины стереограммы. Контур восприятия (I) позволяет пояснить эффекты восприятия рельефности, который выявлен нами по выборке приблизительно из 1000 чел.

Второе направление – визуализация наблюдаемых эффектов восприятия глубины. Прямое наблюдение значений текущих значений Х-координат плоскостного изображения (рисунок 6) однозначно показывает возникновение диспаратности (Антипов и др., 20136), следовательно, как показано выше, и восприятия глубины образов плоскостных изображений.

На рисунке 6 показан фрагмент записи координат правого (R) и левого (L) глаз при восприятии глубины плоскостного изображения. Рисунок 7 иллюстрирует начало записи Х-координат при восприятии стереоглубины стереограммы. На рисунке 7 видно, что в условиях плоскостного восприятия левый и правый глаза имеют общие координаты (620 ед. верт. шкалы – начало записи). Рисунок 7 получен при фокусировке глаз осуществляемой до плоскости расположения стереограммы. Видно, что разность АХ на рисунке 7 почти в два раза больше разности показаний рисунка 6. Однако такие отличия не означают, что восприятие глубины, показанной на рисунке 6, меньше, чем стереоскопическая глубина стереопары. Просто для наблюдения стереоглубины стереопары необходимо обеспечить горизонтальную диспаратность на величину горизонтального смещения двух изображений.

Рис. 6. Текущие значения Х-координат при восприятии 2D-изображения стереопары

Рис. 7. Текущие значения Х-координат при восприятии стереоглубины

Рисунок 8 иллюстрирует соотношения глубины наблюдения 2D-изображения и стереогубины стереопары в одних условиях наблюдения. На верхней паре (I) показаны траектории движения правого и левого глаз при восприятии глубины феномена одиночного изображения. На нижней паре (II) приводятся траектории движения глаз в условиях восприятия стереоглубины стереопары. Если сфокусировать глаза до расположения стереопар так, чтобы изображений стало три, то средние изображения позволяют сопоставить различные типы наблюдения глубины. Видно, что отделение траекторий движения (белый цвет) от плоскости изображений одного уровня восприятия глубины. Отличие лишь в том, что верхняя пара показывает условия восприятия глубины феномена для плоскостного изображения. Нижняя пара иллюстрирует возникновение стереоглубины, возникающей за счет получения горизонтальной диспаратности черно-белых распределений изображений.

Рис. 8. Траектории движения глаз, построенные при восприятии глубины плоскостного изображения (I) и стереопары (II)

Третье направление:

1. Экспериментально выявленная способность восприятия глубины 2D-изображений позволила провести изучение ЭЭГ активности тех же изображений, которые использовались в айтрекинговых исследованиях (Антипов, Звездочкина, 2014). В работе регистрации ЭЭГ активности принимали участие 4 человека – В. Н. Антипов и три студента, прошедшие курс обучения. Все испытуемые утверждали, что могли обеспечить плоскостное и трехмерное восприятие изображений. Информация была получена от 8 симметрично расположенных отведений правого и левого полушарий, расположенных по международной схеме 10–20. Основные результаты: во-первых, при восприятии глубины в 1,8 и более раз увеличивается полная амплитуда когерентности по всем отведениям. Во-вторых в два и более раз повышается мощность альфа-, тета-ритмов правого и левого полушарий мозга.

2. На рисунке 1 приведена гистограмма разности при восприятии глубины образов плоскостного изображения. Она показывает, что плоскости фокусировки образов распределены по вполне определенному пространственному столбу. Формально реализуется вариант аналога наблюдения различных цветовых распределений с различной величиной значений горизонтальной диспаратности. При развитой способности восприятия глубины образов 2D-изображений можно зафиксировать расположение глубины цветовых распределений. Например, в условиях концентрации взгляда на некоторых изученных при айтрекинговых исследованиях 2D-изображениях можно воспринимать движение одних образов относительно других. Такая особенность позволила разработать тест по выявлению новой способности восприятия 2D-изображений (Антипов, 2015). 3. К фундаментальным результатам приводят гистограммы разности рисунках 3, 4, 5. Они демонстрируют экспериментально доказанные способности восприятия глубины, объема образов плоскостных изображений. В совмещении с проведенным опросом выборки – 1000 чел. по восприятию рельефности это позволило разработать «способ выявления феномена коллективно-когнитивного бессознательного восприятия» (Антипов, Звездочкина, 2015).

Четвертое направление. Гистограмма разности, показанная на рисунке 3 позволяет подобрать вполне определенные наборы ЗD-растровых изображений, которые соответствовали бы условиям восприятия глубины 2D-изображений. Иными словами, при попадании подобранных растровых изображений в поле зрения зрительная система любого человека будет получать опыт наблюдения глубины вне плоскости расположения изображения. Именно такая технология использована в тренинге развития новой способности восприятия. Айтрекинговые исследования позволяют построить наборы ЗD-изображений с требуемыми характеристиками (Антипов, 2013). Такого типа растровые изображения предлагается применить и для обучения операторов интроскопа, проводящих контроль за багажом пассажиров при досмотре в аэропорту (Антипов, Курчавов, 2013).

Выводы обзора изобретений

1. Айтрекинговые исследования показали, что при восприятии глубины, объема образов плоскостных изображений фокусировка глаз осуществляется за плоскостью расположения стимульного 2D-изображения. Возможны состояния с пространственно-протяженным «столбом», заполненным образами изображения.

2. Установлено, что продолжительность фиксации правого и левого глаза различается в два раза.

3. Выявлено, что восприятие глубины характеризуется горизонтальной и вертикальной диспаратностью.

4. Уровень восприятия глубины плоскостного изображения сопоставим с глубиной восприятия ЗD-растровых изображений, стереоскопической глубиной стереограмм в условиях фузии.

5. При возникновении глубины 2D-изображения возникают кратковременные неустойчивые состояния восприятия. Такие состояния могут стать «помехой» в процессе скорости принятия решений операторов, диспетчеров, летного состава и т. д. при наблюдении плоскостных изображений на экранах различного типа мониторов, пультовых приборов или при посадке в ночных условиях полета.

6. Для получения достоверной информации влияния восприятия глубины плоскостных изображений на скорость приятия решения целесообразно изучение конкретных условий наблюдения.

7. Полученные результаты исследований позволяют сделать предположение, что восприятие рельефности относится к уровню автоматического явления бессознательного когнитивного процесса.

Подробная информация по приведенным в статье изобретениям может быть найдена по номеру патента на сайте Роспатента в разделе «Открытые реестры».

В перспективе предполагается продолжить исследование с целью получения информации по 2D-изображениям с пространственным расположением образов.

Литература

Антипов В. Н. Способ формирования трехмерных изображений (варианты) // Бюл. № 32. Опуб. 20.11.2005. Пат. № 2264299 RU.

Антипов В. Н. Способ выявления феномена коллективно-когнитивного бессознательного восприятия // Опуб. 2015. Пат. № 2553495 RU.

Антипов В. Н., Вахрамеева О. А., Жегалло А. В., Хараузов А. К., Шелепин Ю. Е., Галимуллин Д. 3. Способ развития когнитивного трехмерного восприятия плоскостных изображений // Бюл. № 17. Опуб. 20.06.2013а. Пат. № 2484790 RU.

Антипов В. Н., Вахрамеева О. А., Жегалло А. В., Хараузов А. К., Шелепин Ю. Е. Способ выявления способности восприятия глубины и объема плоскостного изображения // Бюл. № 23. Опуб. 20.08.20136. Пат. № 2489961 RU.

Антипов В. Н., Жегалло А. В. Способ выявления диапазона условий восприятия глубины образов плоскостных изображений // Бюл. № 28. Опуб. 10.10.2014а. Пат. № 2530660 RU.

Антипов В. Н., Жегалло А. В. Способ выявления условий восприятия глубины образов плоскостных изображений // Бюл. № 31. Опуб. 10.11.20146. Пат. № 2532401 RU.

Антипов В. Н., Жегалло А. В. Способ выявления уровня восприятия глубины образов плоскостных изображений // Бюл. № 1. Опуб. 10.01.2015. Пат. № 2538452 RU.

Антипов В. Н., Звездочкина Н. В. Способ выявления способности трехмерного восприятия плоскостных изображений // Бюл. № 19. Опуб. 10.07.2014. Пат. № 2521842 RU.

Антипов В. Н., Курчавое В. В. Способ тренинга когнитивного восприятия // Бюл. № 22. Опуб. 10.08.2013. Пат. № 2489743 RU.

Антипов В. Н., Попов Л. М. Способ визуализации многоуровневого восприятия глубины образов плоскостных изображений // Бюл. № 10. Опуб. 10.04.2015. Пат. № 2547957 RU.