Текст книги "Айтрекинг в психологической науке и практике"

Выявление информативных характеристик глазодвигательной активности с применением метода главных компонент и обучаемых моделей[6]6
  Работа выполнена в рамках поддержанного РГНФ научного проекта № 14-06-12012 «Программное обеспечение с открытым исходным кодом для анализа результатов окулографических исследований»


[Закрыть]
П. А. Мармалюк, Б. Ю. Поляков

Введение

Возможно ли получать надежную оценку уровня компетенции (Куравский и др., 2014), предсказывать заранее итоговый результат выполнения теста интеллекта (Хохлова, 2011), определять возраст человека с помощью анализа пространственно-временных особенностей движений взора? Существуют и проявляются ли во время чтения различия характеристик окуломоторной активности детей разного возраста и насколько эти характеристики информативны для диагностики сформированности такого комплексного навыка, как чтение? (Куравский и др., 2014). Существуют ли и каковы стратегии зрительного восприятия, свидетельствующие о тех или иных качествах тестируемого или обучающегося, например, такие, как когнитивные стили восприятия (Мармалюк, Звонкина, 2013)? Быть может, представители разных расовых типов отличаются в силу генетических и культурных причин в том, как они рассматривают лицо собеседника (Ананьева, Демидов, Швец, 2013)? Эти и многие другие подобные вопросы, выраженные в виде научных содержательных гипотез, формулируются экспериментальными психологами как при проведении фундаментальных поисковых исследований, так и в рамках прикладных проектов по созданию объективных методик психолого-педагогической диагностики.

Применяемые в таких исследованиях средства регистрации движений глаз регистрируют массивные объемы данных (траектории движения взора испытуемых на плоскости стимула), которые необходимо обрабатывать статистически для проверки выдвинутых гипотез. Исследователям-психологам в рамках разведочного анализа данных зачастую приходится сталкиваться с высокой степенью неопределенности, связанной с поиском релевантных количественных и качественных признаков глазодвигательной активности, отражающих изменчивость исследуемых факторов, будь то категории испытуемых или выраженность индивидуальных непрерывных свойств.

Для облегчения поиска подобных закономерностей разработано множество средств математического анализа, реализованных в соответствующих статистических пакетах. Однако в силу возрастания сложности и повышения размерности данных особо актуально использование автоматизированных средств, позволяющих сокращать размерность набора анализируемых переменных. При этом часто возникает необходимость дополнять набор традиционных интегральных характеристик глазодвигательной активности (таких как время прочтения текста, средняя длительность фиксаций, число фиксаций, прогрессивных и регрессивных саккад и подобных) показателями, отражающими пространственно-временные особенности процесса зрительного поиска, которые могут содержать дополнительную информацию об объекте изучения, улавливая интересующие исследователя паттерны переходов взора между областями интереса.

Примером подобного средства может послужить представленный далее подход к анализу траекторий взора, основанный на расчете информативных показателей глазодвигательной активности и последовательном применении современных математических методов анализа данных, таких, как метод главных компонент или факторный анализ, деревья решений, дискриминантные модели, регрессионные модели.

Основные этапы рассматриваемого подхода

Расчет показателей глазодвигательной активности. В качестве базовых показателей глазодвигательной активности могут выступать как традиционные универсальные показатели (число и средняя продолжительность фиксаций, число саккад в различных направлениях, амплитуда и кривизна саккад, общая длительность испытания и т. п.), рассчитываемые, как правило, по выявленным окуломоторным событиям с помощью средств проприетарного программного обеспечения, поставляемого вместе с оборудованием (Барабанщиков, Жегалло, 2013). Такие показатели удобны тем, что они не привязаны к контексту задачи или стимульному материалу и могут вычисляться для любого набора выявленных окуломоторных событий. Однако универсальность подобных показателей может рассматриваться и как недостаток в силу невозможности учесть при их расчете специфику стимульного материала и невозможности отразить с их помощью динамические свойства изучаемого процесса зрительного поиска.

Для отражения динамических характеристик глазодвигательной активности целесообразно использовать в качестве дополнительных информативных признаков элементы матриц вероятностей переходов либо матриц представления преемника (Successor Representation matrix, SR-matrix – Dayan, 1993), рассчитываемых по последовательностям фиксаций взора в областях интереса стимульного материала. Указанные матрицы позволяют выявлять выраженные интегральные закономерности переходов взора из одной области интереса к другой как первого порядка (матрица вероятностей переходов), так и с учетом предыстории (матрица представления преемника).

Основы рассматриваемого подхода к анализу данных видео-окулографии с использованием матриц представления преемника, названного «Successor Representation Scanpath Analysis (SRSA)», заложены Алексом Петровым и Тейлором Хэйесом, сотрудниками лаборатории когнитивного моделирования и вычислительной когнитивной нейронауки Университета штата Огайо, США. Пример применения подхода проиллюстрирован в статье, посвященной анализу последовательностей фиксаций при выполнении теста интеллекта Равена (Hayeset al., 2011). Полученные результаты демонстрируют несомненную эффективность подхода. Например, построенная (по выборке значений главных компонент элементов матриц представления преемника) регрессионная модель объясняла 56 % дисперсии итогового балла по тесту Равена. Детали алгоритма расчета матрицы представления преемника приведены ниже.

Обязательным условием для расчета матриц является наличие пространственных областей интереса, выделяемых на стимульном материале автоматически или при участии экспериментатора-психолога.

Автоматическое выделение в простейшем случае подразумевает разделение плоскости стимула на нумерованные прямоугольные ячейки заданного размера, которые и рассматриваются как области интереса (см. пример на рисунке 1). Такой способ выделения областей интереса универсален и наиболее адекватен при отсутствии по различным причинам исходных предположений о вероятных «аттракторах внимания» в стимульном материале.

Рис. 1. Участок текстового стимула, автоматически размеченный вертикальными областями интереса, используемыми для обработки последовательностей позиций фиксаций и последующего анализа динамики горизонтальных движений взора испытуемых

Ручное выделение областей интереса подразумевает указание на стимуле именованных плоских фигур требуемых размеров (прямоугольников, многогранников, эллипсов и пр.). Итоговое расположение областей в данном случае, разумеется, зависит от стимульного материала и гипотез исследования, поскольку требует обоснованных предположений о том, какие именно области стимула действительно привлекают зрительное внимание исследуемых категорий испытуемых.

Рис. 2. Участок стимула задачи теста Равена, размеченный вручную областями интереса, используемыми для обработки последовательностей позиций фиксаций и последующего анализа динамики движений взора испытуемых между элементами матрицы задания и областью альтернатив ответа

Формирование последовательностей посещенных областей интереса. По позиционным данным выделенных областей интереса и зарегистрированным траекториям взора на плоскости стимула или последовательностям точек фиксаций взора строятся последовательности номеров «посещенных» областей, в которых пребывал взор испытуемых. Обычно в таких последовательностях повторные смежные пребывания в одной и той же области интереса «склеиваются», т. е. рассматриваются как единое событие. Сформированные последовательности подвергаются дальнейшему анализу: по ним строятся матрицы частот или вероятностей переходов между областями интереса, либо матрица представления преемника, алгоритмы построения которых представлены в следующем подразделе.

Вычисление матриц частотности переходов. По полученным последовательностям далее вычисляются матрица вероятностей переходов и матрица представления преемника. Расчет элементов матрицы вероятностей переходов между зонами интереса несложен и выполняется следующим образом:

– инициализируется (заполняется нулями) квадратная матрица, чьи размерности соответствуют количеству областей интереса;

– по очереди перебираются элементы последовательности посещенных областей интереса (исключая последнюю) – фиксируется текущий элемент последовательности (номер посещенной зоны, обозначаемый как i) и последующий элемент (номер зоны, в которую совершен переход, обозначаемый как j), а сама матрица обновляется: элемент с индексом (i, j) увеличивается на единицу;

– формируется матрица оценок вероятностей переходов, состоящая из элементов полученной на предыдущем шаге матрицы абсолютных частот переходов, поделенных на сумму всех ее элементов.

Расчет элементов матрицы представления преемника более сложен для понимания, однако, так же легко реализуется программно:

– инициализируется (заполняется нулями) квадратная матрица М, чьи размерности соответствуют количеству областей интереса;

– по очереди перебираются элементы последовательности посещенных областей интереса (исключая последнюю) – фиксируется текущий элемент последовательности (номер посещенной зоны, обозначаемый как О и последующий элемент (номер зоны, в которую совершен переход, обозначаемый как;'), a i-я строка матрицы М обновляется по следующему правилу:

где I – единичная матрица того же порядка, что и М, а – параметр скорости обучения, (0<а<1), у – временной весовой коэффициент, (0<у<1).

Таким образом, при наблюдении перемещения из области интереса i в область; набор ожидаемых преемников для «отправителя» i (строка М_i) обновляется так, чтобы учесть переход в «преемника» j, а также в предполагаемые (с учетом предыстории процесса) преемники посещаемой области; (столбец М), но с уменьшенным влиянием на результат (для этого производится умножение на понижающий временной коэффициент у). В итоге мы учитываем не только сам факт перемещения из области i в область l, но и предысторию перемещения из области j в другие области.

Оценка SR-матрицы, построенная по заданной последовательности посещенных областей интереса, содержит сумму взвешенных по удаленности во времени будущих попаданий в некоторую область интереса, определяемую заданным столбцом при условии, что в данный момент посещена область, определяемая строкой. Заметим, что получаемая матрица не является стохастической (т. е. ее элементы не представляют собой оценки вероятностей). Поэтому сумма всех значений столбца SR-матрицы может превышать единицу. Для корректного сопоставления SR-матриц, полученных для записей различной длительности, необходимо эти матрицы нормировать (делить каждый элемент на сумму элементов матрицы). Однако нормирование может и не проводиться, если исследователя интересует, в частности, вариация длительностей траекторий взора.

Стоит заметить, что относительно недавно была продемонстрирована формальная связь концепции представления преемника и модели эпизодической и семантической памяти (Howard, Kahana, 2002; Sederberg et al, 2008).

Важным отличием между матрицей представления преемника и матрицей вероятностей переходов является то, что последняя отражает закономерности только первого порядка (касающиеся переходов между смежными элементами последовательности), в то время как первая настраивается для предсказания будущих посещений в рамках временного окна, чья эффективная ширина зависит от коэффициента у (Gershman et al., 2012).

Пусть дана следующая последовательность номеров посещенных областей интереса: [1, 2, 4, 2, 4, 1, 4, 2, 3, 1, 3, 2, 1, 3, 1, 2, 4, 1, 3, 1, 3]. По заданной последовательности вычислены матрица вероятностей переходов и нормированная SR-матрица, представленные в таблицах 1 и 2.

Приведенный пример матриц демонстрирует, например, что оценка вероятности переходов из области № 4 в область № 3 является нулевой, поскольку прямых переходов из области № 4 в область № 3 в последовательности не наблюдается. При этом матрица представления преемника отражает взвешенное по временной удаленности нормированное количество будущих пребываний в области № 3 после пребывания в области № 4 (ячейка № 3.4), а также указывает, например, на то, что ближайшие по времени будущие попадания в область № 3 после пребывания в ней же более вероятны (ячейка № 3.3), нежели будущие попадания в область № 4.

Сокращение размерности пространства переменных и анализ выделенных компонент или факторов. Рассчитав значения традиционных интегральных показателей и дополнительные информативные признаки, для сокращения размерности пространства анализируемых переменных можно с помощью соответствующего метода выделять скрытые главные компоненты или факторы, объясняющие высокую долю суммарной дисперсии полученного набора переменных. Важным аспектом при выборе компоненты/фактора является как доля описываемой дисперсии, так и возможность интерпретации новой переменной по величинам компонентных нагрузок наблюдаемых переменных (частных корреляций переменных и компонент). Примеры двух главных компонент, описывающих 19,5 % доли суммарной дисперсии элементов SR-матриц, построенных по последовательностям фиксаций взора в областях интереса, выделенных на стимульном материале теста Равена, приведены на рисунках 3 и 4. Номера столбцов и строк данных матриц совпадают с номерами областей интереса, выделенных в стимульном материале заданий теста Равена (1, 2, 3 – верхняя строка элементов матрицы задания; 4, 5, 6 – средняя строка; 7, 8, 9 – нижняя строка; 10 – область альтернатив ответа).

Рис. 3. Цветовые матрицы, отражающие величину нагрузок первой главной компоненты, описывающей 12,5 % суммарной дисперсии элементов SR-матриц: слева приведена матрица для положительных нагрузок (диапазон значений нагрузок – от 0 до 0,4), а справа – для отрицательных (диапазон – от -0,4 до 0)

Рис. 4. Цветовые матрицы, отражающие величину нагрузок второй главной компоненты, описывающей 7 % суммарной дисперсии элементов SR-матриц: слева приведена матрица для положительных нагрузок (диапазон значений нагрузок – от 0 до 0,4), а справа – для отрицательных (диапазон – от -0,4 до 0)

Приведенные матрицы позволяют интерпретировать компоненты как индикаторы использования определенных пространственных стратегий, которые используются испытуемыми в разной степени. Первая компонента может быть интерпретирована как показатель приверженности стратегии «не использовать горизонтальные переходы и использовать вертикальные». Вторая компонента – как показатель приверженности стратегии «использовать вертикальные переходы в правой нижней части матрицы Равена».

Обучение модели представления закономерностей. Значения выделенных факторов и значения целевых переменных, чья взаимная изменчивость является предметом анализа и интерпретации, используются для обучения модели распознавания образов (модели-классификатора или модели регрессии).

Обучение модели заключается в настройке ее параметров таким образом, чтобы получаемые предсказания значений целевой переменной отличались от реальных измеренных значений как можно меньше в терминах используемой меры ошибки. Освещение тех или иных алгоритмов обучения предсказательных моделей, равно как и подходов к оценке ее обобщающей (предсказательной) способности (напр., методика скользящего контроля), подробности методов распознавания образов и такого научного направления, как машинное обучение, можно уточнить, например, в соответствующих изданиях (Воронцов, 2007; Лепский, Броневич, 2009; Alpaydin, 2010).

Обученная модель в случае высокой степени ее предсказательной способности может успешно использоваться для предсказания значений целевых переменных: как дискретных категорий испытуемых (таких как, напр., индикатор правильности выполненного задания теста способностей, пол испытуемого, уровень навыка чтения), так и соответствующих им непрерывных случайных величин (таких, напр., как возраст, итоговый балл по тесту).

Интерпретация модели. Обученная и надежная модель представления закономерностей часто может быть легко интерпретирована путем определения входных переменных, учитываемых при принятии решения в первую очередь (или с большим весом). Например, такие модели, как деревья решений, обобщенная линейная модель или дискриминантная модель, не только способны решать задачу предсказания значения целевой переменной, но и позволяют трактовать прогноз в терминах предметной области путем анализа структуры модели и ее идентифицированных параметров.

В случае деревьев решений объяснение может строиться путем выписывания последовательности условий, проверенных для данного испытуемого на пути от корня дерева до листа. Эти условия образуют конъюнкцию, т. е. легко интерпретируемое логическое правило (Воронцов, 2007). Пример дерева, построенного с использованием выборки значений интерпретированных выше главных компонент SR-матриц и предсказывающего успешность выполнения задания теста Равена, приведен на рисунке 5.

Рис. 5. Дерево классификации, позволяющее правильно (в 70 % случаев) предсказывать результат выполнения задания («Выполнил верно» – «Pass» и «Выполнил неверно» – «NotPass») по величинам главных компонент «Horis» («He использовать горизонтальные переходы и использовать вертикальные») и «Vertic» («Использовать вертикальные переходы в правой нижней части матрицы Равена»)

В целом данное дерево можно интерпретировать следующим образом: если испытуемый придерживается определенных стратегий глазодвигательной активности, то скорее всего задания теста Равена будут пройдены успешно. Однако, если испытуемый зацикливается при рассмотрении элементов матрицы задания по углам, т. е. в верхней левой либо в нижней правой частях, то, вероятно, он не может установить зависимость между элементами матрицы задания и само задание пройдено не будет.

В случае применения линейных регрессионных моделей или дискриминантных функций выявление значимых объясняющих признаков также не составляет труда (достаточно воспользоваться подходящими статистическими критериями значимости коэффициентов модели), а их интерпретация зависит от абсолютной величины коэффициента и знака при нем.

Заключение

В ходе проекта было разработано программное обеспечение, позволяющее психологу проводить анализ экспериментальных данных видеоокулографии с помощью рассмотренного метода статистического анализа и методов выделения информативных признаков (в том числе и скрытых), не имея при этом глубоких познаний ни в математике, ни в программировании, точнее, при минимальных познаниях в данных областях. На данный момент на языке R (R Core Team, 2014) программно реализованы (автор – Борислав Поляков, выпускник факультета информационных технологий МГППУ):

– загрузка и предобработка входных данных, – ручная и автоматическая разметка стимульных материалов (выделение зон интереса), – алгоритм вычисления матрицы представления преемника, – построение расширенной таблицы данных со значениями входных переменных, необходимых для последующего анализа, – метод снижения размерности пространства признаков (метод главных компонент), – визуализация компонентных нагрузок для выбора интерпретируемых компонент, – алгоритм обучения дерева решений, – алгоритм оценки предсказательной способности дерева, – визуализация дерева решений.

Разработанное ПО было применено для исследовательского анализа данных видеоокулографии, полученных при прохождении испытуемыми теста интеллекта Равена и при чтении учениками начальных классов небольшого отрывка текста с целью выделения показателей, информативных с точки зрения предсказания результатов выполнения заданий теста Равена, возрастной группы и уровня сформированности навыка чтения. Успешное применение предложенного подхода свидетельствует о его эффективности и большом потенциале при использовании в качестве метода исследовательского анализа глазодвигательной активности.

Литература

Ананьева К. И., Демидов А. А., Швец Т. А. Оценка психологических особенностей человека по изображению его лица представителями разных расовых групп // Экспериментальная психология. 2013. Т. 6. № 3. С. 98–109.

Барабанщиков В. А., Жегалло А. В. Регистрация и анализ направленности взора человека. М.: Изд-во «Институт психологии РАН», 2013.

Безруких М. М., Демидов А. А., Иванов В. В. Возрастные особенности окуломоторной активности детей в процессе чтения // Психология человека в современном мире. Том 2: Матер. Всеросс. юбил. науч. конф., посв. 120-летию со дня рождения С. Л. Рубинштейна. М.: Изд-во «Институт психологии РАН» 2009. С. 151–155.

Воронцов К. В. Логические алгоритмы классификации. Материалы лекций факультета управления и прикладной математики Московского физико-технического института. М.: МФТИ, 2007.

Куравский Л. С, Мармалюк П. А., Барабанщиков В. А., Безруких М. М., Демидов А. А., Иванов В. В., Юрьев Г. А. Оценка степени сформированности навыков и компетенций на основе вероятностных распределений глазодвигательной активности. Вопросы психологии. 2013. № 5. С. 64–81.

Куравский Л. С, Мармалюк П. А., Баранов С. Н., Алхимов В. И., Юрьев Г. А., Артюхина С. В. (Марковские модели глазодвигательной активности и их применение для тестирования профессиональных навыков. Информационные технологии. 2014. № 8. С. 34–43.

Лепский А. Е. Математические методы распознавания образов: Курс лекций. Таганрог: ТТИ ЮФУ, 2009. URL: http://lepskiy.ucoz.com/ lect_lepskiy_bronevich_pass.pdf (дата обращения: 18.06.2015).

Мармалюк П. А., Звонкина О. М. Опорные показатели глазодвигательной активности при прохождении теста Равена и автоматизация их расчета. Молодые ученые – нашей новой школе. Матер. XI Межвуз. науч. – практ. конф. с межд. участием. М.: МГППУ, 2012. С. 350–352.

Хохлова А. А. Исследование глазодвигательной активности при прохождении матричного теста интеллекта Равена. Молодые ученые – нашей новой школе. Матер. X науч. – практ. межвуз. конф. М.: МГППУ, 2011. С. 343–345.

Alpaydin E. Introduction to machine learning. 2^nd edition. The MIT Press, 2010.

Dayan P. Improving generalization for temporal difference learning – the Successor Representation // Neural Computing. 1993. V. 5. P. 613–624.

Gershman S., Moore C, ToddM., NormanK., SederbergP. The Successor Representation and Temporal Context // Neural Computing. 2012. V. 24 (6). P. 1553–1568.

Hayes T. R., PetrovA. A., Sederberg P. B. A novel method for analyzing sequential eye movements reveals strategic influence on Raven's Advanced Progressive Matrices // Journal of Vision. 2011. V. 10. P. 1–11.

Howard M., & Kahana M. A distributed representation of temporal context // Journal of Mathematical Psychology. 2002. V. 46. P. 269–299.

R Core Team: R: A language and environment for statistical computing. R Foundation for Statistical Computing. 2014. URL: http://www.r-project. org (дата обращения: 18.06.2015).

Sederberg P., Howard M., Kahana M. A context-based theory of recency and contiguity in free recall. Psychological Review. 2008. V. 115. P. 893–912.