Текст книги "Айтрекинг в психологической науке и практике"

Рис. 4. Соотношение продолжительности фиксаций при рассматривании цветных и черно-белых изображений. Значимость различий (критерий Манна-Уитни): * – р<0,05, ** – р<0,01, *** – р<0,001

При рассматривании цветных изображений совокупное время рассматривания правой половины лица натурщика статистически больше, чем время рассматривания левой половины лица (рисунок 5); межвыборочный сдвиг – 312 мс, р<0,001. Для черно-белых изображений значимая разница во времени рассматривания левой и правой половин лица сокращается: межвыборочный сдвиг -133 мс, р<0,01. Отметим, что в ранее проводившихся в нашей лаборатории экспериментах различия в продолжительности рассматривания левой и правой сторон лица натурщика на материале черно-белых изображений сильно выраженных экспрессии из набора POFA П. Экмана выявлены не были (Барабанщиков, 2012, с. 192–193). Повторная переобработка результатов показывает, что данный результат связан с использовавшимся способом нанесения зон интереса (использовалась единая геометрия зон для всех изображений). При индивидуальном нанесении границы левой и правой половин лица для каждого изображения на данном материале также наблюдается правосторонняя доминантность; межвыборочный сдвиг – 250 мс, р<0,001.

Рис. 5. Общее время рассматривания левой и правой половин лица натурщика. Столбики – медианная продолжительность рассматривания. Вертикальные линии – межквартильный размах

Анализ соотношения времени рассматривания левой и правой половин лица по отдельности для каждой эмоциональной экспрессии (таблица 1) показывает, что величина эффекта оказывается различной для разных экспрессии.

Для цветных изображений выраженная правостороння доминантность наблюдается для экспрессии радости, гнева и удивления, в меньшей степени – для отвращения и горя. В случае черно-белых изображений правосторонняя доминантность сохраняется лишь для экспрессии радости, для остальных экспрессии можно говорить лишь о наличии тенденции к правосторонней доминантности.

Сопоставление времени рассматривания верхней и нижней частей лица (рисунок 6) показывает наличие доминантности верхней части лица (р<0,001). Для цветных изображений эффект выражен слабее, чем для черно-белых (межвыборочный сдвиг – 1171 мс против 1450 мс).

Таблица 1

Соотношение времени рассматривания левой и правой половин лица натурщика для изображений разных эмоциональных экспрессии. Указаны величина межвыборочного сдвига и уровень значимости различий (критерий Манна-Уитни)

Рис. 6. Общее время рассматривания верхней и нижней частей лица. Столбики – медианная продолжительность рассматривания. Вертикальные линии – межквартильный размах

Эффект наблюдается для всех вариантов изображений эмоциональных экспрессии и нейтральных лиц (р<0,001), однако величины межвыборочного сдвига значительно различаются (таблица 2).

В наименьшей степени эффект выражен для экспрессии отвращения и радости (цветной и черно-белый варианты). Экспрессия страха в цветном варианте также характеризуется малой степенью выраженности эффекта, в черно-белом – средней. Далее в порядке возрастания величины эффекта следуют нейтральное лицо, удивление, горе и отвращение. Максимальная степень выраженности эффекта достигается для экспрессии гнева. Во всех случаях уровень доминантности для черно-белых изображений выше, чем для соответствующих цветных. Таким образом, рассматривание цветных изображений носит более сбалансированный характер.

Таблица 2

Соотношение времени рассматривания верхней и нижней частей лица натурщика для изображений разных эмоциональных экспрессии (величина межвыборочного сдвига)

Рассмотрим структуру движений глаз на уровне трех зон интереса: левой верхней, правой верхней и нижней. Вертикальная граница между верхней и нижней зонами проводилась по кончику носа, горизонтальная граница между левой и правой – по центру переносицы. Визуальный анализ маршрутов рассматривания и обобщенных тепловых карт показывает, что такое разбиение отражает основные тенденции локализации фиксаций (области глаз и рта изображения) и маршрутов переходов между ними. Для каждой экспериментальной ситуации, для которой суммарная продолжительность фиксаций составляла не менее 2 с, определялась локализация каждой фиксации, т. е. ее принадлежность к левой верхней, правой верхней или к нижней зоне. Соответственно, каждый переход от фиксации к фиксации рассматривался как переход между соответствующими зонами интереса. Таким образом, для каждой экспериментальной ситуации рассчитывались 9 значений: вероятности перехода между выделенными тремя зонами интереса. Переход к той же зоне означает, что следующая фиксация локализуется в той же зоне интереса, что и предыдущая.

Данные по вероятностям перехода между зонами интереса подвергались кластерному анализу (метод к средних), что позволило выделить основные стратегии рассматривания изображений. Анализируются связи с вероятностью не менее ОД. Для случая рассматривания цветных изображений (рисунок 7) 8 выделенных паттернов рассматривания объясняют 55 % дисперсии.

Рис. 7. Основные варианты рассматривания цветных изображений, выделенные по соотношениям вероятностей перехода между основными зонами интереса

1 – Полный треугольный паттерн (характеризуется наличием связей

между всеми зонами) представлен в 3 вариантах (циклический право-лево-низ-право; циклический лево-право-низ-лево; нижнее – доминантный), в общей сложности соответствующих 39 % ЭС.

2 – Горизонтально-леводиагональный (присутствуют связи между левой верхней и правой верхней, между левой верхней и нижней зонами) представлен в 2 вариантах, соответствующих 24 % ЭС. Горизонтально-праводиагональный паттерн представлен в единственном варианте, 12 % ЭС. 3 – Горизонтальный паттерн (циклический переход между левой верхней и правой верхней зонами) соответствует 17 % ЭС. Праводиагональный паттерн соответствует 9 % ЭС.

При рассматривании черно-белых изображений (рисунок 8) 8 выделенных способов рассматривания объясняют 57 % дисперсии.

Рис. 8. Основные варианты рассматривания черно-белых изображений, выделенные по соотношениям вероятностей перехода между основными зонами интереса

1. Полный треугольный паттерн представлен в двух вариантах, наблюдается в 33 % ЭС.

Горизонтально-леводиагональный паттерн представлен в 2 вариантах; 24 % ЭС.

2. Горизонтально-праводиагональный паттерн в единственном варианте соответствует 8 % ЭС.

3. Горизонтальный паттерн в 3 вариантах соответствует 40 % ЭС.

Таким образом, опознание эмоциональных экспрессии по цветным фотоизображениям по сравнению с черно-белыми характеризуется более тесной интеграцией экспрессивных признаков, локализуемых в разных зонах интереса. Для черно-белых изображений, напротив, характерен парциальный способ рассматривания, при котором переходы в одну из зон не осуществляются, а частота ее рассматривания не превышает 15–20 %. Фактически при рассматривании черно-белых изображений в 67 % ЭС опознание выполняется по двум зонам из трех.

Заключение

Полученные результаты в целом подтверждают гипотезу о наличии определенных различий в характере окуломоторной активности при опознании цветных и черно-белых изображений эмоциональных экспрессии. Для цветных изображений характерна более высокая степень взаимной согласованности отдельных экзонов – выразительных единиц лица, играющих роль информационных опор восприятия эмоций (Барабанщиков, 2012, с. 16), наличие возвратно-циклических переходов между зонами глаз и рта наблюдается в 75 % ЭС. Первая фиксация при рассматривании цветных изображений выполняется быстрее. Дальнейший процесс рассматривания характеризуется выраженной тенденцией роста продолжительности фиксаций от 2-й до 5-й. Стабилизация продолжительности наступает на протяжении 5–7 фиксаций, последующие фиксации имеют сокращенную продолжительность и носят эпизодический характер.

Черно-белые изображения характеризуются преимущественно парциальным способом рассматривания, в них циклически вовлекаются два из трех основных экзонов (в 28 % ЭС – зона одного из глаз и зона рта, в 40 % ЭС – зоны обоих глаз). Первая фиксация имеет большую продолжительность, чем при рассматривании цветных изображений. Продолжительность последующих фиксаций практически постоянна. Можно утверждать, что для черно-белых изображений по сравнению с цветными происходит некоторое снижение избыточности получаемой информации, приводящее к облегчению решаемой задачи, что находит выражение в тенденции к повышению точности решения (с 84 % до 87 %) и сокращении времени ответа.

Косвенным признаком уменьшения сложности решения задачи также является снижение величины правосторонней доминантности для черно-белых изображений по сравнению с цветными. Данный результат следует соотносить с наличием сильно выраженного эффекта правосторонней доминантности при опознании слабо выраженных эмоциональных экспрессии, что представляет для наблюдателя существенно более сложную задачу (Барабанщиков, 2012).

В какой степени наблюдаемые особенности окуломоторной активности при выполнении опознания эмоциональных экспрессии могут объяснять специфику решения дискриминационной задачи? Как следует из соотнесения результатов опознания при времени экспозиции 200 мс и 3 с, для выполнения опознания базовых экспрессии достаточно единственной фиксации. Последующее детальное рассматривание изображений практически не приводит к увеличению точности решения задачи за исключением случаев комплементарных пар базовых экспрессии «гнев-отвращение» и «удивление-страх». Внутренняя согласованность отдельных экзонов в случае базовых эмоциональных экспрессии делает возможным эффективное парциальное опознание. В случае изображений переходных экспрессии парциальное рассматривание приводит к смещенной оценке, основанной на актуальных признаках, выделенных наблюдателем (Жегалло, 2014). Единственной фиксации на изображении в таком случае может оказаться недостаточно.

Используемая в наших экспериментах методика выполнения дискриминационной АВХ-задачи в параллельно-последовательном варианте предполагает одновременное предъявление дистракторов на 1500 мс. Данное время подобрано эмпирически и, как правило, обеспечивает требуемый базовый уровень эффективности решения 60–75 % на фоне которого возможно проявление различной эффективности различения пар переходных экспрессии. При таком времени предъявления на каждое из различаемых изображений будет приходиться не более 1–2 фиксаций. Как показывают полученные результаты, на начальном этапе (1–3 фиксации) продолжительность фиксаций при рассматривании черно-белых изображений выше, чем при рассматривании цветных. Для объяснения выявленных особенностей решения дискриминационной задачи (ориентация на мелкие детали при различении черно-белых изображений, ориентация на крупные детали при различении цветных изображений), можно предположить следующий гипотетический механизм. В ходе более продолжительной первоначальной фиксации при рассматривании черно-белых изображений происходит передача информации как о крупных, так и о малых деталях изображения. При рассматривании цветных изображений в ходе первоначальных более коротких фиксаций передается информация только о крупных деталях. Дальнейший анализ объема и характера передаваемой в ходе отдельных зрительных фиксаций информации требует дополнительных экспериментальных исследований.

Литература

Ананьева К. И.,Жегалло А. В., Мармалюк П. А. Эффективность различения лиц разных расовых типов русскими и тувинскими наблюдателями как характеристика пространственных свойств изображений // Лицо человека в науке, искусстве и практике. М.: Когито-Центр, 2015. С. 41–52.

Барабанщиков В. А. Экспрессии лица и их восприятие. М.: Изд-во «Институт психологии РАН», 2012.

Барабанщиков В. А., Жегалло А. В. Детерминанты категориальности восприятия экспрессии лица // Вестник Московского государственного областного университета. Серия «Психологические науки». 2007. № 3. С. 82–93.

Барабанщиков В. А., Королькова О. А., Лободинская Е. А. Восприятие эмоциональных состояний лица при его маскировке и кажущемся движении // Экспериментальная психология. 2015. Т. 8. № 1. С. 7–27.

Жегалло А. В., Мармалюк П. А. Характеристики изображений, определяющие эффективность их различения // Естественно-научный подход в современной психологии. М.: Изд-во «Институт психологии РАН», 2014. С. 157–162.

Жегалло А. В. Особенности окуломоторной активности при выполнении комбинированной задачи идентификации/дискриминации переходных экспрессии лица. // Лицо человека в науке, искусстве и практике. М.: Когито-Центр, 2015. С. 371–384.

Ekman P., Friesen W. V. Pictures of facial affect. Palo Alto, CA: Consulting Psychologists Press, 1976.

Ekman P. Emotions revealed. N. Y.: An owl Book, 2004.

Hamad S. Introduction. Psychophysical and cognitive aspects of categorical perception: A critical overview // Categorical perception: the groundwork of cognition / Ed. S. Harnad. N.Y.: Cambridge University Press, 1987. P. 1–25.

Langner О., Dotsch R., Bijlstra G., col1_0, Hawk S. Т., van KnippenbergA. Presentation and validation of the Radboud Faces Database // Cognition & Emotion. 2010. V. 24 (8).

Macmillan N. Beyond the categorical/continuous distinction: A psychophysical approach to processing modes // Categorical perception: the groundwork of cognition / Ed. S. Harnad. N.Y.: Cambridge University Press, 1987. P. 53–85.

R Core Team. R: A language and environment for statistical computing. R Foundation for Statistical Computing. Vienna, Austria. 2015. URL: http://www.r-project.org (дата обращения: 15.06.2015).

Движение глаз при оценке лица, передающего достоверную и недостоверную информацию
А. В. Жегалло, Е. Г. Хозе

Данная работа посвящена проблеме оценки достоверности/недостоверности получаемой информации по выражению лица коммуниканта. В какой степени по выражениям лица можно судить о достоверности/недостоверности передаваемой информации? Позволяет ли выражение лица коммуниканта определить, говорит ли наш собеседник правду? Как протекает процесс оценки выражения лица? В проведенном нами экспериментальном исследовании участникам предлагалось, ориентируясь на выражение лица человека, оценить достоверность сообщаемой информации. В ходе исследования выполнялась регистрация ответов и движений глаз. Полученные результаты в части общей характеристики окуломотороной активности изложены в статье «Динамика взора при оценке динамического выражения лица» настоящего издания. В данной статье рассматриваются особенности даваемых наблюдателями ответов и связанных с ними характеристик движений глаз.

Процедура и методы исследования

Регистрация движений глаз выполнялась с помощью айтрекера RED-m, частота регистрации – 120 Гц.

В качестве стимульного материала использовались 17 видеофрагментов продолжительностью 60 с. Первые 2 фрагмента использовались как тренировочные. 5 фрагментов представляли собой эпизоды искусственной коммуникативной ситуации, в которой от исполнителя требовалось наиболее полно описать демонстрируемое ему фотоизображение лица человека (ситуация «правда»). 5 фрагментов содержали эпизоды искусственной коммуникативной ситуации, в которой от исполнителя требовалось дать заведомо ложное описание черт лица человека, который, согласно легенде, был ему знаком (ситуация «ложь»). Последние 5 фрагментов представляли собой видеофрагменты автобиографического интервью, в котором интервьюируемый в принципе мог сообщать как истинные, так и ложные сведения. Участникам исследования перед предъявлением давалась инструкция: «Просматривая видеоклипы, попытайтесь отметить моменты, которые привлекли ваше внимание, и вы почувствовали, что человек вызывает доверие и говорит правду (левая стрелка) или что он не вызывает доверия и лжет (правая стрелка)».

Предъявление стимульного материала, регистрация ответов и взаимодействие с айтрекером выполнялись с помощью ПО PsychoPy. Видеофрагменты предъявлялись на 17' ЖК-мониторе в полноэкранном режиме. Размер экрана 1280x1024 точки, разрешение – 38 точек на см. Расстояние до экрана – 60 см. Голова испытуемых фиксировалась лобно – подбородной опорой. В исследовании приняли участие 35 человек (студенты московских вузов), не имевших специальных навыков анализа невербальных признаков достоверности/недостоверности сообщаемой информации.

Результаты исследования

Совокупное число ответов, даваемых участником в каждой экспериментальной ситуации (ЭС), является в значительной степени индивидуально-специфическим показателем. Для большинства участников характерно относительно небольшое совокупное число ответов. Для 25 % испытуемых среднее число ответов в каждой ЭС не более 4, для 50 % испытуемых – от 4 до 7 ответов, для 25 % – более 7 ответов. Аналогичная закономерность наблюдается для ответов «правда» и «ложь» по отдельности: для 25 % испытуемых – не более 2 ответов, для 50 % испытуемых – от 2 до 4 ответов, для 25 % испытуемых – более 4 ответов.

Анализ асимметрии числа ответов показывает, что большинство участников не являются предвзятыми, для 19 из 35 участников средняя разница числа ответов «правда» и «ложь» в отдельной экспериментальной ситуации не превышает 1. Для 3 участников характерно предвзято-ложное отношение (число ответов «ложь» на 3–6 превышает число ответов «правда»). Для 10 участников характерна умеренная «презумпция правды»: число ответов «правда» превышает число ответов «ложь» на 1–2. Для 3 участников характерен высокий уровень доверия: число ответов «правда» превышает число ответов «ложь» на 3–9.

Анализ асимметрии числа ответов показывает, что из 5 ситуаций «правда» только одна оценивается участниками как ситуация, в которой сообщается преимущественно истинная информация. Также из 5 ситуаций типа «ложь» только одна оценивается как ситуация, в которой сообщается преимущественно заведомо ложная информация. В целом по выборке наблюдается тенденция к преимущественной оценке сообщаемой информации как правдивой (ответы «правда» составляют 53 % от общего числа ответов).

Ответы испытуемых, которым соответствовали безартефактные фрагменты записи движений глаз, включавшие три фиксации: предшествующую данному ответу, фиксацию, во время которой был дан ответ, и следующую за ней фиксацию, составили 70 % от общего числа данных ответов (3425 ответов из 4308).

Медианное время ответа с момента начала фиксации для ответов «правда» составляет 258 мс (межквартильный размах 108–558 мс), для ответов «ложь» – 242 мс (межквартильный размах 100–492 мс). Различие статистически значимо (критерий Манна-Уитни, р = 0,01, межвыборочный сдвиг по Ходжесу-Леману – 16 мс). Медианная продолжительность фиксации, во время которой был дан ответ, для ответов «правда», составляет 583 мс (межквартильный размах – 325-1133 мс), для ответов «ложь» – 517 мс (межквартильный размах – 304–975 мс). Различие статистически значимо (р<0,001, межвыборочный сдвиг – 50 мс). Предыдущая и последующая фиксации в случае ответов «правда» значимо длиннее, чем в случае ответов «ложь» (предыдущая: 333 мс против 308 мс, р<0,01, межвыборочный сдвиг – 25 мс; последующая: 308 мс против 275 мс, р<0,001, межвыборочный сдвиг – 25 мс).

Величина раскрытия зрачка во время фиксации, в течение которой дан ответ, значимо выше для ответов «ложь» по сравнению с ответами «правда»: 4,95 мм против 4,86 мм, р<0,001, межвыборочный сдвиг 0,12 мм. Раскрытие зрачка также значимо больше в случае ответов «ложь» для предыдущей и последующей фиксаций (предыдущая – 4,93 мм против 4,82 мм, р<0,001, межвыборочный сдвиг – 0,13 мм; последующая – 4,97 мм против 4,87 мм, р<0,001, межвыборочный сдвиг – 0,11 мм).

Полученные результаты показывают, что для испытуемых, не имеющих специальной подготовки, выделение невербальных признаков, свидетельствующих об истинном либо ложном характере сообщаемой информации, происходит в виде выполнения двух конкурирующих процессов, различающихся на уровне закономерностей окуломоторной активности. Принятие решения о том, что данный невербальный признак свидетельствует о правдивом характере информации, связано с «медленным» процессом (более высокая продолжительность фиксаций, большее время реакции), протекающим с меньшей интенсивностью (меньшая величина раскрытия зрачка). Напротив, принятие решения о том, что данный невербальный признак свидетельствует о ложном характере информации, связано с «быстрым» процессом (низкая продолжительность фиксаций, меньшее время реакции), протекающим с большей интенсивностью (большая величина раскрытия зрачка).

Заключение

Задача выделения визуальных признаков сообщения истинной или ложной информации для наблюдателя, не имеющего специальной подготовки, является крайне сложной.

Принятие решения о классификации наблюдаемых невербальных признаков, свидетельствующих об истинном либо ложном характере сообщаемой информации, происходит в ходе конкуренции двух процессов, один из которых направлен на подтверждение гипотезы об истинности сообщаемой информации, а второй – о ее ложном характере. Момент решения соответствует выделению невербального признака, а ответ – определяется тем, какой из процессов оказался доминантным в данный момент. Вопрос о характере взаимопротекания данных процессов требует дальнейших исследований, направленных на сопоставление темпа движений глаз и даваемых наблюдателем ответов.

В качестве практической рекомендации можно указать, что задача выделения только невербальных признаков сообщения ложной информации либо задача выделения только признаков сообщения правдивой информации будет для оператора более легкой, чем комбинированная задача. Следует также отметить, что принятие решения о наличии признаков сообщения правдивой информации требует от оператора меньшей когнитивной нагрузки, чем принятие решения о наличии признаков сообщения ложной информации.