Текст книги "Когнитивные механизмы невербальной коммуникации"

2.3. Влияние микропаузы на распознавание базовых экспрессий

Выявление роли временнóй структуры экспозиции эмоциональных экспрессий в восприятии естественных выражений лица входит в число наиболее перспективных задач исследования межличностной коммуникации (Барабанщиков, Жегалло, Королькова, 2016). Нетрудно предположить, что это касается не только реального, но и кажущегося изменения экспрессии.

Напомним, что временная структура стимульной ситуации, использованной в экспериментах 1 и 2, включала «паузу» – короткий (20 мс) интервал, разделяющий экспозиции первого контекстного изображения (рандомизированное либо спокойное лицо) и тест-объекта (эмоциональные экспрессии, а также спокойное лицо). «Пауза» носила технический характер и по предположению исследователей должна была усилить эффект кажущегося движения спокойного лица, когда оно экспонировалось в роли тест-объекта; сам же эффект вызывался резким смещением изображения по вертикали. Влияние «паузы», или дополнительного межстимульного интервала (ДМИ), на оценку экспрессий и в условиях кажущегося движения, и в условиях маскировки оставалось неясным. Учитывая тот факт, что качество и параметры зрительных феноменов в микроинтервалах времени тесно связаны со структурой стимульной ситуации (Барабанщиков, 2002; Джафаров, Аллик, Линде, 1983; Ульман, 1983; Bruce, Green, 1993; Kolers, 1972; Palmer, 2003), мы провели специальное исследование – эксперимент 3, в котором сопоставлялась точность восприятия экспрессий в условиях кажущегося движения либо зрительной маскировки при наличии ДМИ и при его отсутствии.

В исследовании участвовали 137 человек с нормальным или скорректированным до нормального зрением. Из них 35 человек (20 женщин и 15 мужчин, возраст 21–53, медиана возраста 32 года) приняли участие в серии со стробоскопическим движением и ДМИ (серия 3.1); 39 человек (28 женщин и 11 мужчин, возраст 17–20, медиана возраста 18 лет) – в серии с прямой и обратной маскировкой и ДМИ (серия 3.2); 34 человека (29 женщин и 5 мужчин, возраст 17–61, медиана возраста 29 лет) – в серии 3.3 со стробоскопическим движением без ДМИ; 29 человек (27 женщин и 2 мужчины, возраст 20–34, медиана возраста 22 года) – в серии 3.4 с прямой и обратной маскировкой без ДМИ. Чтобы исключить влияние переноса между экспериментальными сериями, каждый испытуемый участвовал только в одной из них.

Исследование проводилось по межгрупповому плану. Экспериментальные серии отличались друг от друга содержанием контекста и наличием либо отсутствием ДМИ – паузы (20 мс) между первым контекстным изображением и экспрессией, во время которой демонстрировался серый экран.

Перед началом каждой серии испытуемому предлагалось внимательно рассмотреть тестовые изображения лица и выбрать из предъявленного списка название той эмоции, которая максимально соответствует увиденной экспрессии. Во время тренировочной сессии в центре экрана на светло-сером фоне последовательно экспонировались:

• черный фиксационный крест (2000 мс, угловые размеры 1,4°×1,4°);

• «пустой» экран (длительность варьировалась псевдослучайно от 300 мс до 1300 мс, среднее время – 800 мс);

• первое контекстное изображение (300 мс);

• «пустой» экран (20 мс, только в сериях 3.1 и 3.2);

• тестовое изображение лица (300 мс);

• второе контекстное изображение (100 мс);

• «пустой» экран (500 мс);

• вопрос «Какие эмоции присутствовали на изображении?» с вариантами ответа «радость», «гнев», «страх», «удивление», «отвращение», «печаль», «спокойное лицо».

Ответ, выбранный в каждой пробе, а также время ответа регистрировались путем нажатия клавиши «пробел», которое позволяло перейти к следующей пробе. Всего проводилось 7 тренировочных проб, в каждой из которых тестовое изображение представляло одну из 7 экспрессий, выраженную одним из 6 натурщиков. Экспонируемые экспрессии в тестовых пробах не повторялись. Порядок проб был случайным. Для сохранения эффекта движения в пробах, где в качестве тестового предъявлялось спокойное выражение, изображение лица смещалось на 5 пикселей вверх.

После тренировки участники исследования переходили к выполнению основного задания. Пробы основной сессии были аналогичны тренировочным, за исключением следующих особенностей: тестовые изображения предъявлялись на время, равное 50, 100 либо 200 мс; каждая из семи экспрессий была выражена каждым из шести натурщиков (всего 42 фотоизображения); каждое сочетание натурщик/экспрессия предъявлялось по 4 раза. Таким образом, основное задание включало 504 пробы. Все пробы были разбиты на 2 блока, между которыми испытуемые могли прерываться на отдых. Порядок предъявления стимульного материала в каждом блоке был случайным.

Данные анализировались в среде статистического анализа R 3.3.0 (R Core Team, 2016). Зависимой переменной служили пропорции верных оценок экспрессий в различных экспериментальных ситуациях. Верным ответом считалось совпадение выбранной эмоциональной категории с тем состоянием, которое демонстрировал натурщик. Предварительная оценка показала, что распределение данных точности решения не соответствует нормальному, а дисперсии в разных условиях существенно различаются, что делает некорректным использование дисперсионного анализа. В связи с этим применялся метод логистической регрессии со смешанными эффектами, реализованный в пакете lme4 1.1–12 (Bates, Maechler, Bolker, Walker, 2015). Этот метод является предпочтительным для анализа данных, которые не удовлетворяют требованиям дисперсионного анализа (Jaeger, 2008). Он позволяет учесть не только влияние факторов, целенаправленно варьируемых в эксперименте, но и случайно распределенные вариации между отдельными испытуемыми.

Оценивалось влияние внутригрупповых факторов: Время экспозиции (3 градации) и Экспрессия натурщика (7 градаций), межгрупповых факторов: Содержание контекста (2 градации) и Временная структура стимульной ситуации (2 градации), а также их взаимодействий. В качестве случайного эффекта учитывался фактор испытуемого – индивидуальные вариации базового уровня точности ответа, а также случайные вариации для каждого испытуемого в зависимости от содержания контекста и модальности экспрессии. Далее при помощи линейных контрастов для каждой экспрессии, времени предъявления и содержания контекста проводились сравнения частот верных ответов при различной временнóй структуре стимульной ситуации (наличие либо отсутствие «паузы» – ДМИ после прямой маски). Аналогично сравнивались частоты верных ответов в сериях с одной и той же временной организацией стимульной ситуации, но с различным содержанием контекста (спокойное лицо либо маскировка рандомизированным паттерном). Вводилась поправка Беньямини – Хохберга на множественные сравнения.

Точность распознавания экспрессий лица. По результатам анализа значимыми оказались факторы: содержание контекста (К), время экспозиции (В) и модальность экспрессии (Э), а также взаимодействия К × В; К × Э; С × Э; В × Э; К × С × В; К × С × Э; С × В × Э; К × В × Э; К × С × В × Э (р<0,05). Фактор временнóй структуры стимульной ситуации (С) сам по себе не влиял на точность распознавания. Полученная модель объясняет 46 % дисперсии (для модели, включающей только фиксированные факторы: R²_m = 0,34; для полной модели с фиксированными и случайными факторами: R²_c = 0,46). Учет вариативности оценок между испытуемыми существенно повышает точность регрессионной модели.

Средняя точность распознавания экспрессий в сериях 1 и 2 с наличием ДМИ (0,72) незначительно превышает среднюю точность ответов в сериях 3 и 4, в которых дополнительный межстимульный интервал отсутствует (0,69). В условиях прямой и обратной маскировки получены чуть более высокие доли верных ответов (в серии с ДМИ: 0,73/в серии без ДМИ: 0,71), чем при кажущемся движении (0,7/0,67). Сопоставление экспериментальных ситуаций с наличием либо отсутствием ДМИ при помощи линейных контрастов показало, что за исключением экспрессии радости, различия между сравниваемыми сериями незначимы, тогда как для ряда экспрессий – радости, спокойствия, удивления, отвращения и печали – условия маскировки могут приводить к изменению точности ответа по сравнению с экспозицией кажущегося движения. Средние значения точности распознавания экспрессий в различных экспериментальных условиях приведены в таблице 2.3. Результаты сравнения точности ответов при различной временной структуре экспозиции приведены в таблице 2.4, при различном содержании контекста – в таблице 2.5.

При стробоскопической экспозиции экспрессии в течение 100 либо 200 мс включение ДМИ значимо повышало точность распознавания «радости» (на 100 мс она составляла 0,95 при наличии паузы, 0,86 – при ее отсутствии; на 200 мс: 0,97/0,92, соответственно). Для остальных экспрессий включение короткой паузы после первого контекстного изображения не вело к значимым изменениям точности ответов (таблица 2.3). По отношению к большинству базовых эмоций, при достаточном объеме выборки и большом количестве проведенных экспериментальных проб, наши данные с высокой достоверностью позволяют принять нулевую гипотезу: оценки экспрессий лица стабильны и не меняются при изменении временнóй структуры экспозиции.

Таблица 2.3. Средние значения точности распознавания экспрессий в зависимости от условий эксперимента

Таблица 2.4. Влияние содержания контекста на точность распознавания экспрессии при различной временной структуре экспозиции

Примечание. Приведены значения линейных контрастов серия 3.1 > серии 3.3 и серия 3.2 > серии 3.4. Положительные значения z-оценок свидетельствуют о большей точности распознавания при наличии дополнительного межстимульного интервала, отрицательные – при его отсутствии. Уровни значимости (двусторонние) приведены с поправкой Беньямини – Хохберга: * – р<0,05; ** – р<0,01; *** – р<0,001. Жирным выделены значимые различия.

Таблица 2.5. Влияние ДМИ на точность распознавания экспрессий при различном содержании контекста

Примечание. Приведены значения линейных контрастов серия 3.1 > серии 3.2 и серия 3.3 > серии 3.4. Положительные значения z-оценок свидетельствуют о большей точности распознавания в условиях стробоскопического движения, отрицательные – в условиях маскировки. Обозначения те же, что в таблице 2.4.

По сравнению со стробоскопической экспозицией прямая и обратная маскировка экспрессий незначительно повышает точность оценок (таблица 2.6). Тенденция проявляется при восприятии эмоций радости (на 50 мс – как при наличии, так и при отсутствии ДМИ; на 100 и 200 мс – только при его отсутствии), удивления (на 200 мс без ДМИ), отвращения (при любом времени экспозиции с включением ДМИ, а при 100 и 200 мс – в его отсутствие) и печали (на 50 мс при наличии ДМИ). Для экспрессий страха и гнева значимых влияний контекста не выявлено. В случае спокойного лица точность оценок при стробоскопическом движении оказывается выше (на 50 и 100 мс с ДМИ и на 50 мс – без ДМИ), что связано с неизменностью экспозиции спокойного лица, которое демонстрировалось с небольшим сдвигом относительно контекстных изображений. В условиях кажущегося движения сдвиг воспринимался более отчетливо, чем в условиях маскировки. Аналогичный эффект наблюдался и в описанных ранее исследованиях (Барабанщиков, Королькова, Лободинская, 2014, 2015).

Факторы времени экспозиции и модальности экспрессии также оказывали влияние на точность оценок наблюдателей. Так, с увеличением продолжительности экспозиции от 50 до 100 и 200 мс частота верных ответов в сериях со стробоскопическим движением и маскировкой монотонно повышается (таблица 2.3; рисунок 2.6) независимо от наличия или отсутствия ДМИ. В серии 3.1 (кажущееся движение с ДМИ) при 50 мс средняя точность составляет 0,6; при 100 мс – 0,72; при 200 мс – 0,77. В серии 3.3 (кажущееся движение без ДМИ) при 50 мс средняя точность составляет 0,59; при 100 мс – 0,68; при 200 мс – 0,75. В серии 3.2 (маскировка с ДМИ) при 50 мс средняя точность составляет 0,65; при 100 мс – 0,76; при 200 мс – 0,79; а в серии 3.4 (маскировка без ДМИ) при 50 мс средняя точность составляет 0,6; при 100 мс – 0,75; при 200 мс – 0,79.

Эффективность распознавания эмоции зависит и от ее модальности: при любом времени экспозиции и любом контексте экспрессии радости (средняя точность оценки при наличии паузы составляет 0,94, без паузы – 0,89), спокойствия (0,91/0,89) и удивления (0,9/0,85) распознаются наиболее точно. Эффективность восприятия низкоаттрактивных эмоций – печали (0,75/0,73), отвращения (0,57/0,58), страха (0,49/0,45) и гнева (0,45/0,45) – существенно ниже (таблица 2.4). Общие закономерности, выявленные для времени экспозиции, временной структуры и содержания контекста, сохраняются для каждой из экспрессий.

Рис. 2.6. Точность распознавания экспрессий при различных условиях экспозиции

Роль временнóй организации материала. Основной результат выполненного исследования состоит в том, что наличие или отсутствие паузы в 20 мс, разделяющей первое контекстное и тестовое изображения базовой эмоции (ДМИ), само по себе ни в условиях стробоскопического движения, ни в условиях зрительной маскировки практически не влияет на восприятие экспрессий. Наибольший вклад в точность распознавания базовых эмоций вносят их модальность, длительность экспозиции и взаимодействия модальности с содержанием контекста. Слабое влияние ДМИ на эффективность восприятия опосредовано его взаимодействием с другими контролируемыми переменными: модальностью эмоции, контекстом и длительностью тестовых изображений.

Обратим внимание, что с введением паузы точность оценок имеет тенденцию к росту. Это означает, что в структуре стимуляции складываются условия, усиливающие влияние тест-объекта, а техническая (регулирующая) роль ДМИ в восприятии экспрессий лица в микроинтервалах времени представляется оправданной.

Сравнивая влияние контекстов, можно заключить, что средняя доля верных оценок в условиях маскировки оказалась чуть выше, чем в условиях кажущегося движения, причем как в присутствии ДМИ, так и без него. Конкретные значения оценок зависят от модальности и длительности экспрессий. При любом типе контекста и наличия либо отсутствия «паузы» наиболее быстро и эффективно оцениваются экспрессии радости, спокойствия и удивления. Точность их распознавания достигает максимума («потолочный эффект») при времени экспозиции 100 мс и больше, снижаясь лишь при минимальном времени экспозиции (50 мс). В условиях кажущегося движения снижение точности происходит для экспрессии спокойствия и радости, но не для экспрессии удивления; в условиях прямой и обратной маскировки – только для спокойного лица. При любой временнóй структуре стимульной ситуации снижение продолжительности экспозиции отвращения, гнева, страха и печали снижало точность оценок. Средние по всем экспрессиям различия в точности ответа (0,03) между сериями экспериментов с дополнительным межстимульным интервалом и без него минимальны.

Особенности категоризации базовых эмоций. Несмотря на различия в экспериментальной процедуре, профили оценок эмоций качественно совпадают. Точнее всего воспринимаются высокоаттрактивные эмоции, привлекающие наибольшее внимание наблюдателя и квалифицируемые им как более выраженные, интенсивные. К ним относятся радость, спокойствие, удивление. Наблюдатели распознают их быстрее и эффективнее, совершая меньшее число ошибок. Экспрессия печали, обладая более низкой аттрактивностью, распознается хуже и медленнее, однако ошибки в ее восприятии связаны прежде всего с уменьшением времени экспозиции до минимального (50 мс). При экспозиции низкоаттрактивных эмоций – страха, гнева и отвращения – точность ответов еще более снижается. Как мы показали ранее (Барабанщиков и др., 2014, 2015, 2016), причиной «ошибочного» распознавания является высокое сходство экспрессий разных модальностей. В обсуждаемом эксперименте каждая третья экспозиция «отвращения» воспринималась как гнев (0,35); это соотношение сохранялось во всех сериях и практически не менялось с введением или исключением ДМИ независимо от контекста. «Страх» оценивался как удивление (в среднем по всем сериям 0,2) и отвращение (0,16). «Печаль» напоминала спокойное, нейтральное лицо (0,13), а «гнев» – «печаль» (0,25), «спокойствие» (0,14) либо «отвращение» (0,1). Выявленные паттерны визуального сходства базовых эмоций соответствуют результатам экспериментов, проведенных на другом стимульном материале (Барабанщиков, Жегалло, Королькова, 2016; Королькова, 2014а, б, Delis et al., 2016), подчеркивая общую закономерность распознавания базовых экспрессий.

В целом полученные данные позволяют утверждать, что исключение простейшего элемента временнóй структуры экспозиции базовых эмоций не приводит к существенным изменениям в точности их распознавания и слабо влияет лишь на отдельные экспрессии (радость в ситуации кажущегося движения). Восприятие каждой из экспрессий остается инвариантным. Это позволяет отождествить результаты эксперимента 3 с результатами первого эксперимента.

2.4. Распознавание экспрессий расфокусированных изображений лица

Согласно литературным данным, наиболее отчетливо конструктивная роль реальных движений обнаруживается в условиях ограничения пространственной информации (Bassili, 1978; Cunningham, Wallraven, 2009; Fiorentini, Viviani, 2011; и др.). Создавая подобные условия для кажущегося движения лица и сравнивая эффективность оценок статических и динамических экспрессий, можно прийти к выводу о сходстве/различии эффектов реального и кажущегося движения. В эксперименте 4 главной независимой переменной выступила нечеткость (размытость) изображений лица, в разной степени исключающая высокие пространственные частоты.

В новом исследовании сохранялись условия, процедура и способы обработки данных, разработанные для первого эксперимента. Основные различия связаны со стимульным материалом. Для ухудшения его четкости использовался фильтр Гаусса, реализованный в программе Paint Shop (функция Gaussian Blur). С помощью данной процедуры цвет каждой из точек изображения в пределах определенного радиуса рассчитывается как функция нормального распределения в зависимости от расстояния до центральной точки. Были созданы 3 уровня расфокусированных изображений лиц, в том числе и рандомизированных, с радиусом размытости 20, 40 и 60 пикселей (рисунки 2.7–2.8).

В эксперименте участвовал 31 человек (20 женщин, 11 мужчин; возраст 19–54 года, медиана – 36 лет). Все участники имели нормальное или скорректированное до нормального зрение.

Как и предыдущие исследования, эксперимент 4 включал три серии с различным содержанием контекста – изображениями, которые предшествовали и следовали за тестовым. В первой серии (4.1) в качестве контекста использовались изображения нейтрального лица того же натурщика, экспрессия которого демонстрировалась в данной пробе. Во второй серии (4.2) контекстом служили рандомизированные лица, в третьей (4.3) – светло-серый фон пустого экрана. В каждой серии предъявлялись изображения семи экспрессий с различной степенью расфокусированности. Время экспозиции тест-объектов (50, 100 и 200 мс) варьировалось случайным образом. Испытуемому предлагалось выбрать из предъявленного списка название той эмоции, которая максимально соответствовала увиденной экспрессии. Каждый испытуемый участвовал во всех трех сериях.

Рис. 2.7. Примеры расфокусированных фотоизображений лица: а – радиус размытости 0 пикселей (использовался в экспериментах 1 и 2), б – радиус размытости 20 пикселей, в – радиус размытости 40 пикселей, г – радиус размытости 60 пикселей

Рис. 2.8. Примеры рандомизированных фотоизображений лица: а – рандомизированное лицо без расфокусировки (использовался в экспериментах 1 и 2), б – радиус размытости 20 пикселей, в – радиус размытости 40 пикселей, г – радиус размытости 60 пикселей

В течение одной серии каждая из семи экспрессий, выраженная каждым из шести натурщиков, появлялась 2 раза. Таким образом, серия включала: 3 времени экспозиции × 3 степени размытости × 7 экспрессий × 6 натурщиков × 2 повтора = 756 проб. Все пробы были разбиты на 2 блока, между которыми испытуемые могли делать паузы. Порядок предъявления стимульного материала в каждом блоке был случайным. Дополнительный межстимульный интервал отсутствовал. Испытуемые последовательно выполняли серии 1, 2 и 3, проходя их в один день с перерывом либо в разные дни.

До начала основного эксперимента проводилась тренировочная серия, включающая 7 проб, в каждой из которых в качестве тест-объекта на 300 мс экспонировалась одна из 7 экспрессий, выраженная одним из 6 натурщиков. Структура тренировочных проб соответствовала основным сериям.

Статистическая обработка проводилась при помощи пакета R 3.2.2 и SPSS 20.0. Оценивалась роль факторов Время предъявления (3 градации), Содержание контекста (3 градации), Экспрессия натурщика (7 градаций) и Степень расфокусированности (3 градации) на точность распознавания экспрессий. При анализе точности решения верными ответами считали совпадение выбранной в каждой пробе категории эмоции с тем состоянием, которое изображал натурщик. Использовался метод дисперсионного анализа с повторными измерениями. Значения точности в различных условиях усреднялись для каждого испытуемого.