Текст книги "Айтрекинг в психологической науке и практике"

Перспективы использования очков-айтрекеров в когнитивных исследованиях мультимодальности[7]7
  Работа выполнена при финансовой поддержке РНФ, грант № 14-18-03819 «Язык как он есть: русский мультимодальный дискурс»


[Закрыть]
О. В. Фёдорова, А. А. Кибрик, С. А. Языков

Мультимодальность в лингвистике

Согласно традиционному подходу лингвистики XX в., который и сейчас еще продолжает доминировать, человеческий язык сводится к набору иерархически организованных единиц – фонем, морфем, слов, словосочетаний и предложений. В рамках такого представления языковая форма отождествляется с вербальной, т. е. с сегментным материалом, относящимся к вокальному (звуковому) плану выражения. Однако, как известно, помимо звукового сигнала существуют и другие компоненты естественной коммуникации, в первую очередь те, которые связаны с визуальной (зрительной) модальностью[8]8
  Термин «мультимодальный» опирается на принятое в психологии и нейрофизиологии понимание модальности как принадлежности ощущения или сигнала к определенной сенсорной системе.


[Закрыть]. Визуальные каналы, совокупно обозначаемые термином «язык тела», включают жесты, мимику, направление взора, проксемику и позы (Kendon, 1967; McNeill, 1992). Кроме того, звуковой материал не исчерпывается вербальными элементами – существует просодия, т. е. невербальные аспекты звука, включающие интонацию, темп, паузацию, громкость, тональные регистры и т. д. (Кодзасов, 2009; Рассказы о сновидениях, 2009). В реальной коммуникации нет принципиальной разницы между словами, интонациями, жестами и выражениями лица. Для участников коммуникации важно, чтобы была достигнута коммуникативная цель. Таким образом, естественный дискурс по своей природе мультимодален. Жесткое отделение вербального компонента от просодии и визуальных средств представляет собой традиционную условность, которая на современном этапе тормозит развитие знания о языке. Программа мультимодальной лингвистики (Кибрик, 2010; Кибрик, Молчанова, 2014) основана на обязательном исследовании всех трех основных коммуникативных каналов – вербального, просодического и визуального, т. е. на рассмотрении всех компонентов мультимодального дискурса – вербальных единиц, просодии, жестов, мимики, направления взора, проксемики и поз. Только такой комплексный подход, на наш взгляд, при успешном его воплощении может сделать реальностью популярную фразу о том, что язык – это окно в когнитивную систему человека.

Мультимодальные корпуса

Термины «мультимодальная коммуникация» и «мультимодальный корпус» возникли в конце 1980-х гг. (см., в частности, Taylor, 1989). Согласно определению, мультимодальный корпус – это «коллекция скоординированного содержания коммуникативных каналов – речи, направления взора, мануальных жестов и языка тела, которая обычно создается на материале записей человеческого поведения» (Foster, Oberlander, 2007, p. 307–308, перевод наш). В отличие от мономодальных корпусов, уже имеющих свою историю и традицию, мультимодальные корпуса находятся еще в стадии становления. Выделяются четыре критерия их различения: 1) объем корпуса; 2) естественность данных; 3) цели создания корпуса и 4) его доступность для других исследователей. Согласно официальным данным, самый большой заявленный объем такого корпуса – AMI Meeting Corpus составляет 100 часов (Carletta, 2006), однако большая часть информации представлена в виде неразмеченных видеофайлов. Естественность корпусных данных удобно изображать в виде шкалы от строго контролируемых экспериментов на левом краю до ничем не ограниченного общения на правом. На левом краю шкалы находится Czech Audio-Visual Speech corpus (Zelesny et al., 2006), созданный для тестирования системы распознавания речи и включающий 25 часов записи 65 испытуемых, которые были проинструктированы читать вслух по 200 предложений. Более естественные данные собраны в Fruit Carts Corpus, в котором записано 240 видеороликов от 12 испытуемых, каждый продолжительностью 4–8 минут. Испытуемые выполняли стандартное задание – Инструктор давал Раскладчику (на котором был шлем-айтрекер) инструкции по раскладыванию карточек с нарисованными на них фруктами (Aist et al., 2012). Еще правее на шкале естественности располагается англоязычный корпус D64, созданный для изучения бытового социального общения (Campbell, 2009); в него вошли 8 часов записи коммуникации между 5 испытуемыми.

На самом правом краю находятся корпуса, созданные в традиции анализа бытовых диалогов (см., напр.: Mondada, 2014). Что касается двух последних критериев, то, согласно мнению авторитетного эксперта по мультимодальности Д. Найта, все существующие корпуса создаются в узких исследовательских целях и дают ответы только на частные вопросы, а стандартная процедура сбора, аннотирования и проведения исследований в таких корпусах еще не разработана; кроме того, на сегодняшний день в свободном доступе нет ни одного мультимодального корпуса (Knight, 2011, р. 403).

В ходе нашего проекта создается мультимодальный корпус естественного русского дискурса, не имеющий аналогов не только в отечественной, но и в мировой практике. Он предназначен для исследования широкого круга задач, основан на четкой методологии сбора данных, записан при помощи новейших средств аудио– и видеофиксации, аннотирован в программе многоуровневой дискурсивной транскрипции и будет открыт для свободного доступа в интернете. Корпус позволит проводить любые мультимодальные исследования не только лингвистам различной специализации, но и другим специалистам в области когнитивных наук.

Направление взора

Направление взора уже давно привлекает внимание исследователей невербальной коммуникации, наиболее известные и цитируемые работы в этой области принадлежат одному из основателей изучения жестовой коммуникации А. Кендону Так, им (Kendon, 1967) описаны параллели между направлением взора и вербализацией в ходе реальной коммуникации: в большинстве случаев говорящий смотрит на собеседника, заканчивая свою реплику и как бы передавая ему ход; отсутствие подобного взгляда в 71 % случаев вызывает задержку ответной реплики; с другой стороны, начиная новую реплику, говорящий обычно смотрит не на собеседника, а в сторону. Также интересен второй вывод из работы Кендона (1967) о наложении разных типов пауз на направление взора: во время паузы, которая структурирует речь, говорящий обычно поднимает глаза на собеседника, ожидая получить какую-либо обратную связь, однако во время паузы хезитации он, наоборот, чаще смотрит в сторону, пытаясь сфокусироваться на своей мысли. Известна также следующая статистика: в ходе коммуникации собеседники смотрят друг на друга в среднем 30 % времени, говорящий смотрит на собеседника в 40 % случаев, а слушающий – в 75 % (Argyle, 1993). Все эти важные результаты, однако, были получены при анализе данных видеокамер, причем записанных с обычной частотой 25 к/с; на современном этапе развития техники видеосъемки и особенно айтрекинга данная точность не может считаться достаточной, так что подобные выводы нуждаются в подтверждении и/или уточнении при помощи современного оборудования.

В самые последние годы было создано несколько мультимодальных корпусов с использованием современного оборудования для регистрации движений глаз. Так, была использована (Carletta et al., 2010) новая методика регистрации движений глаз двух участников коммуникации при выполнении ими совместной когнитивной задачи. Однако данная методика плохо подходит для анализа естественного диалога, так как ее обязательным условием является наличие экрана компьютера, на котором и происходит выполнение совместной задачи. В исследовании (Jokinen, 2011) для описания диалога трех собеседников был использован один стационарный айтрекер, который записывал направление взора одного из собеседников, а движения глаз двух других фиксировались на две бытовые видеокамеры. Наконец, самое подходящее, по нашему мнению, оборудование было использовано при создании бельгийского корпуса InSight Interaction (Brone, Oben, 2015). В ходе данного проекта авторы собрали 15 записей диалогов по 20 минут каждый; на каждого из двух собеседников был надеты очки-айтрекер Arlington Gig-E60 с частотой 30 к/с и разрешением 320x240; кроме того, общий план фиксировался видеокамерой Sony HDRFX1000E с частотой 25 к/с и разрешением 720x576.

Мультимодальный корпус «Русские груши»

Описываемый проект включает две части, длительностью 10 часов каждая: 1) корпус, собранный по методологии контролируемого наблюдения, состоящий из 100 пересказов; 2) корпус, состоящий из 20 бытовых диалогов. Материал первого корпуса позволяет более строго верифицировать исследовательские гипотезы, так как полученные пересказы, в отличие от бытовых диалогов, имеют много общих черт. Ниже речь пойдет именно об этом корпусе.

В качестве стимульного материала при сборе корпуса был использован известный «Фильм о грушах» У. Чейфа; коллективная монография под его редакцией «Рассказы о грушах: Когнитивные, культурные и языковые аспекты порождения повествования» является одной из самых известных работ в области анализа дискурса (Chafe, 1980). Изданная в 1980 г. по итогам пятилетней работы большого коллектива авторов, она во многом задала направление дискурсивным исследованиям конца ХХ-начала XXI в. В этом исследовании носители разных языков (обычно по 20 испытуемых для каждого языка) смотрели, а затем пересказывали специально снятый для научных целей шестиминутный видеоролик. Фильм о грушах не содержит звучащей речи, а показанные события в целом понятны жителями практически любого уголка земного шара. Кроме того, видеоряд был подобран таким образом, чтобы стимулировать испытуемых к описанию пейзажа, определению причинно-следственных отношений, мыслей и эмоций героев повествования, а также разрешению некоторых неоднозначностей.

Использовав этот ролик в качестве стимульного материала, мы разработали новую методику проведения исследования. В каждой записи принимали участие четыре человека с заранее распределенными ролями. Три участника – Рассказчик, Комментатор и Пересказчик – участвовали в основной части записи, а четвертый – Слушатель – присоединялся в конце. Сначала Рассказчик и Комментатор смотрели каждый на своем ноутбуке шестиминутный видеоролик и старались как можно лучше запомнить сюжет и всевозможные детали. Затем к ним присоединялся третий участник – Пересказчик, начиналась основная часть записи. Задача Рассказчика состояла в том, чтобы рассказать сюжет просмотренного ролика Пересказчику, который этот ролик не смотрел; это был этап монолога Рассказчика. На следующем этапе Комментатор дополнял рассказ Рассказчика разными подробностями, о которых тот не сообщил, и при необходимости поправлял его, а Пересказчик уточнял у Рассказчика и Комментатора необходимые для успешного пересказа детали; это был этап диалога. Наконец, Пересказчик пересказывал то, что он услышал, Слушателю, который в этот момент входил в помещение – это был второй монолог, во время которого Рассказчик и Комментатор сидели молча и слушали. После этого Слушатель переходил в другое помещение и письменно фиксировал на бумаге услышанный пересказ. Таким образом, основная задача каждого участника состояла в том, чтобы максимально подробно и понятно донести до других полученную им информацию.

Оборудование. Речь испытуемых фиксировалась на шестиканальный диктофон ZOOM H6 Handy Recorder с параметрами записи 96 kHz/24 bit; речь каждого из трех говорящих записывалась на индивидуальный петличный микрофон SONY ECM-88B; кроме того, отдельно велась общая стереозапись с микрофона диктофона. Три промышленные видеокамеры JAI GO-5000M-USB с частотой 100 к/с и разрешением 1392x1000 записывали крупным планом каждого из трех основных участников; эти камеры позволяют получить запись в формате mjpeg; данный формат выгодно отличается от остальных отсутствием межкадрового сжатия, что является необходимым условием для дальнейшего покадрового аннотирования; кроме того, камера GoPro Него 4 Black Edition с частотой 50 к/с и разрешением 2700x1500 записывала общий план. Для регистрации движений глаз были использованы две пары очков-айтрекеров фирмы Tobii Glasses II Eye Tracker с частотой 50 Hz и разрешением видеокамеры 1920x1080. Один из двух айтрекеров был надет на Рассказчика, причем запись также велась и во время просмотра им видеоролика; второй айтрекер был надет на Пересказчика. Данная модель айтрекеров выпускается с декабря 2014 г. и активно используется в маркетинговых и спортивных исследованиях, а также в исследованиях безопасности вождения автомобилей. Насколько нам известно, подобные айтрекеры еще не были использованы в когнитивных исследованиях мультимодальной коммуникации.

Результаты

В ходе летней сессии 2015 г. было проведено 24 записи общей продолжительностью 9 часов 45 минут, каждая запись занимала от 12 до 38 минут. Звуковая составляющая была аннотирована в программе PRAAT, визуальная составляющая аннотирована в программе ELAN. В заключительном разделе приведены результаты предварительного анализа одной выборочной записи при помощи программы Tobii Pro Glasses Analyzer фильтр Tobii I–VT (Fixation).

Анализ глазодвигательной активности Рассказчика и Пересказчика

При сравнении трех этапов обсуждения фильма о грушах (рассказ-диалог-пересказ) наблюдаются значительные различия в характере движений глаз как Рассказчика, так и Пересказчика. Так, в ходе рассказа только 37 % фиксаций движений глаз Рассказчика приходится на Пересказчика (почти все – на лице), которому адресован его рассказ, а остальные 63 % распределены между предметами обстановки, причем большая часть этих фиксаций ориентирована в области левого верхнего угла зрительного поля. Если подобное соотношение количества фиксаций будет наблюдаться и для других групп испытуемых, можно охарактеризовать и выделить общее в тех частях рассказа, которые сопровождаются направлением взгляда на Пересказчика.

В то же время около 78 % фиксаций движений глаз Пересказчика, слушающего Рассказчика, приходится на собеседника, и только 22 % – на предметы обстановки. Из 78 % фиксаций на собеседника около 72 % приходятся на лицо и оставшиеся 6 % – на руки (во время жестикуляции). Важно отметить, что фиксации на мануальных жестах наблюдались почти всегда во время вербальных заминок, пауз в речи (напр., Рассказчик, затрудняясь объяснить, как два героя видеоролика проехали друг мимо друга на велосипедах, иллюстрирует это руками, и этот жест отслеживается, тогда как немногим раньше сходный жест, сопровождавшийся ясным комментарием они едут навстречу друг другу не привлек внимания Пересказчика), т. е. взгляды на жесты использовались при необходимости как дополнительный источник информации, а в остальных случаях не привлекали к себе явного внимания.

Иначе движения глаз распределяются в зрительном поле в процессе диалога, т. е. совместного обсуждения видеоролика тремя участниками. В этих условиях, как правило, фиксируется говорящий, это характерно как для Пересказчика, так и для Рассказчика. При этом Пересказчик больше, чем в течение предыдущего этапа, уделял внимание жестам, что особенно заметно в первые минуты обсуждения, когда Комментатор и Рассказчик дополняли и уточняли детали истории, а Пересказчик пассивно слушал. Возможно, что в ситуации группового общения роль жестикуляции в коммуникации повышается.

На последнем этапе пересказа, когда Пересказчик воспроизводит услышанную историю Слушателю, около 70 % его фиксаций приходится на собеседника, остальные – на предметы обстановки. Здесь не наблюдалось характерных для Рассказчика фиксаций в левом верхнем углу поля зрения, чаще фиксировалось правое полуполе зрения. Возможно, это является следствием организации пространства или характера воспроизведения (если Рассказчик вспоминал зрительные образы, то Пересказчик – вербальные описания). В это же время Рассказчик молча наблюдает за говорящим Пересказчиком, при этом почти все его фиксации приходились на Пересказчика, а фиксации на предметах обстановки отсутствовали.

Полученные нами данные по распределению фиксаций в целом согласуются с результатами экспериментов Гленберга с соавт. (Glenberg et al., 1998), которые показали, что чем сложнее когнитивная задача, тем выше вероятность того, что испытуемый в процессе ее решения будет смотреть в сторону. Таким образом, люди используют подобную, основанную на контроле перцептивной среды стратегию запоминания и воспроизведения не только в условиях лабораторного эксперимента, но и в ситуации естественного общения.

Все описанные выше результаты и интерпертации ждут дальнейшего подтверждения на материале всего собранного корпуса пересказов, а затем и на материале спонтанных диалогов.

Литература

Кибрик А. А. Мультимодальная лингвистика // Когнитивные исследования. Вып. IV. М., 2010. 134–152.

Рассказы о сновидениях: корпусное исследование устного русского дискурса / Под ред. А. А. Кибрик, В. И. Подлесской. М.: ЯСК, 2009.

Кибрик А. А., Молчанова Н. Б. Каналы мультимодальной коммуникации: относительный вклад в понимание дискурса // Мультимодальная коммуникация: теоретические и эмпирические исследования. Сборник статей / Под ред. О. В. Федоровой, А. А. Кибрика. М., 2014.

Кодзасов С. В. Исследования в области русской просодии. М.: ЯСК, 2009.

Aist G., Campana E., Allen J., Swift M., Tanenhaus M. K. Fruit Carts: A Domain and Corpus for Research in Dialogue Systems and Psycholinguistics // Computational Linguistics. 2012. V. 38 (3). P. 469–478.

Argyle M. Bodily Communication. Routledge, 1993.

Brone G., Oben B. InSight Interaction. A multimodal and multifocal dialogue corpus // Language Resources and Evaluation 2015. V. 49 (1). P. 195–214.

Campbell N. Tools and Resources for Visualising Conversational-Speech Interaction//M. Kippetal. (Eds). Multimodal Corpora: From Models of Natural Interaction to Systems and Applications. Springer: Heidelberg, 2009.

Carletta J. Announcing the AMI Meeting Corpus // The ELRA Newsletter. 2006. V 11 (1). January-March. P. 3–5.

Carletta J., Hill R. L. et al. Eyetracking for two-person tasks with manipulation of a virtual world // Behav Res Methods. 2010. V 42 (1). P. 254–265.

Chafe W. (Ed.). The pear stories: Cognitive, cultural and linguistic aspects of narrative production. Norwood, 1980.

Foster M. E., Oberlander J. Corpus-based generation of head and eyebrow motion for an embodied conversational agent // Language Resources and Evaluation. 2007. V. 41 (3/4). P. 305–323.

GlenbergA.M., Schroeder J. L., RobertsonD.A. Averting the gaze disengages the environment and facilitates remembering // Memory and Cognition. 1998. V. 26 (4). P. 651–656.

Jokinen K. Turn taking, Utterance Density and Gaze Patterns as Cues to Conversational Activity // Proceedings of The International Conference on Multimodal Interaction. Alicante, Spain, 2011.

Kendon A. Some functions of gaze direction in social interaction // Acta Psychologica 1967. V. 26. P. 22–63.

Knight D. The future of corpus linguistics // Brazilian Journal of Applied Linguistics. 2011. V. 11 (2). 391–416.

McNeill D. Hand and mind: What gestures reveal about thought. Chicago: University of Chicago Press, 1992.

Mondada L. Bodies in action // Language and Dialogue. 2014. V. 4 (3). P. 357–403.

Taylor M. The Structure of Multimodal Dialogue. Amsterdam: Elsevier. 1989.

ZeleznyM., KrnoulZ., CisafP., MatousekJ. Design, implementation and evaluation of the Czech realistic audio-visual speech synthesis // Signal Processing. 2006. V. 83 (12). P. 3657–3673.

Раздел II
Айтрекинг в исследованиях познавательных процессов и деятельности

Применение айтрекинговых исследований в изучении способности восприятия глубины, объема, пространственной перспективы образов плоскостных изображений
В. Н. Антипов

Введение

В работе представлены исследования способности воспринимать плоскостные изображения с эффектами глубины, объема (далее феномен), полученные с применением бинокулярных айтрекеров. Предполагается, что атрибуты феномена формируются в процессе длительного тренинга по наблюдению стереоскопической глубины различного типа стереограмм. Именно тренинг создает новый опыт восприятия плоскостных изображений, которые затем переносятся на любые плоскостные изображения.

Полагаем, что некоторые элементы структуризации феномена затрагивают гипотезу Р. Пенроуза о квантовой природе происхождения сознания. По мнению Р. Пенроуза, феномен сознания тесно связан с физическими процессами, происходящими на квантовом уровне, с новой, так называемой объективной редукцией. «Если квантовую систему не наблюдают, то она может претерпевать „редукцию“ – проявлять макроскопические свойства и из множества возможностей выбрать одну. В фундаментальных физических процессах на уровне наномасштабов происходит сохранение энергии и система „не умеет“ забывать начальные состояния. В действительности можно указать, по крайней мере, одно место, где чисто квантовые явления имеют принципиальное значение для нервной деятельности, это сетчатая оболочка глаза, входящая фактически в состав мозга» (Пенроуз, 2005). Обратим внимание на то, что при наблюдении стереоскопической глубины стереограмм именно на сетчатых изображениях глаз формируется по две проекции с бинокулярным смещением. В последующем эти две проекции создают макроощущение стереоскопической глубины.

Выделим еще одну особенность феномена. С одной стороны, по мнению Г. Хакена, «процессы зрительного восприятия могут послужить в качестве модели при исследовании высокоуровневых, абстрактных процессов мышления. Он полагает, что мозг, в процессе мышления использует принципы, во многом схожие с принципами зрительного восприятия» (Хакен, 2002). С другой стороны, используя определения Г. Хакена, можно сделать вывод: феномен, выражающий новые свойства восприятия, относится к области, охватывающей сферу деятельности теории самоорганизации, или синергетику.

Допустим, развитие способности воспринимать плоскостные изображения с эффектами глубины, объема, пространственной перспективы относятся к творчеству. «Традиционно в психологии выделяют два основных подхода к определению творчества: по его продукту и результату, с одной стороны, и по особенностям протекания его процесса – с другой. В рамках первого подхода творчеством признается любая активность, которая приводит к созданию субъективно или объективно нового. В рамках второго подхода при характеристике творчества отмечается невозможность алгоритмизировать его процесс; неразделимое сосуществование и тесное переплетение в нем осознаваемых и неосознаваемых компонентов; внезапное нахождение решения, т. е. инсайтнаястратегия» (Дикая, 2014).

Мы полагаем, что атрибуты феномена соответствуют обоим перечисленным подходам. Иными словами, развитие феномена, применяемая система обучения (Минзарипов, 2009) относятся к технологии инициации, развития универсальных творческих способностей.

Именно изучение движения глаз, применение бинокулярных айтрекеров стали первыми экспериментальными попытками изучения ЗD-атрибутов феномена.

Процедура и методы исследований

Работы проводились в Центре экспериментальной психологии МГППУ (ЦЭП) и в лаборатории физиологии зрения (ЛФЗ) Института физиологии им. И. П. Павлова РАН. Результаты исследований в ЦЭП подробно изложены в работе В. Н. Антипова (2014), в пяти патентах на изобретения, трудах конференции (Антипов, 2012). Авторами и патентообладателями изобретений являются научные работники Казанского университета, ИП РАН, ЦЭП, ИФ РАН. В настоящей работе анализируются общие закономерности и отличительные особенности исследований, проведенных на двух типах айтрекеров: SMI HiSpeed (далее А1) и SMI RED (далее А2). В качестве стимульных материалов использовались: плоскостные, растровые изображения, стереограммы в плоскостном и трехмерном вариантах наблюдения. Испытуемым был В. Н. Антипов.

При проведении работ регистрировались значения Х-координат направления взора правого (Ra) и левого (Le) глаз на экране монитора айтрекера. Фиксировались траектории движения глаз. Для обработки исходных данных использовались методы нелинейной динамики: за время регистрации показаний строились гистограммы разности Х-координат (ΔХ = X^Le-X^Ra).

Сначала остановимся на общих закономерностях. Во-первых, при восприятии глубины образов стимульных 2D-изображений зарегистрированы условия ΔХ≠0. Иными словами, фокусировка правого и левого глаз происходит вне плоскости расположения стимульных плоскостных изображений. На рисунке 1 приводятся гистограммы разности, полученные на айтрекерах А1 (рисунок 1а) и А2 (рисунок 1б).

На рисунке 1 левый столбец гистограмм получен в ЦЭП, правый – в ЛФЗ. Черная вертикальная линия проходит по нулевой отметке горизонтальной шкалы, т. е. при условии ΔХ = 0. По горизонтальной шкале откладываются показания разности координат в единицах, получаемых из числовых массивов айтрекера. По диаграммам видно: значения гистограмм разности при восприятии ЗD-атрибутов феномена плоскостного и растрового изображений располагаются с одной стороны относительно нулевого значения шкалы. С другой стороны нулевой отметки формируется гистограмма разности, получаемая в условиях концентрации глаз перед стереограммой (условия конвергенции).

Очевиден вывод: если считать нижние гистограммы опорными, то фокусировка глаз при восприятии глубины растрового и 3D-компонент плоскостных изображений происходит за плоскостью расположения стимульных изображений (дивергенция). Следующий вывод: ширина контура гистограмм разности при восприятии глубины феномена 2D-изображения не меньше ширины контура, получаемого при восприятии растрового изображения, стереограммы. Ширина качественно показывает величину горизонтальной диспаратности, т. е. глубины восприятия указанных стимульных изображений.

а) б)

Рис. 1. Гистограммы разности при восприятии 2D-изображения, растрового изображения, при стереоскопическом восприятии стереограммы в условиях фокусировки глаз перед стереограммой (конвергенция)

Условия изменения фокусировки глаз относительно местоположения стереограммы (т. е. экран монитора) приводят к изменению местоположения контуров гистограмм разности. На рисунке 2 показаны гистограммы разности при восприятии стереоскопической глубины в условиях конвергенции и дивергенции, полученные в ЛФЗ при наблюдении стереограммы, представленной на рисунке 3. Технология тренинга ЗD-атрибутов феномена использует механизм наблюдения стереоскопической глубины в трех вариантах: плоскостное восприятие, фокусировка глаз в условиях конвергенции и дивергенции глаз. Отметим, что при конвергенции и дивергенции плоскости восприятия глубины стереограммы располагаются соответственно либо ближе, либо дальше плоскости расположения непосредственно стереограммы. Иными словами, при наблюдении стереоскопической глубины в трех вариантах ориентации глаз происходит процесс сканирования и фиксирования восприятия стереограммы.

Рис. 2. Гистограммы разности при наблюдении стереоскопической глубины в условиях конвергенции и дивергенции, полученные в ЛФЗ

Рис. 3. Стереограмма из трех горизонтальных рядов

Поясним сказанное при условии конвергенции стереограммы на рисунке 3. Сфокусируйте глаза перед стереограммой и получите расположение трех рядов так, чтобы нижний ряд был на переднем плане. Число компонентов каждого горизонтального ряда увеличивается на один. Установите острие ручки так, чтобы было одно изображение. Что происходит? Одиночное изображение острия ручки как бы располагается в плоскости восприятия стереограммы. Однако изображение рядов ближе, чем расположение листа со стереограммой.

Рис. 4. Записи Х-координат при восприятии стереоглубины стереограммы, изображенной на рисунке 3

Рис. 5. Запись разности Х-координат при восприятии стереоглубины стереограммы, изображенной на рисунке 3

На рисунке 4 приводятся записи Х-координат при наблюдении стереоглубины трех рядов стереограммы, изображенной на рисунке 3. Разность Х-координат правого и левого глаз (рисунок 5) показывает, что процесс сопровождаются неустойчивым состоянием уровня фиксации глаз. Такие условия присутствуют и на гистограмме разности (рисунок 2). Однако испытуемый утверждал, что расположение стереоглубины рядов стереограммы (рисунок 3) было устойчивым. Допустимо предположить, что процесс восприятия стереограммы не учитывает импульсное сканирование стереоглубины.

На рисунке 6 приводятся условия восприятия глубины феномена, полученные в ЛФЗ. Сдвиг контура гистограммы разности (6в) относительно нулевого значения, расположение записи показаний разности координат (66) показывают (ΔX≠0), что действительно наблюдается восприятие глубины феномена. Причем плоскости воспринимаемых изображений располагаются за плоскостью экрана монитора, на котором была выведена репродукция картины «Голгофа» (рисунок 7).

а)

б)

в)

Рис. 6. Записи Х-координат правого и левого глаз (а), разности (б) и гистограммы разности (в) при восприятии глубины феномена картины «Голгофа»

Именно картина «Голгофа» в светло-зеленых тонах воспринимается с эффектами глубины и объема. В настоящее время по теме этого феномена получено 19 патентов на изобретения. Как минимум в трех приводится информация о преодолении в изобретениях физических и технических противоречий стереоскопического зрения при восприятии плоскостных изображений и таких удаленных объектов, как облачных покров (Антипов, 2010). По теории решения изобретательских задач (Альтшуллер, 1989), такие изобретения в будущем могут образовать новый уровень техники. В наших изобретениях техническими системами являются зрение, мозг, сознание.

Рис. 7. Репродукция картины «Голгофа»

Результаты измерения восприятия глубины репродукции картины «Голгофа» (ЦЭП), приведенные на рис. 8а, показывают неустойчивое и импульсное состояние наблюдения глубины феномена. Черными столбиками показаны значения X координат правого и левого глаз. Причем значения показаний для левого (Le) глаза меньше, чем для правого (Ra). В процессе обработки находилась разность ΔХ = X^Le-X^Ra, поэтому контур гистограммы разности располагается в области отрицательных значений. Пересчет показаний значения ΔХ в единицы «см» для серий, проведенных в ЦЭП и ЛФЗ, показывает, что их величины одного уровня. Однако контуры гистограмм разности (рисунки 6в и 8б) располагаются по разные стороны от нулевых показаний. В настоящее время мы еще не выяснили причину инверсии знаков в исследованиях на двух типах айтрекеров. Тем не менее такие особенности не влияют на достоверность получаемых результатов. Если обратиться к рисунку 1 и базовым считать нижний, то особого значения инверсия знака разности координат и расположения гистограмм относительно нулевых значений не имеет.

Выводы

1. Атрибуты восприятия глубины, объема плоскостных изображений могут быть выявлены, исследованы с применением бинокулярных айтрекеров. Появляется возможность инструментального изучения изменения зрительного восприятия, абстрактного мышления в современной информационно-компьютеризованной среде обитания.