Текст книги "Мультисенсорный музей: междисциплинарный взгляд на осязание, звук, запах, память и пространство"

Пример псевдофона напоминает нам, что на наше восприятие окружающих звуков сильно влияет то, что мы видим. Более известный пример такого рода демонстрирует эффект чревовещателя, при котором источник звука находится не там, где кажется слушателям (например, источником звука кажется рот куклы, хотя на самом деле звук исходит изо рта кукловода). Эта иллюзия возникает из-за того, что визуальные стимулы меняют восприятие источника звука. Это еще один пример ситуации, при которой зрение «захватывает» звуки. Интересные результаты показывают лабораторные эксперименты, исследующие эффект чревовещателя. В ходе эксперимента испытуемым предъявляют визуальные и звуковые стимулы, находящиеся на достаточно большом расстоянии друг от друга. Испытуемые не только склонны локализовать источник звука ближе к визуальному стимулу, но и демонстрируют так называемое «последействие эффекта чревовещателя». Оно заключается в следующем: если предъявлять испытуемым расположенные на некотором расстоянии друг от друга визуальный и звуковой стимулы в течение десяти минут или более, то потом даже в полной темноте источник звука будет определен неверно – примерно там, где ранее находился визуальный стимул[213]213
  Lewald J. (2002) Rapid adaptation to auditory-visual spatial disparity // Learning and Memory, № 9(5): 268–278. Recanzone G.H. (1998) Rapidly induced auditory plasticity: the ventriloquism aftereffect // Proceedings of the National Academy of Science: USA, № 95(3): 869–875.


[Закрыть]. Кроме того, последствие эффекта чревовещателя зависит от частоты звука. Если предъявлять испытуемым визуальный стимул со звуком частотой 1000 Гц, а потом предложить определить источник звука частотой 4000 Гц в полной темноте, испытуемые ошибутся не так сильно, как при локализации звука той же частоты. Хотя последействие длится недолго, оно позволяет предположить, что репрезентация акустического пространства в мозге может быть (временно) изменена под воздействием несовпадающего визуального стимула.

Эффект Мак-Гурка

Еще один пример «визуального плена» возникает в том случае, когда на движения губ, произносящих определенное слово, накладывают звучание другого слова, произнесенного тем же человеком. Это явление известно как эффект Мак-Гурка[214]214
  McGurk H., MacDonald J. (1976) Hearing lips and seeing voices // Nature, № 264(5588): 746–748.


[Закрыть]. Например, если люди слышат слог ga, в то время как на беззвучном видео человек явственно произносит ba, очень многие скажут, что услышали совершенно другой слог – da. Схожим образом, когда звучание слова tough накладывается на движения губ, произносящих hole, слушатели иногда воспринимают его как towel[215]215
  Dodd B. (1977) The role of vision in the perception of speech // Perception, № 6(1): 31–40.


[Закрыть]. Интересно, что не все люди подвержены иллюзиям Мак-Гурка и, как показывают недавние исследования, это можно определить по активности в области мозга, расположенной прямо под и за левой слуховой корой[216]216
  Nath A.R., Beauchamp M.S. (2012) A neural basis for interindividual differences in the McGurk effect, a multisensory speech illusion // NeuroImage, № 59(1): 781–787.


[Закрыть]. Это, однако, не означает, что зрение всегда преобладает над слухом. Например, анимация, где два одинаковых шарика движутся навстречу друг другу, будет восприниматься по-разному в зависимости от звука. Если при соприкосновении шариков раздастся какой-либо звук (например, щелчок), зрители решат, что шарики отскочили друг от друга. Без звука зрителям покажется, что шарики просто миновали друг друга[217]217
  Sekuler R., Sekuler A.B., Lau R. (1997) Sound alters visual motion perception // Nature, № 385(6614): 308.


[Закрыть]. Другой пример влияния звука на зрение представляет «вызванная звуком иллюзия вспышки»: однократная вспышка света воспринимается как несколько идущих подряд вспышек, если ее сопровождает множество кратких звуковых сигналов[218]218
  Shams L., Kamitani Y., Shimojo S. (2000) Illusions. What you see is what you hear // Nature, № 408(6814): 788.


[Закрыть].

В целом можно сказать, что звуковые стимулы получают преимущество над визуальными, когда нам нужно быстро обработать временную информацию, а зрение влияет на слух, когда требуется оценить окружающее пространство. Причина кроется в нейронном строении зрительной и слуховой систем человеческого мозга. В отличие от слуховой системы – которая, как было сказано выше, создает пространственное представление и локализует звук, сравнивая частоту, амплитуду и время поступления звуков в каждое ухо, – зрительная система обладает непосредственным двумерным отображением пространства, зависящим от падения света на сетчатку. Более того, эта пространственная организация визуальной информации (называемая ретинотопической организацией) транслируется к затылочным долям таким образом, что, как правило, левое поле зрения активирует правую зрительную кору, а правое поле зрения – левую зрительную кору. В мозге не было обнаружено аналогичной топографической карты звукового пространства, поэтому представление о пространстве обычно формируется на основе визуальной информации. С другой стороны, если посмотреть, как человек обрабатывает и интерпретирует речь или музыку, становится очевидно, что наша слуховая система великолепно справляется со временнóй обработкой, крайне важной при разделении быстро следующих друг за другом событий. Временнóе преимущество слуховой системы отчасти может объясняться тем, что в ней больше подкорковых ядер в сравнении со зрительной и соматосенсорной системой. Чем больше подкорковых ядер, тем выше способность системы быстро запускать одновременную параллельную обработку входящей информации[219]219
  Camalier C.R., Kaas J.H. Sound // Neurbiology of Sensation and Reward / Gottfried J.A. (Ed.) (2011) Boca Raton: CRC Press.


[Закрыть].

В общем случае принято считать, что восприятие мультимодальных событий в первую очередь обусловлено тем каналом, который получил наиболее надежную информацию[220]220
  Alais D., Burr D. (2004) The ventriloquist effect results from near-optimal bimodal integration // Current Biology, № 14(3): 257–262.


[Закрыть]. Как следствие этого принципа, наше восприятие очень слабых, едва заметных визуальных стимулов (вроде появления светло-серого предмета на светло-сером фоне) может быть усилено, если связать визуальный стимул со звуковым событием[221]221
  Bolognini N., Frassinetti F., Serino A., Ladavas E. «Acoustical vision» of below threshold stimuli: interaction among spatially converging audiovisual inputs // Experimental Brain Research, № 160(3): 273–282.


[Закрыть].

Звук и окружающая среда

До настоящего момента мы обсуждали восприятие звука, учитывая только его собственные свойства. Однако необходимо отметить, что окружающая среда и находящиеся в ней объекты могут в значительной степени определять или модифицировать звуки, которые мы слышим. Рассмотрим, к примеру, скульптуру «Оргáн» авторства Эусебио Семпере. Она представляет собой комплекс вертикально расположенных металлических трубок разной высоты, установленных на вращающемся основании. По задумке, скульптура должна была фильтровать и отражать солнечный свет, однако позже было обнаружено, что ритмическая организация трубок создает акустическую кристаллическую структуру с особыми свойствами. Звуковые волны определенной частоты (примерно 1600 Гц), проходя через скульптуру, подвергаются деструктивной интерференции (то есть взаимному уменьшению амплитуды – прим. науч. ред.), что значительно снижает их передачу через скульптуру[222]222
  Martínez-Sala R., Sancho J., Sanchez J.V., Gomez V., Llinares J., Meseguer F. 1995. Thomas E.L. (2009) Applied physics: bubbly but quiet // Nature, № 462(7276): 990–991.


[Закрыть]. В результате сложные звуки (такие, как человеческий голос), доносящиеся из-за скульптуры, будут совсем не похожи на те же звуки в обычных условиях.

Исследования в области археоакустики позволяют предположить, что звукомодулирующие скульптуры имеют гораздо более долгую историю, чем считалось ранее. Некоторые ученые утверждают, что ступени древней пирамиды Кукулькана – храмового сооружения народа майя – специально сделаны очень высокими, чтобы эхо от рукоплесканий звучало как трели священной птицы кетцаль. Другие полагают, что расположение доисторических наскальных рисунков во французских пещерах Фон-де-Гом и Ласко неслучайно: если похлопать в ладоши возле этих рисунков, возникшее эхо будет очень похоже на звуки, которые издают изображенные животные (например, топот лошадиных копыт). Разумеется, был ли этот эффект намеренным или случайным – по-прежнему дискуссионный вопрос. С другой стороны, оба примера показывают, каким потенциалом с точки зрения передачи информации обладает эхо. Важно отметить, что для этого эхо не обязательно должно быть настолько громким и очевидным. Наша слуховая система прекрасно умеет извлекать информацию из слабого эха, которое мы можем даже не заметить.

Эхо: видеть с помощью звука

За исключением мест с очень сильной реверберацией (лестниц, храмов, каньонов), где зазор между звуком и его отражением вполне очевиден, часто мы совсем не замечаем эха, так как наш мозг его активно подавляет[223]223
  Cremer L. (1948) Die wissenschaftlichen Grundlagen der Raumakustik (1 ed.). Stuttgart: Hirzel-Verlag. Wallach H., Newman E.B., Rosenzweig M.R. (1949) The precedence effect in sound localization // The American Journal of Psychology, № 62(3): 315–36.


[Закрыть]. В большинстве случаев это оказывается полезным, поскольку лишних отзвуков вокруг нас очень много, и они могли бы помешать правильно определять местоположение и источник звука. Однако даже самое слабое эхо, особенно если его преднамеренно породил слушающий, содержит множество важных сведений для нашего мозга. С их помощью мозг по крупицам собирает картину окружающей действительности и находящихся в ней предметов. В следующем параграфе мы подробнее рассмотрим возможности эха.

Люди и эхолокация

Известно, что эхолокация свойственна многим животным, особенно тем, которые обитают в условиях низкой освещенности. К примеру, многие виды летучих мышей и дупляных птиц используют в эхолокацию в темноте, чтобы ловить насекомых и избежать столкновения с деревьями. Известно, что дельфины и другие мелкие зубатые киты ориентируются в воде благодаря эхолокации. Птицы и летучие мыши производят звук голосовыми связками, а потом ушами улавливают эхо; дельфины с помощью специального устройства во лбу издают серии быстрых щелчков, а потом улавливают эхо челюстью. А как это устроено у людей? Можем ли мы использовать эхо, чтобы получать информацию об окружающих предметах? Из содержания вступления к данной главе очевиден ответ на этот вопрос – твердое «да». Наглядным примером являются некоторые незрячие и слабовидящие, развившие экстраординарные способности к эхолокации.

О способностях людей к эхолокации впервые заговорили несколько веков назад. Изначально предполагалось, что люди наделены «лицевым зрением» (то есть способностью обнаруживать присутствие предметов без использования зрения – прим. науч. ред.). К примеру, французский философ Дени Дидро в своей работе 1749 года «Письмо о слепых, предназначенное зрячим» описал поразительное умение «слепого из Пюизо»: «Он так чувствителен к малейшим переменам в атмосфере, что может отличить улицу от тупика»[224]224
  Jourdaine M. (1916) Diderot’s Early Philisophical Works. Chicago: The Open Court Publishing Company; Дидро Д. (1986) Сочинения: в 2-х т. Т. 1. Пер. с фр. Попова П. – Москва: Мысль.


[Закрыть]. Дидро считал, что достигнуть столь высокого мастерства можно благодаря раздражению лицевых нервов, которые ощущают положение предмета по воздействию воздуха.

Убеждение, будто человек обладает «лицевым зрением», было в ходу вплоть до начала ХХ века. Однако после экспериментов Карла Далленбаха стало очевидно, что на самом деле функции, приписываемые «лицевому зрению», главным образом выполняет слух. Далленбах проводил эксперименты над незрячими и зрячими людьми, завязывая им глаза. Их просили подойти к стене насколько близко, насколько возможно, при этом не касаясь ее. Интересно, что обе группы испытуемых успешно выполняли задание, хотя незрячие в целом справлялись лучше. Затем проводился ряд манипуляций, призванных «заблокировать» «лицевое зрение». В частности, людям на голову надевали капюшон и полностью закрывали всю кожу на лице, чтобы рецепторы не могли улавливать воздушные волны. Однако испытуемые все равно оказывались способны определить положение стены. Самым явным образом выполнению задачи мешала блокировка слуха, когда из-за специальных наушников люди не могли слышать звук шагов и окружающий шум. Человеческая способность ориентироваться по слуху оказалась настолько феноменальной, что помогала выполнять задачу, даже если испытуемый лично не принимал в ней непосредственного участия: в одном из экспериментов исследователь шел по направлению к стене, держа в руках микрофон, а звуки с микрофона передавались в наушники незрячего участника, сидевшего в другой комнате. По этим звукам испытуемый определил, когда исследователю нужно остановиться, чтобы не налететь на стену.

В наше время, главным образом благодаря освещению темы в СМИ и интересу к ней в научных кругах, гораздо больше людей знают, что незрячие и слабовидящие используют эхолокацию, чтобы оценивать окружающую обстановку. Вызывать эхо от окружающих предметов можно разными способами: постукивая тростью, притопывая, хлопая в ладоши, издавая звуки голосовыми связками и т. д. Однако наиболее универсальным, надежным и информативным стимулом, судя по всему, является цоканье языком: язык прижимают к небу или к задней стороне зубов, а потом резко убирают. В результате поток воздуха устремляется в карман с низким давлением, производя щелкающий звук[225]225
  Rojas J.A.M., Hermosilla J.A., Montero R.S., Espi P.L.L. (2009) Physical analysis of several organic signals for human echolocation: Oral vacuum pulses // Acta Acustica United with Acustica, № 95(2): 325–330.


[Закрыть].

Одним из наиболее знаменитых людей-эхолокаторов был Бен Андервуд, подросток из США. Используя цоканье языком, Андервуд не только опознавал предметы, но и ориентировался во время бега, катания на скейте и велосипеде, игры в баскетбол и настольный футбол. Также известны своими способностями к эхолокации Том де Витт, доктор Лоуренс Скадден, Лукас Мюррей, Кевин Уорвик, Брайан Бушвэй и Хуан Руис. Но, возможно, самым известным «активистом» эхолокации является американец Дэниел Киш.

В возрасте одного года Кишу удалили оба глаза из-за ретинобластомы, и с тех пор он начал пользоваться эхолокацией. Как и Андервуд, Киш стал ориентироваться по эху при выполнении повседневных задач, чтобы лучше понимать, что находится вокруг него. Этот навык чрезвычайно полезен для незрячих и слабовидящих и имеет множество областей применения, поэтому Киш и его коллеги-инструкторы из некоммерческой организации World Access for the Blind с большим энтузиазмом преподают и популяризуют активную эхолокацию (которую они называют флэш-сонар).

Но какие же характеристики мозга лежат в основе таких способностей? Поскольку стимулы имеют акустическую природу, можно предположить, что слуховая кора искусных эхолокаторов перенастроилась на улавливание эха. В конце концов, нам известно, что слуховая кора играет важную роль при различении наложенных друг на друга звуков. При этом демонстрируется схожая активность, как и при обработке эха[226]226
  Alain C., Arnott S.R., Picton T.W. (2001) Bottom-up and top-down influences on auditory scene analysis: evidence from event-related brain potentials // Journal of Experimental Psychology: Human Perception and Performance, № 27(5): 1072–1089. McDonald K.L., Alain C. (2005) Contribution of harmonicity and location to auditory object formation in free field: evidence from event-related brain potentials // The Journal of the Acoustical Society of America, № 118(3. Pt 1): 1593–1604; Sanders L.D., Zobel B.H., Freyman R.L., Keen R. (2011).


[Закрыть].

Чтобы разобраться с этим, мы провели эксперимент. С помощью помещенных в ушную раковину микрофонов мы записали звуки, поступающие в уши незрячих экспертов – искусных эхолокаторов, когда те цоканьем вызывали эхо от различных беззвучных предметов (например, фонарного столба, автомобиля, дерева). Аудиозапись зафиксировала не только цоканье, но и слабое эхо, которое отражалось от окружающих предметов. Прослушивая эти записи, незрячие эксперты-эхолокаторы могли точно определить, от какого предмета исходило эхо в каждом случае. Они сохраняли эту способность, даже если в момент прослушивания лежали на спине внутри аппарата функциональной магнитно-резонансной томографии (фМРТ). Проведенное фМРТ-исследование, в свою очередь, показало удивительный результат: во время выполнения этих задач у эхолокаторов активируется не только слуховая кора, но и области мозга, ответственные за обработку визуальной информации у зрячих людей (например, затылочная доля)[227]227
  Arnott S.R., Thaler L., Milne J.L., Kish D., Goodale M.A. (2013) Shape-specific activation of occipital cortex in an early blind echolocation expert // Neuropsychologia, № 51(5), 938–949. Thaler L., Arnott S.R., Goodale M.A. (2011) Neural correlates of natural human echolocation in early and late blind echolocation experts // PLoS One, № 6(5): e20162.


[Закрыть]. Однако самое интересное обнаружилось, когда испытуемым дали послушать те же записи, но без звучания слабого эха. В то время как активность слуховой коры была одинаковой в обоих случаях, активность затылочной доли была намного выше при прослушивании оригинальных записей. Суть этих нейровизуализационных исследований можно сформулировать так: области мозга, у зрячих предназначенные для обработки визуальной информации, у незрячих экспертов в эхолокации адаптировались к обработке эхо-информации.

Вдобавок мы обнаружили, что активность затылочной доли зависит от типа объекта, который определяется по отзвукам эха[228]228
  Arnott S.R., Thaler L., Milne J.L., Kish D., Goodale M.A. (2013).


[Закрыть]. По сути, эхо-информация обрабатывается не целиком, а по отдельным характеристикам. Например, когда испытуемого просили определить форму объекта или тип поверхности (скажем, при сравнении алюминиевой фольги и мягкого полотенца), это вызывало активность в областях затылочной коры, связанных с распознаванием формы по визуальной информации. Фактически, исследование показало, что незрячие обрабатывают эхо-информацию примерно так же, как зрячие обрабатывают визуальную информацию. Эти данные позволяют предположить, что слуховая система (и человеческий мозг в целом) чрезвычайно пластична (т. е. способна изменяться в зависимости от нашего опыта), а ее функции не заданы раз и навсегда, как считалось раньше. Кроме того, можно сделать такой обобщающий вывод: области мозга, изначально предназначенные для обработки информации определенной сенсорной модальности, могут быть задействованы при обработке информации другой модальности для обогащения опыта восприятия.

Если эксперт в эхолокации послушает записи эха, вызванного другим экспертом с помощью цоканья, он не только окажется способен «видеть» безмолвные объекты, но и физически ощутит себя на месте другого человека. Приведем пример. Запись отзвуков эха, которые улавливал один эксперт, дали послушать другому эксперту, ниже ростом. Слушающий не только смог обнаружить и идентифицировать «зашифрованный» в записи беззвучный объект; вдобавок у него возникло ощущение, что крона дерева теперь как бы находится ближе, чем при прослушивании записей, где эхо вызывал он сам. Значит, теоретически мы можем вызывать у таких искусных эхолокаторов ощущения различного рода: достаточно просто проиграть записи эха, которые слышали другие эксперты в эхолокации.

А как насчет зрячих? Могут ли они эхолоцировать? Исследования показали, что всего одного-двух часов практики достаточно, чтобы неопытные слушатели приобрели навыки эхолокации (то есть научились определять размер и положение беззвучного объекта на основе эха, вызванного цоканьем[229]229
  Teng S., Whitney D. (2011) The acuity of echolocation: Spatial resolution in the sighted compared to expert performance // Journal of Visual Impairment and Blindness, № 105(1): 20–32.


[Закрыть]). В целом зрячие испытуемые не могли достигнуть такого же уровня мастерства, что и опытные незрячие эксперты, однако некоторые задачи им удавались почти так же хорошо, как и их незрячим «соперникам»[230]230
  Teng S., Whitney D. (2011).


[Закрыть]. Если такой результат кажется вам странным, вспомните эксперименты Далленбаха: у зрячих людей с завязанными глазами довольно неплохо получалось определить на слух (то есть по эху[231]231
  Supa M., Cotzin M., Dallenbach K.M. (1944).


[Закрыть]), когда им надо остановиться, чтобы не налететь на стену. Таким образом, возможности эха и восприятие беззвучных объектов могут быть интересно и плодотворно использованы в музейных выставках.

Устройства сенсорного замещения

Другой способ «видеть» с помощью звука – использование электронных устройств, которые преобразуют визуальную информацию в звук[232]232
  Ciselet V., Pequet E., Richard I., Veraart C., Meulders M. (1982) Substitution sensorielle de la vision par l’audition au moyen de capteurs d’information spatial // Archives Internationales de Physiologie et de Biochimie, № 90: 47; Heyes A.D. (1984) Sonic Pathfinder: A programmable guidance aid for the blind // Electronics and Wireless World, № 90: 26–29; Hughes B. (2001) Active artificial echolocation and the nonvisual perception of aperture passability // Human Movement Science, № 20(4–5): 371–400; Kay L. (1964) An ultrasonic sensing probe as a mobility aid for the blind // Ultrasonics, № 2: 53.


[Закрыть]. Одно из самых известных устройств для незрячих под названием vOICe[233]233
  Meijer P.B. (1992) An experimental system for auditory image representations. // IEEE Transactions on Biomedical Engineering, № 39(2): 112–121.


[Закрыть] представляет собой комбинацию двух камер, установленных на очках, преобразователя и наушников. Каждую секунду устройство преобразует изображение с камеры (то есть визуальную информацию обо всем, что находится непосредственно перед пользователем) в стереозвуковой ландшафт, который поступает в наушники. Звук проходит от левого уха к правому в течение одной секунды, что соответствует горизонтальной (ориентированной слева направо) оси каждого изображения. Громкость зависит от яркости визуальной картины (например, черный связан с отсутствием звука, тогда как яркие цвета вроде белого соответствуют максимальной амплитуде), а высота объектов обозначается высотой тона (низкие звуки передают нижнюю часть визуального изображения, высокие – верхнюю). Следовательно, если посетитель музея с таким устройством, к примеру, окажется в темной комнате перед желтой полоской света, которая в его поле зрения расположена по диагонали от нижнего левого угла к верхнему правому, такой посетитель услышит звук, идущий слева направо и нарастающий по высоте. Если полоска будет идти по диагонали сверху справа вниз налево, соответствующий звук будет становиться ниже. С увеличением яркости слева направо (например, от черного до ярко-желтого) соответствующий звук будет нарастать по громкости с каждой секундой; фМРТ-исследования показали, что, как и при эхолокации, подобное сенсорное замещение стимулирует активность в тех областях мозга, которые обычно задействуются при обработке визуальной информации[234]234
  Amedi A., Stern W.M., Camprodon J.A., Bermpohl F., Merabet L., Rotman S., Hemond C., Meijer P., Pascual-Leone A. (2007) Shape conveyed by visual-to-auditory sensory substitution activates the lateral occipital complex // Nature Neuroscience, № 10(6): 687–89.


[Закрыть].[235]235
  Дополнительная информация и примеры, включая бесплатную загрузку программного обеспечения, доступны на сайте http://www.seeingwithsound.com.


[Закрыть]

Заключение

В предыдущих разделах мы обсудили некоторые аспекты исследования слуха. Мы не стремились в подробностях описать все достижения в этой области. Наша цель заключалась в другом: показать, как данные нейроакустических исследований могут помочь при создании звуковой галереи. Взгляд нейроученых на звук сильно изменился за последние два десятилетия. Теперь, вместо изучения отдельных акустических характеристик, ученые выясняют, как мозг обрабатывает звуковые ландшафты и каким образом он с помощью звуковой информации разделяет и идентифицирует различные предметы, находящиеся вокруг. Конечно, нельзя отрицать важную роль таких очевидных элементов звукового искусства, как звуки, издаваемые играющим оркестром или даже скульптурой. Однако мы надеемся, что наш рассказ об обработке слуховой информации в мозге побудил читателя задуматься о других возможностях звука и звукового восприятия.

Благодарности

Это исследование было поддержано грантом MOP106619 Канадского института исследований в области здравоохранения (CIHR) и грантом Совета по естественным и инженерным исследованиям Канады (NSERC), выданным Клоду Алену.