Текст книги "Не рычите на собаку! Книга о дрессировке людей, животных и самого себя"

1. Подкрепление: Лучше чем вознаграждение

Что такое положительное подкрепление?

Подкрепление – это нечто такое, что, происходя одновременно с поступком, ведет к повышению вероятности повторения этого поступка в будущем.

Запомните это утверждение. В этом заключается секрет успешной тренировки. Чтобы вы лучше его запомнили, повторю его еще раз.

Подкрепление – это нечто такое, что, происходя одновременно с поступком, ведет к повышению вероятности повторения этого поступка в будущем.

Существует два вида подкрепления: положительное и отрицательное. Положительное подкрепление – это нечто желанное для субъекта, то есть пища, ласка или похвала. Отрицательное подкрепление – это то, чего субъект хочет избежать, то есть удар, хмурое выражение лица, неприятный звук. (Звуковой сигнал в машине, который говорит о том, что вы не пристегнули ремень безопасности, является отрицательным подкреплением.)

Поведение, которое уже проявляется, пусть даже нерегулярно, всегда можно закрепить с помощью положительного подкрепления.

Если вы позвали щенка, он пришел, и вы его приласкали, в будущем щенок будет подходить к вам с большим желанием. И для этого не потребуется дополнительной тренировки. Предположим, вы хотите, чтобы вам кто-то позвонил – ребенок, родитель, любимый человек. Если он не звонит, вы ничего не можете сделать. Запомните, что подкрепить поведение, которое не проявляется, невозможно. Если же во время желанного звонка вы проявляете радость и удовольствие, то тем самым положительно подкрепляете поведение звонящего и повышаете вероятность повторного звонка. (Разумеется, отрицательное подкрепление – «Почему ты мне никогда не звонишь? Почему я всегда должен звонить тебе сам?» – создает ситуацию, которой звонящий всеми силами постарается избежать в будущем. Своим поведением вы сами подталкиваете человека к тому, чтобы он перестал вам звонить.)

Простое положительное подкрепление поведения является самой элементарной частью такого рода тренинга. В научной литературе часто можно встретить выражения «использовались поведенческие методы» или «проблема была решена с помощью бихевиористского подхода». Все это, как правило, означает, что психологи отказались от ранее использованного метода и применили положительное подкрепление. Это не значит, что они применили все приемы, описанные в моей книге. Они могли о них даже не знать.

Порой оказывается, что достаточно всего лишь перейти к положительному подкреплению. Такой метод, к примеру, может достаточно эффективно помочь ребенку, который мочится в постель: разбудив ребенка и обнаружив, что простыни сухие, похвалите и обнимите его.

Положительное подкрепление работает даже в отношении самого себя.

Когда-то я ходила в группу по изучению творчества Шекспира. Там я познакомилась с адвокатом с Уолл-стрит. Ему было уже под пятьдесят, и он страстно увлекался игрой в сквош. Он услышал, как я рассказывала о тренинге. Когда мы выходили, он заметил, что хотел бы применить положительное подкрепление в своих спортивных тренировках. Обычно он ругал себя за ошибки и промахи, теперь же решил хвалить себя за хорошие удары.

Через две недели я снова встретилась с этим человеком. «Как ваш сквош?» – спросила я. На его лице появилось выражение удивления и радости – большая редкость для адвокатов с Уолл-стрит.

«Сначала я чувствовал себя полнейшим идиотом, когда при каждом хорошем ударе твердил себе: «Ну, Пит, ты молодец», – рассказал он мне. – Когда я тренировался один, то даже гладил себя по плечу. И мои результаты заметно улучшились. На клубной лестнице я поднялся на четыре ступеньки. Я стал побеждать тех, у кого раньше не мог выиграть ни одной подачи. И мне стало по-настоящему весело. Стоило мне перестать корить себя за неудачные удары, как меня покинуло чувство злобы и разочарования. А ведь раньше я часто выходил с тренировки в таком состоянии! Если я допускаю промах, то не злюсь – ведь за этим ударом обязательно последует удачный. Я с удовольствием наблюдаю за тем, как мой соперник, делая ошибки, сходит с ума, швыряет ракетку на землю… Я-то знаю, что это ему не поможет, и я просто улыбаюсь».

Какой коварный противник! И таким он стал, просто прибегнув к системе положительного подкрепления.

Подкрепление – вещь относительная, а не абсолютная.

Дождь – положительное подкрепление для уток, отрицательное подкрепление для кошек и вещь совершенно безразличная (по крайней мере, не проливной дождь) для коров. Пища не является положительным подкреплением для сытого человека. Улыбка и похвала могут оказаться бесполезными, если собеседник пытается вывести вас из себя.

Чтобы нечто стало подкреплением, нужно, чтобы субъект желал этого.

В любой ситуации тренинга необходимо располагать набором разнообразных подкреплений. В океанариуме «Си Уорлд» косаткам предлагали самые разные подкрепления – рыбу (их пищу), поглаживание различных частей тела, социальное внимание, игрушки и т. п. В бассейне разворачивалось целое шоу, когда животные не знали, какое поведение и чем будет подкреплено в следующий момент. «Сюрпризы» были столь интересны для животных, что любое шоу можно было провести вообще без использования традиционной рыбы. Свою пищу животные получали в конце дня. Необходимость постоянного переключения с одного подкрепления на другое – процесс сложный и интересный и для тренеров тоже.

Положительное подкрепление эффективно работает в человеческих отношениях.

Оно является основой искусства выбора подарков. Необходимо выбрать то, что станет для человека настоящим подкреплением (правильный выбор является подкреплением и для того, кто подарок выбирает). В нашем обществе подарки чаще всего дарят женщины. Я знаю семьи, в которых матери покупают рождественские подарки для всех и каждого. А наутро дети с удивлением рассматривают подарки и говорят: «Смотри-ка, что Анна подарила Билли», хотя всем отлично известно, что Анна не имеет к этому подарку никакого отношения. Но при таком подходе дети никогда не овладеют навыком выбора правильных подкреплений для других людей.

В нашем обществе человек, который умеет замечать положительные подкрепления, обладает огромным преимуществом перед другими людьми. Как мать, я постаралась сделать так, чтобы мои сыновья умели дарить подарки. Как-то раз, когда им было семь и пять лет соответственно, я привела их в детский магазин и попросила выбрать два платья для младшей сестренки. Им ужасно понравилось сидеть в обитых бархатом креслах, рассматривать, как сестра примеряет разные платья, и обсуждать их достоинства и недостатки. Этот процесс понравился и девочке. Кроме того, она обладала правом абсолютного вето. Этот и другие подобные случаи научили моих детей проявлять искренний интерес к тому, чего хотят другие люди, и получать радость от поиска эффективного положительного подкрепления для близких.

Отрицательное подкрепление

Итак, подкрепление – это то, что повышает вероятность повторения поведения. Но подкреплением вовсе не обязательно должно быть то, чего ученик хочет. Избегание неприятного тоже может быть подкреплением. Лабораторные исследования показывают, что поведение можно закрепить с помощью стимулов, вызывающих отрицательную реакцию, если изменение поведения приводит к устранению этих стимулов. Подобные стимулы называются отрицательными подкреплениями. Это то, чего человек или животное стремится избежать.

Отрицательные подкрепления могут состоять из самых слабых раздражителей (стимулов) – неодобрительный взгляд друга, когда вы неудачно пошутили, легкий ветерок от кондиционера, который заставил вас пересесть на другой стул. Однако отрицательными подкреплениями могут служить и самые экстремальные раздражители – от публичного унижения до электрошока. Они же являются и наказанием. Когда на нас кричат, мы воспринимаем это как наказание. Но мы быстро учимся имитировать работу, когда начальник, который часто кричит на нас, появляется у входной двери.

Отрицательное подкрепление – это стимулы, которых можно избежать путем изменения поведения.

Как только возникает новый стандарт поведения, раздражитель исчезает, и новое поведение закрепляется. Предположим, что в гостях у тетушки я собралась положить ноги на журнальный столик, как дома. Тетушка неодобрительно поднимает брови. Я опускаю ноги на пол. Она расслабляется. Я тоже чувствую себя гораздо спокойнее.

Поднятые брови – это стимул, который действует как отрицательное подкрепление. Поскольку я была в состоянии избежать этого стимула, новое поведение – привычка держать ноги на полу – будет повторяться вновь, по крайней мере, в доме тетушки, но, возможно, и в других домах тоже.

Тренинг может основываться почти исключительно на отрицательном подкреплении, и зачастую дрессировка животных проводится именно так. Лошадь учат поворачивать налево, резко дергая левый повод. Когда лошадь поворачивает, неприятное давление во рту ослабевает. Лев поднимается на тумбу и остается на ней, чтобы оказаться подальше от хлыста дрессировщика.

Однако отрицательное подкрепление – это вовсе не то же самое, что наказание. В чем же разница? В первом издании этой книги я написала, что наказание – это воздействие, которое возникает после проявления поведения, нуждающегося в изменении, и, следовательно, не оказывает влияния на поведение. «Мальчик, которого отшлепали за плохие оценки в дневнике, может улучшить или не улучшить свои оценки, но он просто не в состоянии изменить те, что уже в дневнике проставлены». И действительно, когда мы сознательно наказываем кого-либо, то чаще всего делаем это слишком поздно. Но не в этом заключается основное различие между наказанием и отрицательным подкреплением.

Современные психологи-бихевиористы называют наказанием любое событие, которое прекращает поведение. Ребенок засунул шпильку в электрическую розетку. Мать хватает его и/или шлепает по руке: поведение, которое угрожает жизни, необходимо прервать немедленно. Поведение прекращается. В этот момент может начаться что-то другое – ребенок заплачет, мать расстроится и т. п., – но опасная привычка совать что попало в электрическую розетку, будет устранена, по крайней мере, в данный момент.

Б. Ф. Скиннер более точен в этом отношении. Он определяет наказание как нечто, что происходит, когда поведение приводит к утрате чего-либо желанного – удовольствия узнать, что произойдет, если засунуть шпильку в розетку, весьма характерного для детей, – или когда поведение приводит к каким-то нежелательным последствиям. Однако в обоих случаях, когда данное поведение прекращается, невозможно предсказать, повторится ли оно в будущем.

Мы знаем, что положительное подкрепление повышает вероятность желательного поведения в будущем, но наказание не приводит к предсказуемым результатам.

Например, схватив ребенка или шлепнув его по руке даже в самое подходящее время, может ли мать быть уверена в том, что он не попытается засунуть ту же шпильку в ту же розетку в другое время? Я в этом очень сомневаюсь. Спросите у любого родителя. Все мы стараемся спрятать мелкие предметы, закрыть розетки, передвинуть мебель, пока ребенок не вырастет.

Отрицательное подкрепление можно эффективно использовать для воспитания желательного поведения. При этом даже при наличии негативных стимулов процесс может быть относительно доброжелательным. Благодаря любезности специалиста по ламам Джима Логана, я могу привести прекрасный пример использования отрицательного подкрепления при дрессировке полудомашних лам, которых в США содержат как домашних животных, а во всем мире – ради ценной шерсти.

Ламы – животные пугливые и застенчивые. В этом они похожи на лошадей. Если их не воспитывать с раннего детства, приручить их очень трудно. Хотя обучение с помощью пищевого подкрепления великолепно подходит для лам, в тех случаях, когда животное слишком пугливо, чтобы подойти и взять у человека пищу, современные дрессировщики поступают следующим образом. Они используют кликер. Этот сигнал говорит ламе, что ее поступок заслужил подкрепление, но основное, реальное подкрепление заключается в устранении отрицательного подкрепления.

Это все равно, что сказать ламе: «Ты будешь стоять на месте, если я подойду к тебе на 30 футов? Да? Хорошо. Я щелкну моим кликером, повернусь и отойду.

А теперь ты будешь стоять на месте, если я подойду к тебе на 25 футов? Да? Хорошо. Я кликну и отойду».

Использование кликера для концентрации внимания на привычке стоять спокойно, когда страшный человек поворачивается и уходит, действует как положительное подкрепление. Такой прием позволяет сократить дистанцию между животным и человеком до минимальной величины всего за пять или десять минут. В этой ситуации все контролирует лама. Она стоит спокойно – и это заставляет человека отступить! Поэтому животное продолжает стоять спокойно, даже когда человек подходит прямо к нему.

Когда человек несколько раз касается ламы и тут же отступает, лед тает. Человек больше не кажется животному страшным. И вот тут-то наступает время корзинки с пищей. Коммуникативная петля выглядит следующим образом: «Могу я коснуться тебя, пока ты стоишь спокойно? Да? Клик – и вот вкусная, замечательная пища». Лама стремится получить положительное подкрепление, то есть пищу, поглаживание и ласку. Она понимает, что для этого нужно демонстрировать новое поведение – стоять спокойно вместо того, чтобы убегать сломя голову.

Такое использование отступления при проявлении желательного поведения является важным аспектом работы так называемых «заклинателей». При использовании подобного метода дрессировщик работает со свободной лошадью в ограниченном пространстве и за относительно короткое время превращает настоящую дикарку в лошадь, спокойно относящуюся к человеку. Совершенно дикая лошадь успокаивается настолько, что смиряется с седлом и наездником. Подобное мастерство может показаться настоящей магией.

Дрессировщики, использующие такие приемы, часто объясняют происходящее сверхъестественной силой. Хотя многие используют определенный звук или движение в качестве сигнала-маркера, или условного подкрепления, мало кто понимает, что именно он делает. Тем не менее в этой работе нет ничего магического. Это законы оперантного обусловливания в действии.

Хотя отрицательное подкрепление – довольно полезный процесс, очень важно помнить, что любое подобное действие несет в себе элемент наказания. Когда вы тянете за левый повод, пока лошадь не повернет, вы наказываете животное заранее. Чрезмерное увлечение отрицательными подкреплениями может привести к тому, что Мюррей Сидмен называет «осадком», то есть к нежелательному побочному действию.

Время подачи подкрепления

Как уже говорилось, подкрепление должно происходить одновременно с поступком, который необходимо модифицировать.

Время осуществления подкрепления – это информация. Она точно говорит ученику, что именно вам нравится.

Когда человек или животное пытается учиться, информационное содержание подкрепления становится еще более важным, чем само подкрепление. При тренировке спортсменов или танцовщиков инструктор часто кричит: «Да! Хорошо!», отмечая удачное движение. Такие выкрики дают человеку необходимую информацию, что гораздо полезнее последующего разбора в раздевалке.

Запоздалое подкрепление – это главная проблема начинающих тренеров. Собака сидит, но к тому времени, когда хозяин говорит: «Молодец! Хорошая собака!», она уже встала. Какое же поведение стимулирует произнесенное подкрепление? Правильно – не сидеть, а стоять. Когда у вас возникают подобные трудности, вы должны сразу же спросить себя, а не слишком ли поздно прозвучало подкрепление. Если вы работаете с человеком или животным и слишком захвачены процессом, будет полезно пригласить кого-нибудь еще, чтобы этот человек наблюдал за запоздалыми подкреплениями.

Мы слишком часто запаздываем с подкреплениями. «Дорогая, ты замечательно выглядела прошлым вечером». Подобный комплимент окажет совсем не то действие, что те же самые слова, произнесенные в нужный момент. Запоздалое подкрепление может оказать даже обратное действие («Что ты хочешь сказать? Что я сейчас плохо выгляжу?»). Мы трогательно полагаемся на слова, считая, что они смогут компенсировать неправильный выбор времени.

Слишком раннее подкрепление тоже неэффективно. Смотрители зоопарка в Бронксе никак не могли справиться с гориллой. Им нужно было перевести животное в открытый вольер, чтобы вычистить клетку. Но обезьяна сидела у дверей и мешала их закрыть. Смотрители и пищу бросали, и бананами гориллу заманивали, но зверь не обращал на них никакого внимания или хватал пищу и бегом возвращался на прежнее место, прежде чем двери удавалось закрыть. За помощью обратились к дрессировщику зоопарка. Он отметил, что размахивание бананами и подбрасывание пищи были попытками закрепить поведение, которое еще не проявилось. Это можно назвать простым словом «подкуп». Решение заключалось в том, чтобы не обращать внимания на гориллу, когда та сидела возле дверей, но поощрять ее пищей, когда она сама сойдет с этого места. Проблема была решена.

Мне кажется, что иногда мы используем подкрепление слишком рано. Особенно ярко это проявляется в отношениях с детьми. В результате мы стимулируем нежелательное поведение. («Молодец, девочка, вот так, ты все сделала почти правильно».) Такими словами мы стимулируем старание. Но между тем, чтобы постараться сделать и сделать по-настоящему, есть существенная разница. Жалобы «Я не могу» порой имеют под собой основание, но чаще всего они являются симптомами слишком раннего подкрепления.

Подарки, обещания, комплименты и все то, что поощряет еще не произошедшее поведение, ни в коей мере не подкрепляет желательное поведение. Все это подкрепляет то поведение, которое имеет место в данный момент, и в этом отношении его можно считать настоящим подкупом.

Время играет особенно важную роль, когда мы имеем дело с отрицательным подкреплением. Лошадь учится поворачивать налево, когда наездник тянет за левый повод. Но усвоит она навык лишь в том случае, если после поворота давление ослабеет. На этот раз подкреплением оказывается прекращение. Вы садитесь на лошадь, пришпориваете ее и направляете вперед. После этого нужно прекратить пришпоривать (если вам не нужно, чтобы она мчалась быстрее). Начинающие наездники часто забывают об этом. Им кажется, что пришпоривание – это нечто вроде бензина, необходимого для того, чтобы лошадь двигалась. Они постоянно пришпоривают лошадь, из-за чего она не получает никакой информации. В школах верховой езды появились даже этакие «железнобокие» лошади, которые с черепашьей скоростью передвигаются по манежу, сколько бы их ни пришпоривал наездник.

То же самое происходит с людьми, которых пилят и ругают родители, начальники или учителя. Если отрицательное подкрепление не прекращается при достижении желательного результата, оно не несет в себе никакой информации. Оно становится в буквальном и информационном смысле обычным «шумом».

Глядя по телевизору футбольные и бейсбольные матчи, я часто поражалась тому, насколько точно по времени игроки получали подкрепления. Как только игрок поступает именно так, как было нужно, зрители криками выражают свое одобрение. А посмотрите, как взаимодействуют между собой игроки, когда забит гол или одержана победа. У актеров все происходит по-другому. Даже на сцене аплодисменты звучат уже после того, как дело сделано. Киноактерам приходится еще труднее. Они могут получить подкрепление только от режиссера или оператора. Письма поклонников и хорошие рецензии приходят спустя много недель, а то и месяцев после съемок. Да они и сравниться не могут с реакцией огромного стадиона на успешный бросок игрока. Неудивительно, что многие кинозвезды болезненно жаждут поклонения и восторгов. Их работа не приносит удовлетворения, поскольку самые мощные и приятные подкрепления всегда оказываются запоздалыми.

Масштаб подкрепления

Начинающие дрессировщики, которые используют в работе с животными пищевые подкрепления, часто не понимают, насколько большим должно быть подобное подкрепление. Ответ очень прост: чем меньше, тем лучше. Чем меньше подкрепление, тем быстрее животное его съест. Это не только сокращает время ожидания, но еще и позволяет использовать за время сеанса большее количество подкреплений до наступления состояния насыщения.

В 1979 году я работала консультантом в Национальном зоопарке Вашингтона. Я учила сотрудников использованию системы положительного подкрепления. Одна из смотрительниц пожаловалась на то, что работа с пандой идет слишком медленно. Это показалось мне странным, поскольку интуитивно я чувствовала, что панды – крупные, прожорливые, активные животные – должны легко поддаваться пищевому подкреплению. Я понаблюдала за работой этой женщины и выяснила вот что. Хотя она постепенно добивалась успеха в формировании определенного движения, каждый раз она давала панде целую морковку. Панда радостно поедала сладкую морковку. В результате, за пятнадцать минут тренировки животное получало только три подкрепления (да и морковь ему порядком надоела). В качестве подкрепления вполне можно было использовать небольшой ломтик морковки.

В целом подкрепление должно быть небольшим, но достаточным, чтобы заинтересовать животное, – пара зернышек кукурузы для цыпленка, маленький кубик мяса для кота, половинка яблока для слона. Любимое лакомство следует отмерять еще более скупо – чайная ложка овса для лошади, к примеру. Смотрители Национального зоопарка обучили своих белых медведей массе полезных вещей – например, переходу в другую клетку по команде. В качестве подкрепления каждый раз они давали им по одной изюминке.

Золотое правило любого тренера заключается в том, что, проводя в день всего один сеанс, можно подкрепить желательное поведение примерно четвертью дневного рациона животного, а остальную пищу отдать просто так. Если вы планируете провести в течение дня три или четыре сеанса, то разделите обычный рацион на восемьдесят подкреплений. В течение сеанса выдайте животному двадцать-тридцать подкреплений. Восемьдесят подкреплений – это максимальное количество, способное поддержать интерес субъекта в течение дня. (Может быть, поэтому в кассете обычно помещается именно восемьдесят слайдов. Я сама не раз огорченно вздыхала, когда лектор просил помощника поставить вторую кассету.)

Трудность задачи обычно влияет на размер подкрепления. В парке «Си Лайф» за «олимпийские» достижения (прыжки на высоту двадцати двух футов) выдавали каждому из наших китов по большой макрели. Животные просто отказывались делать это за обычное подкрепление, состоявшее из двух маленьких снетков. У людей же вознаграждение за тяжелую работу не всегда бывает более высоким. И как же нам это не нравится, когда тяжелую работу приходится выполнять именно нам.