Текст книги "Метод экспертных оценок. Теория и практика"

Использование поведенческих шкал и опросных листов опирается на постулат, что поведение является наиболее значительным и существенным фактором в оценке работы, нежели остальные. В основе поведенческих шкал лежит метод анализа критических событий, конечным результатом которого является список форм поведения, присущих успешному или неуспешному выполнению деятельности.

Согласно Я. Райскуп, метод анализа критических событий относится к специальным методам психологической профессиографии и изучения трудовой деятельности. Он имеет целью «при помощи различных способов и на основании соответствующих критериев выявить и оценить основные моменты, события и обстоятельства, которые могут способствовать успешному преодолению критической ситуации, если они были причиной ее возникновения» (Райскуп, 1979, с. 57). Критические события целесообразно группировать по разнообразным аспектам работы, таким как профессиональные знания и навыки, способность принимать решения, ответственность и прочие. Две разновидности наиболее часто используемых в практике поведенческих шкал – это рейтинговые шкалы с поведенческими аналогами и поведенческие шкалы наблюдений.

Отметим, что в настоящее время значительное внимание исследователей и практиков привлечено к вопросу о соотношении данных, полученных с помощью различных методов оценки, с реальными прогностическими возможностями этих методов. Так, на протяжении длительного времени предметом полемики среди исследователей является вопрос о преимуществах и недостатках использования данных, полученных с помощью стандартизованных тестов и метода экспертных оценок. Стандартизованные тесты и экспертные оценки принято рассматривать как два взаимодополняющих фильтра в процессе профессионального отбора и вынесения итогового суждения о степени профессиональной пригодности (Шмелев, 2004).

Суть дискуссии продиктована тем, что использование только стандартизованных тестов не дает оснований для окончательного положительного диагноза о профессиональной пригодности. Тест может выступать как первичный, формализованный фильтр, предшествующий применению более сложных и дорогостоящих экспертных процедур.

Изолированное использование одного из этих фильтров выглядит оправданным в случае, когда результаты оценки направлены на то, чтобы отсеять тестируемых с показателями ниже определенного порога. В случае же отбора из ограниченной выборки тех кандидатов, которые в максимальной степени обладают каким-то качеством или группой качеств, предпочтительным является вариант одновременного использования стандартизованных тестов и экспертных оценок.

Вывод о профессиональной пригодности может быть сделан на основании совокупного позитивного исхода теста и позитивного исхода экспертной оценки, в то время как вывод о непригодности потенциального кандидата в определенном виде деятельности является вполне обоснованным в случаях сочетаний негативных результатов теста или экспертной оценки. При этом приходится принимать во внимание, что при оценке работы и ее результатов всегда существует некий субъективный или контекстуальный компонент, а ориентация исключительно на объективные показатели может служить источником заблуждений (Мучински, 2004).

Cубъективность служит одним из атрибутов именно экспертного знания. Добиваясь объективности, мы рискуем устранить экспертизу как таковую; «ценность экспертного опроса состоит именно в признании субъективного характера полученных результатов и сохранении персональной ответственности их авторов – экспертов» (Братченко, 2006, с. 68).

Таким образом, применительно к проблеме оценки профессиональной пригодности можно резюмировать следующее. Существуют проверенные практикой алгоритмы оценки профессиональной пригодности для тех видов деятельности, в изучении которых накоплен большой опыт. Примером могут служить профессии, в которых определяющей для успешности деятельности является ее операционально-техническая сторона. В таком случае правомерно говорить об оценке профессиональной пригодности в условиях определенности. Профессиональная пригодность понимается для таких видов деятельности как сложная функция, в качестве аргументов которой выступают данные разнообразных психометрических тестов.

Рис. 1. Метод экспертных оценок в прогнозировании профессиональной пригодности

В целом же ряде видов профессиональной деятельности использование объективных методов оценки пригодности сопряжено со значительными сложностями. Построение моделей прогнозирования профессиональной пригодности для этих видов деятельности представляется довольно проблематичным из-за отсутствия объективной информации или достаточного опыта наблюдений и анализа. Оценка профессиональной пригодности в условиях неопределенности связана с использованием в качестве основного источника информации метода экспертных оценок, который применяется самостоятельно или наравне с психодиагностическими тестами (рисунок 1).

С содержательной точки зрения проблемы экспертного оценивания профессионалов составляют прерогативу социальной психологии труда, поскольку они находятся в сфере влияния социальных по своему генезу механизмов межличностного познания в области профессиональной деятельности. Они находятся на стыке оценки профессиональной пригодности и успешности деятельности (как одной из базовых проблем психологии труда) и актуализации имплицитных представлений экспертов об образе успешного профессионала (как специфической проблемы социальной психологии).

Итак, метод экспертных оценок крайне востребован в качестве основного источника получения информации о потенциальном кандидате, в частности, в социономических профессиях. Метод экспертных оценок, наряду с теорией вероятности, теорией графов, математической логикой, теорией больших систем, математическим анализом, теорией множеств, методами экстраполяции может быть использован для разработки эффективных прогнозов, в том числе и в отношении надежности профессиональной деятельности. В частности, интегральная экспертная оценка деятельности специалистов в конкретный период времени может выступать в качестве внешних критериев надежности для специалистов экстремального профиля (сотрудники ГПС, спасатели МЧС и Службы спасения и пр.) (Никифоров, Рыбников, Вавилов, 2002).

При проведении экспертной оценки личности целями подобной оценки могут быть следующие: оценка личностных особенностей; оценка профессионально важных свойств личности; отбор работников и формирование кадрового резерва; проведение ротации управленческого персонала; разработка программы индивидуального обучения; планирование карьеры; изучение различий между групповой оценкой и самооценкой; оценка особенностей с точки зрения различных групп экспертов; изучение различий между группами экспертов (Морозов, 2003а).

Принимая во внимание сложность управленческого труда и его специфику, среди основных причин, по которым метод экспертной оценки стал одним из наиболее широко применяемых методов оценки личности руководителя, А. Л. Журавлев перечисляет следующие:

– метод позволяет получить первичную информацию о руководителе за относительно короткий период времени;

– метод более доступен в профессиональном отношении для усвоения, по сравнению с другими психологическими методами оценки;

– метод универсален и применим для оценки различных выборок руководителей, работающих в разных организациях и на разных уровнях управления; одновременно с этим, он предполагает свою конкретизацию применительно к отрасли экономики и специфике конкретного предприятия;

– метод ориентирован на решение прежде всего практических задач;

– метод может быть использован в условиях, когда имеются трудности в оценке личности руководителя с помощью других методик (Журавлев, 1990, с. 88).

Обозначим еще одно важное в плане дальнейшего изложения терминологическое разграничение. Использование понятия «экспертный метод» шире понятия «метод экспертных оценок». Экспертный метод в широком понимании предполагает использование, наряду с методом экспертных оценок, также методов, не связанных с привлечением экспертов, и аналогичен оценочному исследованию, в котором метод экспертных оценок выступает лишь как одна из его составных частей.

Практическое использование метода экспертных оценок неизбежно поднимает и еще одну важную проблему, связанную с субъективностью оценок экспертов. Известно, что на базовом уровне оценка выраженности качеств, ответственных за эффективность деятельности, связана с восприятием людей. Так, П. Мучински справедливо замечает: «На базовом уровне оценка выполнения работы предполагает восприятие людей: как вы оцениваете человека, связано с тем, каким вы его воспринимаете» (Мучински, 2004, с. 242).

Оценивание в широком смысле как феномен восприятия распространено во многих сферах жизнедеятельности. Так, оценка психологических качеств партнера представляет собой сложный социально-психологический феномен, включенный в совместную деятельность. В совместной деятельности каждый ее участник вынужден делать прогнозы, относящиеся как к предмету деятельности, так и к психологическим качествам партнера, независимо от того, осознает он содержание этого прогноза или нет.

Прогноз по отношению к психологическим качествам партнера, по мнению В. В. Знакова, включает предположение каждого участника совместной деятельности о компетентности партнера и оценку его психологических качеств (Знаков, 2007). Образ воспринимаемого человека и его оценка во многом определяют успешность взаимодействия с ним в рамках совместной деятельности. В зависимости от мнений и оценок меняются восприятие участниками совместной деятельности друг друга, характер их взаимоотношений и, следовательно, характеристики их совместной деятельности.

Особенности восприятия субъектом профессионально важных качеств партнеров могут служить индикаторами его поведения и деятельности. При этом для конечного результата совместной деятельности «восприятие профессионально важных качеств партнеров становится едва ли не более значимым, нежели реальное наличие ПВК у конкретного работника» (Толочек, 2005, с. 282).

Придерживаясь сходной точки зрения, А. В. Морозов утверждает, что «в практической деятельности гораздо важнее не объективные показатели, а то, как коллеги воспринимают конкретного работника. Если окружающие считают будущего кандидата профессионально грамотным специалистом, то формальный уровень его профессионального образования становится второстепенным фактором» (Морозов, 2003б, с. 255). Возвращаясь к экспертным оценкам, можно вслед за А. В. Морозовым постулировать, что «именно в силу высокой значимости мнения окружающих (субъективной оценки) экспертная оценка в большинстве случаев обеспечивает высокую прогностическую валидность» (там же).

Наряду с субъективностью экспертных оценок, следует учитывать и влияние самой субкультуры организаций на выделение специфических профессионально важных качеств, ответственных за эффективность деятельности, которые предполагается оценивать в каждом конкретном случае. В этой связи перспективными представляются модели оценки, базирующиеся на концепте компетенций.

В последнее время обнаруживается отчетливая тенденция сопоставлять профессиональную пригодность к выполнению деятельности с понятием «компетенции профессионала». Профессиональная компетенция рассматривается как одна из составляющих в структуре профессионализма, включающая совокупность профессиональных знаний, умений и навыков, а также способов выполнения профессиональной деятельности (Маркова, 2007).

Развитие концепции компетенций привело к разработке соответствующих методов оценки. Проведение оценки персонала с помощью модели компетенций обладает как преимуществами, так и недостатками. К преимуществам оценки на основе модели компетенций для организации относят следующие (Беркутова, Крониковская, Мартьянова, Пономарев, 2007, с. 71–72):

1. Разработка единых стандартов описания эффективности работы способствует установлению взаимопонимания между сотрудниками разных отделов и разных уровней.

2. Согласованность при оценке работника: все эксперты одинаково понимают, что такое «ценные качества» работника, и знают, что необходимо оценить, а что можно проигнорировать.

3. Возможность определить сильные и слабые стороны каждого сотрудника и использовать эту информацию для планирования карьеры и развития.

4. Получение информации для формирования резерва и планирования карьеры сотрудников.

5. Возможность разработки стандарта качества выполняемых работ.

Недостатки оценки этим методом связаны с его трудоемкостью и длительностью подготовительного процесса. Подготовительный процесс включает подготовку списка компетенций, формирование группы экспертов, их обучение и детальную оценку каждого критерия.

В целом, говоря о создании полноценной системы оценки, необходимо помнить: любая система оценки должна быть спроектирована таким образом, чтобы включать сопоставимые и взаимно поддерживающие сегменты. «Оценка выполнения работы не может сводиться к простому выбору лучших методов. Что является хорошим, зависит от того, для чего собирается информация, – от сложности оцениваемой работы, а также от людей, выполняющих это оценивание» (Мучински, 2004, с. 264).

Метод экспертных оценок и конструкт работы

В соответствии с зарубежной психологической традицией, экспертное оценивание принято рассматривать в более широком контексте измерений выполнения работы.

Используемый здесь и далее термин «выполнение работы» достаточно широк и подразумевает оценку профессиональной деятельности по целому ряду показателей, таких как: качество и уровень деятельности, выполнение отдельных профессиональных задач, соответствие определенным нормативным требованиям и эталонным моделям и прочие. В значительной мере критериальные показатели выполнения работы отражают и субъективные факторы, включающие влияние субкультуры конкретных организаций на требования к тому или иному специалисту в определенной должностной позиции. В немалой степени термин «выполнение работы» аппелирует и к методологическим основаниям, определяемым представлением исследователей о самом конструкте работы. Само прочтение термина предполагает его трактовку и с точки зрения достигнутых результатов деятельности, и с точки зрения анализа самого процесса. Однако в зарубежной литературе существенно больший акцент в трактовке выполнения работы делается на фиксации результативных показателей деятельности за некий период времени.

Целый ряд зарубежных работ в области оценки фокусируется на роли измерений выполнения работы как критерия переменных, в отношении которых валидны методы и системы отбора персонала и долговременного прогнозирования. Оценки выполнения работы, будучи широко распространены во многих профессиях, не показывают признаков уменьшения ни в частоте использования, ни в популярности (Budman, Rice, 1994). Обращение к ним обладает несомненной пользой: они обеспечивают полезной информацией, способствующей планированию карьеры и улучшению проблемных, слабых сфер профессиональной деятельности (Queen, 1995).

В рамках проблематики оценок профессиональной деятельности принято выделять несколько исторически сложившихся областей исследований. Они связаны с определением работы и ее измерений, преимуществами и недостатками альтернативных измерений, точностью и правдивостью оценок, ошибками оценивания и влиянием предубеждений, а также оценками работы как функции источника оценивания (Arvey, Murphy, 1998). Отметим, что само выполнение работы, как правило, рассматривается в двух контекстах: как индивидуальное выполнение работы и групповое или командное выполнение (Guzzo, Dickson, 1996).

Обзор зарубежных исследований показывает, что в период между 1950 и 1980 годами работы велись в основном над улучшением инструментария, используемого для оценок профессиональной деятельности. Это сотни исследований преимуществ и недостатков различных типов рейтинговых шкал и путей извлечения оценок, которые способны обеспечить по большей части объективные измерения. В начале 1980-х годов фокус внимания исследователей сместился с используемого инструментария в сторону развития лучшего понимания того, каким образом оценивающие формируют свои впечатления и суждения о выполнении работы.

Характерным для этого периода времени является существенный разрыв между исследованиями и практикой измерений. Он был обусловлен тем, что большая часть исследований осуществлялась в лабораторных условиях и фокусировалась преимущественно на когнитивных процессах в измерении и оценке (Banks, Murphy, 1985; Bretz et al., 1992; Feild, Halley, 1982; Cascio, Bernardin, 1984).

Связям между исследованием и практикой измерений был посвящен ряд работ (в частности, Bretz et al., 1992). Часть из них касалась анализа проблемы в сфере действия закона, где традиционно достаточно высока связь исследований и практики. Эти работы фокусировались на том, каким образом судьи и жюри присяжных воспринимают относительную истинность систем оценки (Feild, Halley, 1982; Cascio, Bernardin, 1984).

Следующие два десятилетия ознаменовали всплеск в исследованиях по формированию и производству информации в измерениях (DeNisi, Peters, 1996; Guion, Gibson, 1988). Основное внимание было направлено на связи между исследованием познавательных процессов и практическими вопросами, часто выделяемыми исследователями измерений (Landy, Farr, 1980), и введен ряд концептов из области социального умозаключения (Feldman, 1981). Работы этого периода включали как исторические обзоры, посвященные исследованию критерия выполнения в период между 1917 и 1992 годами (Austin, Villanova, 1992), так и исследования по истинности восприятий в измерении и определению стандартов выполнения. Заметное место в этот период занимают экономические определения выполнения работы, полученные в рамках экономических теорий (Prendergast, Tope l, 19 96).

Целый ряд эмпирических исследований был адресован влиянию текущих изменений в структуре и функции организаций на измерения выполнения работы. Общепринятым является представление о том, что контексту оценивания принадлежит существенная роль в оценке и он должен быть принят во внимание еще до того, как анализируется или оценивается эффективность выполнения (Murphy, Cleveland, 1995). Справедливость этого представления подкрепляют эмпирические данные о влиянии на измерительный инструмент оценки работы изменений в самой структуре организаций. Эти изменения продиктованы децентрализацией и смещением акцента с индивидуальных на групповые методы производства (Cascio, 1995).

В целом, по мнению исследователей, построение полноценной теории выполнения работы представляется достаточно сложной задачей. Адекватная теория выполнения должна включать и личность, и компоненты системы (Waldman, Spangler, 1989), поскольку выполнение определяется как поведением индивидуума, так и системой, в которой он функционирует. Вклад же работника в организацию базируется на его рабочем поведении (Arvey, Murphy, 1998) и может основываться на определенных личностных характеристиках или навыках (Jackson et al., 2005, 2007). При этом ценность индивидуума для организации может изменяться в зависимости от характера выполняемой им работы.

В рамках определения выполнения работы существенное внимание в зарубежной психологии уделяется исследованиям многомерной скрытой структуры выполнения работы и ее детерминант (Borman, Brush, 1993; McCloy et al., 1994). Значительное место занимают исследования по интегративной модели выполнения, связанной с характеристиками индивидуума (опыт, способности), последствиями (обратная связь, сохранность работы) и непосредственным рабочим окружением (Waldman, Spangler, 1989). К этому направлению исследований относятся изучение общего и дополнительных факторов выполнения работы, обусловленных как особенностями решаемых задач, так и ориентированных на обстоятельства (Viswesvaran et al, 1996; Arvey, 1986), а также изучение различий в нормах при обсуждении максимального и обычных измерений выполнений (Sackett et al., 1988; DuBois et al, 1993).

Ряд исследователей подчеркивает, что растущая динамичность и изменяемость самой природы и характера большинства работ в современном обществе обусловливает менее точное определение выполнения работы. Следствием этого служит более гибкое определение рабочих ролей (Cascio, 1995).

Существенным в пределах данной темы является значительное различие, которое может быть сделано между измерениями релевантности задачи в выполнении работы и тем, что принято называть контекстным выполнением (Borman, Brush, 1993; Borman et al., 1997).

Отметим, что в зарубежных исследованиях различают два основных подхода к определению работы: выполнение отдельных задач и контекстное выполнение (Borman, Motowidlo, 1993, 1997; Motowidlo, Van Scotter, 1994). Анализ различий подтвердил валидность задачи и контекстного выполнения как независимых областей (Motowidlo, Van Scotter, 1994; Conway, 1996). Они имеют различные предикторы. Выполнение задачи опирается на опыт преобразования, лежащий в основе технической деятельности, а контекстное выполнение определяется как опытность по отношению к экстра-задаче.

Конструкту работы, называемому контекстной работой, посвящены исследования, связанные с таксономией общего рабочего поведения или поведения, которое включает выполнение работы вне зависимости от технических рабочих ролей (Hunt, 1996). Контекстное поведение существенно для успеха и выживания сотрудника в организации и в большей степени соответствует достижению организационных целей. Контекстные факторы выполнения затрагивают такие аспекты, как настойчивость и экстра-влияние, добровольное выполнение своих обязанностей в неформальной части работы, а также одобрение и поддержку организационных обязательств, спонтанность и иные аспекты организационного и просоциального поведения (Borman et al., 1997; Brief, Motowidlo, 1986; George, Brief, 1992). Исследователи получили убедительное эмпирическое подтверждение, что конструкт контекстного выполнения разделяется на два более узких конструкта – межличностную фасилитацию и включенность в работу (Motowidlo, Van Scotter, 1994). Включенность в работу представляет собой активные и мотивированные действия, а межличностная фасилитация – полезные для других сотрудников и самой организации действия.

В последнее время принято выделять и особый ракурс рассмотрения выполнения работы – адаптивное выполнение, связанное, в частности, с преодолением рабочего стресса (Pulakos et al., 2000). Исследователи сходятся во мнении, что способность работника адаптироваться к изменениям и взаимодействовать с другими сотрудниками являются непреложным условием успешной профессиональной реализации.

Широкое использование рабочих команд во многих видах профессиональной деятельности повышает значение эффективных навыков взаимодействия работников (Мучински, 2004, с. 489). Они включают навыки коммуникации, построения межличностных отношений, оказания влияния и разрешения конфликтов. Каждый из этих навыков может быть детерминирован различными личностными качествами. Так, на основании эмпирического исследования было установлено, что менеджеры считают сознательность и общие умственные способности теми качествами, которые в первую очередь должны учитываться при приеме на работу. А такие качества, как эмоциональная стабильность, сознательность и дружелюбие обратно пропорционально связаны с нарушением правил и неподчинением (там же).

Таким образом, многочисленные исследования, связанные с таксономией общего рабочего поведения, свидетельствуют, что выполнение работы состоит как из элементов, ориентированных на задачу, так и контекстно-ориентированных. При этом когнитивные способности более релевантны по отношению к выполнению задачи, в то время как личностные переменные, в том числе связанные с индивидуальными различиями в эмоциональности, – для предсказания контекстного выполнения (Borman et al., 1997; Day, Silverman, 1989; Rothstein et al., 1994).