Текст книги "Комплексная гуманитарная экспертиза"

О чем и как можно судить на основе такой выборки школ? Ведь вся полученная статистика существует внутри ее границ. Также серьезные проблемы для экспертизы в образовании, проводимой с помощью анализа прерванных временных рядов, составляют разного рода отклонения от базовой линии, происходившие по другим причинам, в том числе вследствие неточности измерений, больших эффектов когорты. Необходимо уметь определять, с какого значения начинается значимое отклонение от базовой линии, то есть насколько велико может быть отклонение, чтобы элиминировать ошибки и отклонения иного рода и показывать эффект образовательного инновационного проекта, результативность которого и подвергалась экспертизе. Минимальным значимым эффектом было принято отклонение в 2,8 раза, превышающее отклонение стандартных ошибок (Bloom, 1995). Размеры минимального значимого эффекта отклонения уменьшаются при увеличении количества школ в выборке.

Нами здесь рассмотрены далеко не все разработки по проблемам экспертизы в сфере образования, однако, на наш взгляд, можно сделать следующие выводы. Экспертиза в образовании – не только одна из активно растущих областей прикладного социального знания в странах Запада. Уже сложилась разветвленная иерархическая структура «экспертного сопровождения проектов». Фактически ни одна образовательная инновация не минует экспертного оценивания на тех или иных этапах своего внедрения и осуществления. Возникла профессиональная среда экспертных сообществ, с центрами подготовки экспертов, с обсуждением насущных и научных проблем экспертизы в многочисленных периодических изданиях. Сходные процессы идут и в России, что заставляет обратиться к опыту других стран.

Глава 4
Методические вопросы подготовки специалистов по гуманитарной экспертизе

4.1. Мировой опыт подготовки экспертов в гуманитарной области

Создание новой области экспертного знания сопряжено с необходимостью разработки наиболее узловых проблем, связанных с экспертным исследованием. К ним относятся прежде всего теоретические основы (понятия объекта, предмета экспертизы, проблема специальных знаний эксперта), методологические проблемы (структура экспертного исследования, применяемые методы), организационно-правовые вопросы (назначение экспертизы, выбор экспертов, статус эксперта, требования к эксперту, его права и обязанности, форма заключения экспертизы и т. п.) и этические принципы производства экспертизы.

Поэтому решение совокупности очерченных проблем предполагает:

1) глубокую специализированную подготовку экспертов;

2) учебно-методическое обеспечение такой подготовки;

3) обеспечение готовности общества, прежде всего работников органов управления.

Введение комплексной гуманитарной экспертизы как формы практической профессиональной деятельности требует разработки двух основных вариантов базовых программ: углубленные программы для подготовки и повышения квалификации самих экспертов и осведомительные программы для лиц, имеющих отношение к решению вопроса о заказе экспертиз в тех или иных случаях, прежде всего для работников органов государственного и муниципального управления, правоохранительных органов, органов управления образованием и др. Эти две группы учебных программ решают разные задачи.

В первом случае это повышение квалификации экспертов. Поскольку мы исходим из того, что лица, начинающие работать в качестве экспертов КГЭ, уже обладают уровнем профессиональной квалификации в одной или более областей гуманитарного знания, то требуемые программы обучения должны касаться, во-первых, методологии науки, методологии экспертной деятельности и особенностей мышления при решении сложных динамических задач; во-вторых, междисциплинарных связей в современной гуманитарной науке и глобальных тенденций ее развития.

Во втором случае это понимание места и роли КГЭ и ее возможностей и ограничений при решении актуальных проблем жизни современного общества. Ознакомительные программы должны раскрывать (в частности, на материале анализа конкретных случаев) пути и способы решения экспертных задач разного рода и обеспечивать достаточно полное и адекватное понимание задач КГЭ, чтобы проходящие обучение могли выступать заказчиками КГЭ, осознающими как ее возможности, так и ограничения.

Важность реализации учебных программ и одной, и другой направленности повышается рядом факторов, первостепенную роль среди которых играют:

1) административная и экономическая реформа сферы образования, особенно с 2006 г. (муниципализация, финансовая самостоятельность и т. д.);

2) формирование и деятельность Общественной палаты.

В мировой практике экспертизы за десятилетия ее существования накоплен немалый опыт рефлексии и обоснования структуры и содержания подготовки экспертов. Кратко рассмотрим те основные направления, по которым осуществляется подготовка специалистов-экспертов в странах Запада.

Наиболее типичным можно считать вариант не слишком широкой и не слишком узкой подготовки экспертов. Рассмотрим структуру программ Центра экспертизы проектов и программ, существующего при отделении образовательной политики и менеджмента педагогического факультета Мельбурнского университета (Австралия). Обучающимся в данном Центре по мере прослушивания ими курса и сдачи соответствующих экзаменов присваивается «Постдипломный сертификат в области оценивания и экспертизы» (Post Graduate Certificate in Assessment and Evaluation), а затем может быть присвоена и степень магистра в области оценивания и экспертизы (Master of Assessment and Evaluation). И сертификат, и степень магистра могут получать не только студенты университета, но и те представители персонала правительственных, образовательных, промышленных организаций, которые заинтересованы в достижении лидерства в области экспертиз и оценивания. Обучение направлено на приобретение способности выстраивать проекты программы экспертизы (оценивания) определенного объекта, способности осуществить эту программу, оптимально управляя ею; на ориентацию в теории и практике экспертизы и в смежных областях, знания и навыки применения которых могут быть необходимы для комплексного и глубокого осуществления экспертных проектов. Согласно стандарту, по завершении обучения в Центре его выпускник должен быть способен:

• осуществлять на практике экспертизы высокого качества;

• понимать и эффективно использовать на протяжении всей последующей деятельности научную и профессиональную литературу по экспертизе и оценке;

• развивать и применять новое знание и новую практику в избранных для работы областях экспертизы и оценивания;

• понимать, синтезировать и использовать ключевые концепты и теории экспертного оценивания;

• осуществлять оценку и экспертизу программ и проектов на высоком уровне компетентности, исследовательского планирования и выполнения;

• делиться своими профессиональными знаниями, умениями, помогая коллегам при проведении ими оценок и экспертиз;

• во всех экспертизах и оценках действовать этически верно и в соответствии с принятыми стандартами.

Программа подготовки магистра экспертизы структурируется по трем направлениям, содержание которых стремится соответствовать современному состоянию теории и методологии, включать обучение различным методам исследования, знакомство с широким разнообразием аналитического инструментария в данной сфере.

Студенты могут выбирать три разные схемы (направления) обучения. Первое направление (специализация) – оценивание – соединяет теоретические и практические предметы с тем, чтобы студенты могли достичь таких навыков в проектировании, развитии и применении полученных знаний в оценивании, которые позволят осуществлять экспертизу на необходимом уровне. Второе направление (специализация) – экспертиза – позволяет студентам освоить новейшие теоретические разработки и практические навыки в экспертизе, осуществлять изучение экспертиз различных программ, проектов, политики в той или иной сфере. Третье направление (специализация) – оценивание и экспертиза – объединяет два первых. Внутри него студенты получают специальные методологические/методические навыки и оценивания, и экспертизы. Считается, что приобретенные по этой специализации знания и умения могут быть с успехом применены далее в смежных социальных, политических и поведенческих науках.

Студенты могут выбрать еще два предмета из совсем других областей знания в дополнение к утвержденному списку изучаемых предметов. В свою очередь, курсом экспертизы интересуются студенты таких специализаций, как «администрирование в сфере образования», «исследовательские методы в социальных науках», «политология/социальная политика», «социальная работа».

Программа по обучению на «Постдипломный сертификат в области оценивания и экспертизы» (Post Graduate Certificate in Assessment and Evaluation) имеет учебный план, рассчитанный на полгода полной очной загруженности или на год неполной загруженности. Требуется так выбрать два основных предмета, чтобы один совмещал в себе оценку и экспертизу, а другой был посвящен углубленному изучению либо оценки, либо экспертизы. Самые общие курсы читаются для обучающихся по программе постдипломного сертификата:

1. Введение в оценивание.

2. Введение в экспертизу.

3. Введение в исследовательские методы.

4. Развитие оценочного инструментария.

5. Экспертный проект.

Большинство из этих предметов можно изучать с помощью интернета, поэтому учебный план Центра предполагает и заочное обучение (экстернат).

Получивший сертификат и имеющий практический опыт в проведении экспертиз может продолжить обучение по сокращенной магистерской программе. Вообще же магистерская программа требует полутора лет полного очного обучения либо трех лет обучения с частичной загруженностью (вечернее или заочное обучение). Обучающийся по ней студент может выбрать либо только прослушивание курсов, либо прослушивание курсов и написание диплома. Окончание магистерского курса с дипломом дает право продолжать обучение в программах PhD или Doctor of Education. В этом случае сотрудники Центра экспертизы осуществляют индивидуальное руководство, консультируют по прикладным исследовательским вопросам.

Членение учебного плана магистерской программы по трем направлениям выглядит следующим образом.

Специализация «Оценивание»

1. План оценки и анализ.

2. Компетентность и оценка исполнения.

3. Продвинутое (развитое) измерение и психометрика.

4. Измерение, оценка и экспертиза в образовании.

5. Оценивание и коммуникация в обучении учащихся.

Специализация «Экспертиза»

1. Экспертиза программ: формы и подходы.

2. Программы экспертирования по большой шкале.

3. Экспертирование для управления и развития.

4. Теория и методология экспертизы.

5. Использование информации (знаний) в изменении управления.

Специализация «Оценивание и экспертиза»

1. Мультивариативные методы.

2. Качественные методы.

3. Количественные методы.

4. Проект по оценке и экспертизе.

5. Построение выборки и ее анализ.

Встречаются также совмещенные магистерские программы, например, «магистр педагогики, специализирующийся на экспертизе». По каждой из трех специализаций возможно такое совмещение. В этом случае изучаются от одного до пяти предметов и пишется дипломный проект по выбранной специализации.

Остановимся подробнее на содержании отдельных курсов, как базовых, по которым обучаются начинающие, так и более углубленных, предназначенных для постдипломного и магистерского сертификатов.

Курс предназначен для аспирантов Мельбурнского университета

Разработчики: Джон Оуэн и другие сотрудники Центра

Целью курса является научить выпускников:

– понимать ключевые концепции в экспертизе, относящиеся к связи понятий «экспертиза», «организация релевантных сведений», «предоставление выводов заказчикам»;

– планировать некрупную экспертизу;

– быть в курсе текущего развития экспертных технологий, особенно относительно их применения к австралийскому контексту;

– чувствовать пределы экспертизы при принятии решений;

– быть способным критически взглянуть на оцениваемый проект.

Основным подходом, используемым в преподавании, выступает индуктивный подход (или, как его иногда предпочитают называть, подход через разбор и анализ кейс-стади): анализируется текущая экспертная практика, разбираемая лекторами. На основе нее поднимаются следующие вопросы: конкурирующие взгляды на природу и задачу экспертизы; альтернативные задачи (обобщение, оформление, просвещение); формы и подходы, принятые внешними и внутренними экспертами; экспертиза и аудирование исполнительской деятельности; связи между экспертизой, принятием решений и действием; планирование экспертиз; введение в различные качественные и количественные экспертные техники организации данных; сообщение экспертных выводов; этика и стандарты экспертизы; критический разбор отдельных австралийских исследований по экспертизе.

Разработчик: Нейл Дей

Курс построен вокруг таких ключевых для понимания экспертизы понятий, как «знание», «ценности», «контекст», «механизм».

Обзор тематики семи основных сессий (встреч) со студентами в рамках данного курса.

1) Ключевые понятия: история развития представлений о познании, историко-культурный контекст концепции оценивания.

Рассмотрение четырех структурирующих понятий (см. выше), начальные попытки дать определение «экспертизе». Представление множества систем классифицирования подходов (позиций) по отношению к экспертизе, определение множества вопросов, которые мы можем задать о перспективах той или иной конкретной экспертизы. Некоторые основные концепции относительно проблем отношения к «знанию», применения и получения его в экспертизе.

2) Ключевые понятия: ценности и критерии.

Роль ценностного аспекта в экспертизе. Понятия критериев и суждений. Различение факта и ценности, свободны ли факты от ценностности и можно ли установить объективную основу для ценностей. Применение/присутствие различных ценностных позиций в практике экспертизы.

3) «Черные ящики» и то, что вокруг: Кэмпбелл и идеал эксперимента.

Работы Дональда Кэмпбелла: насколько его подход прослеживается в разнообразии современных контекстов принятия решений, соперничающих гипотез и «угроз валидности». Рассмотрение того, насколько его идеал эксперимента предполагает ясные границы между четырьмя выделенными в курсе ключевыми понятиями знания, ценностей, контекста и механизма.

4) Вне «черных ящиков»: размышление о контексте и механизме.

Пределы «свидетельств» об экспертируемых программах, рассматриваемых как «черные ящики». Введение в релевантную для студентов сферу «основанной на сведениях практики».

5) Контекст: Кронбах и пределы обобщения.

В каких контекстах возможно наблюдение результатов программы? Развитие идей Ли Кронбаха как оси решения этих проблем. Пределы обобщения между интерпретативной идеографией и номотетикой. «Вовлеченная среда» Мооса и Лемке, ее влияние на выходы/результаты экспертируемых программ.

6) Контексты знания: конструктивизм и признание перспектив.

То же, что и в п. 5.

7) «Это работает?»: условия обобщения.

Диалог по поводу экспертизы на основе кейс-стади одного из экспертных проектов. Показ того, как экспертиза устанавливает, работает ли данное нововведение или нет.

Разработчик: Эстер Кэр

Основы статистики с упором на мультивариативный анализ, на многоуровневое моделирование, ковариантный структурный анализ (причинное моделирование), взаимовлияние измерения, плана, анализа. Лабораторная работа. Для понимания связей методологии (теории), собранных данных и выводов – подход «моделирующего сравнения».

В Мельбурнском университете действует еще и второй центр экспертизы – при Школе здоровья населения. Он имеет название Отдел программных экспертиз (The Program Evaluation Unit, в отличие от The Centre for Program – Центра экспертизы программ). Этот отдел занимается экспертизой в области служб здоровья, программ, систем и политики в области здоровья населения, разработкой методик экспертизы в этих сферах. На базе вузовской подготовки осуществляется послевузовское образование (как и в Центре экспертизы программ) в области здравоохранения. Можно специализироваться в областях экономической экспертизы, экономики здравоохранения, экспертизы программ здравоохранения, исследовательском обслуживании здравоохранения. Также можно составлять комбинации более общего характера из сегментов всех указанных специализаций.

По первым двум специализациям изучаются такие курсы, как «Экспертиза в экономике» (базовый), «Экономика здравоохранения и экспертиза», «Экономика здравоохранения», «Экономическая экспертиза в здравоохранении и социальной работе», «Исследовательский проект по экономике/экономической экспертизе здравоохранения».

По двум последним специализациям изучаются такие курсы, как «Экспертиза программ здравоохранения» (базовый), «Исследование служб здравоохранения», «Методы экспертизы служб здравоохранения», «Исследовательский проект по экспертизе программ здравоохранения», «Экспертиза в эпидемиологии», «Экономика здравоохранения и экспертиза».

Интересны структура и содержание курса «Введение в экспертизу в области здравоохранения», в котором предпринята попытка объединить теоретические принципы/концепции и практики проведения не очень крупных экспертиз в области программ здравоохранения. Студент обсуждает собственную итоговую работу не только с преподавателем, но и на группе.

1. Концептуализирование экспертизы программ здравоохранения. Содержание: природа и цель экспертизы программ здравоохранения, понимание природы экспертизы программ, понимание экспертизы как таковой.

2. Сущность и пределы программ здравоохранения. Содержание: характеристики программ здравоохранения, концептуальные и методологические/методические проблемы ключевых подходов к экспертизе, формы и возможности (перспективы) экспертизы (включая общие подходы и подходы, особенно направленные на экспертизу программ здравоохранения).

3. Соотношение условий и плана экспертизы: заказчики, использование и этика. Содержание: идентификация заказчиков, проблемы в работе с ними, внутренние и внешние эксперты, интегрированное применение/использование в экспертном процессе, этические проблемы для экспертов и экспертиз.

4. Соотношение условий и плана экспертизы: экспертные вопросы и проблемы планирования экспертизы. Содержание: рамочная аранжировка экспертных вопросов – количественные, качественные и смешанные методы экспертизы, понимание проблем управления ходом экспертизы, введение в основную оценочную задачу, выбор рабочей программы как основания всего плана экспертизы.

5. Соотношение условий и плана экспертизы: критерии экспертизы и логические модели. Содержание: выбор критериев экспертизы, использование программных логических моделей и программных операциональных (исполнительных) моделей в экспертизе, экспертное оценивание.

6. Выбор экспертного подхода: кейс-стади экспертных подходов. Содержание: анализ случая, иллюстрирующего постановочную, процессуальную и результативную экспертизы программы в течение определенного времени.

7. Выбор экспертного подхода: аспекты формирования планов. Содержание: анализ выбора случаев постановочной экспертизы.

8. Выбор экспертного подхода: процессуальные аспекты. Содержание: анализ выбора случаев процессуальной экспертизы.

9. Выбор экспертного подхода: анализ выбора случаев результативной экспертизы. Выбор экспертного проекта (плана).

10. Сбор и анализ данных. Содержание: собирание и анализ данных – соответствие экспертного подхода (квазиэксперимент, экспертная оценка и т. п.), методологии/методов (качественных, количественных и смешанных) и обоснованности/валидности техник/технологий сбора данных (интервью, выборка, опросник и т. д.).

11. Сбор и анализ данных (продолжение). Содержание: подходы к анализу качественных данных, критическое обсуждение примерных планов экспертизы, составленных студентами.

12. Предоставление и рецензирование экспертных выводов. Содержание: предоставление выводов – эффективные способы сообщения экспертных выводов аудитории, проблемы в использовании результатов экспертизы, максимизация использования экспертных выводов.

13. Роли и ограничения экспертизы программ здравоохранения в принятии решений. Содержание: ограничения экспертизы – метаэкспертиза, использование и неиспользование выводов экспертизы.

* * *

Итак, мы видим, что основной особенностью учебных планов подготовки экспертов в странах Запада является преобладание практической и технологической составляющих; серьезное внимание уделяется также этическим вопросам.