Текст книги "Контроль качества обучения при аттестации: компетентностный подход"

     • системные администраторы, осуществляющие контроль и анализ размещаемых фактических данных, назначение полномочий (сценариев доступа) пользователям, выполнение регламента представления информации, преобразования данных для последующего использования вне системы мониторинга качества университетского образования;

     • группы специалистов, имеющие права разработки и доступа к информационным базам системы мониторинга для анализа и передачи результатов обработки данных с последующим использованием в решении задач управления вузом;

     • другие зарегистрированные пользователи, обладающие правами работы с собственными (рабочими) и иными открытыми для них массивами документов и разделами банка тестовых заданий с целью их профессионального использования или размещения фактической информации, определяемой индивидуальным сценарием доступа и профессиональными обязанностями.

Пример модели мониторинга качества вузовского образования в условиях, когда в структуру университета входят различные институты, приводится на рис. 1.12.

Рис. 1.12. Пример общей структуры взаимодействия системы мониторинга института с внешними объектами (исходящая стрелка – просмотр информации, двусторонняя – просмотр, ввод и редактирование информации)

Обеспечение информационно-аналитической поддержки управления качеством образования в системе мониторинга реализуется введением модуля статистической обработки совокупной информации и предоставления результатов анализа в соответствии с запросами пользователей. Этот модуль позволяет анализировать фактическую информацию для последующего размещения в информационной среде и подготовки с целью дальнейшего использования в решении задач управления вузом, электронных таблицах, таблицах баз данных и информационных материалах отчетного характера. Собираемые фактические данные, представляющие собой результаты тестирований, оценок успеваемости, учебные планы и прочие материалы, допускают визуализацию для просмотра отдельными категориями пользователей, а также могут передаваться для последующей обработки вне информационной системы мониторинга.

Обновление хранимой информации в системе мониторинга обеспечивается путем доступа с клиентских рабочих мест к информационной базе системы для модификации документов и записей в соответствии с индивидуальным сценарием доступа каждого пользователя. При этом система обеспечивает целостность информационной базы благодаря интегрированным внутренним алгоритмам и обязательной регистрации вносимых изменений для предоставления возможности отмены некорректных действий. Контроль целостности информационной базы обеспечивают специальные индикаторы (контролирующие подпрограммы), которыми управляют системные администраторы. Направления обмена данными и информацией между различными объектами показаны в табл. 1.2.

Таблица 1.2 Объекты и направления обмена данными и информацией

Несмотря на явные достоинства СМК образования, далеко не все руководители вузов и преподаватели поддерживают идею создания такой системы и использования ее результатов. Возможные причины подобного неприятия могут носить субъективный характер и быть связанными с особенностями личностного восприятия информации, которая иногда кажется противникам мониторинга избыточной и излишне формализованной либо противоречащей собственным благоприятным оценкам результатов учебного процесса.

Помимо субъективных есть ряд объективных причин, способствующих негативной оценке мониторинга отдельными участниками образовательного процесса. Встречаются случаи неправильной или упрощенной интерпретации данных мониторинга и проведения обследований без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты образовательной деятельности. Эти случаи способствуют формированию недоверия к возможностям мониторинга и скептицизма, особенно у тех руководителей и преподавателей, чья деятельность незаслуженно получает негативные оценки. Наблюдаемые, по данным мониторинга, отставания в итоговых результатах студентов могут быть следствием неучтенной слабой материально-технической оснащенности учебного процесса, низкой квалификации преподавательского состава, высокого уровня безработицы среди родителей студентов, ошибок при формировании выборочной совокупности студентов для проведения мониторинговых обследований и др. Вместе с тем возможны искусственно завышенные результаты, получаемые путем намеренного исключения из обследования слабых студентов, сговором экспертов и т.д.

Все эти причины в совокупности значимо снижают достоверность информации мониторинга и приводят к тому, что многие исследователи просто предлагают отказаться от проведения любых сравнений качества образования. К тому же они полагают, что мониторинг может отвлекать педагогов от учебного процесса и отнимать время на усвоение нового материала у студентов. К противникам мониторинга относятся сотни преподавателей и управленцев во всех странах, которые чувствуют, что проведение мониторинга нередко выдвигает нереалистичные требования к их времени и возможностям, а в конечном счете, уменьшает их власть и использует ими же собранную информацию против них.

Помимо временных потерь, проведение мониторинга требует больших денежных затрат. В финансировании нуждается работа по формированию выборочных совокупностей студентов, созданию инструментария (тестов, анкет, опросных листов, программного обеспечения и т.д.), сбору данных, кодированию и анализу данных, их обработке, интерпретации и подготовке информационных бюллетеней. Мировой опыт проведения мониторинга говорит о том, что затраты могут перевесить выгоды, если не приложить усилия по соблюдению всех методических требований к проведению мониторинга, не обеспечить достоверность информации и не создать условия для ее использования в управлении качеством образования.

Специалисты по мониторингу выделяют ряд условий его эффективности:

     • системный подход, обеспечивающий слаженную работу механизма по сбору, обработке, анализу и интерпретации информации;

     • сочетание количественных и качественных методов измерений в мониторинге;

     • преимущественная ориентация системы показателей, по которым проводится мониторинг, на практику и методы обучения, поддающиеся воздействиям со стороны преподавателей и руководства вуза;

     • достаточная полнота совокупности показателей, учет различных факторов, в том числе и косвенно влияющих на результаты обучения;

     • корректная интерпретация данных мониторинга с учетом различных влияний и связей между показателями;

     • репрезентативность выборочных совокупностей студентов, принимающих участие в мониторинге;

     • широкое привлечение к проведению мониторинга квалифицированных специалистов и преподавателей вуза;

     • использование качественного инструментария и современного программного обеспечения для обработки и анализа данных мониторинга;

     • наличие необходимой материально-технической базы (статистических пакетов для обработки данных, техники и т.д.);

     • методическая и финансовая помощь со стороны администрации вуза.

Таким образом, даже если отвлечься от негативных последствий мониторинга и принять идею его проведения, придется решать много сложных проблем. Необходимо беспокоиться о проектировании системы мониторинга и выборе его модели, компетентности организаторов и участников, финансовых затратах, определении показателей, по которым будут собраны данные, методиках анализа данных, определении круга пользователей и структурирования данных по различным уровням доступа, выборе вида представления данных, методах их интерпретации и т.д. Нужно также договориться о направлениях использования данных мониторинга, поскольку его результаты можно применять как для поощрений, так и для санкций против отдельных преподавателей или кафедр в вузе. Для успешной работы по проведению мониторинга все эти соображения следует принять во внимание.

В целом можно утверждать следующее.

     • Системы мониторинга могут вносить значительный позитивный вклад в работу как преподавателей, так и управленцев. Мониторинг выполняет множество функций, релевантных повышению качества обучения и уменьшению несправедливости, вызванной субъективизмом преподавателей и управленцев в образовании.

     • Системы мониторинга могут стимулировать развитие многочисленных позитивных тенденций, они позволяют оценить эффективность различных инноваций в образовании.

     • Данные мониторинга не заменяют прочую информацию, необходимую для принятия управленческих решений в образовании. Их следует использовать совместно с другими данными о системе образования, собранными в результате бесед со штатом преподавателей и студентов.

     • При проведении мониторинга следует учитывать не только его позитивные возможности, но и вероятные негативные последствия. Преодолеть негативные результаты внедрения систем мониторинга в образование можно в том случае, если управленцы и педагоги заранее осведомлены о сложностях мониторинга и ограничениях на использование его данных, а сам мониторинг проводится в соответствии с научно-обоснованными методиками и технологиями в условиях четкой определенности перечня сообщаемых результатов на каждом уровне доступа к ним.

1.7. Эвалюация в образовании

Термин «эвалюация» (в англоязычной литературе – evaluation) не распространен в отечественной педагогической науке, хотя он широко используется в большинстве зарубежных стран, имеющих высокоразвитые системы управления качеством образования. Впервые этот термин появился в литературе на русском языке в 2001 г., когда авторы книги «Педагогическое образование в университете: контекстно-биографический подход» попытались проанализировать трактовку понятия «эвалюация» с опорой на работы немецких ученых и педагогов [6]. Современная трактовка этого термина в образовании не отождествляет его исключительно с процессом получения оценок, как можно решить по результату прямого перевода (evaluation – оценка, оценивание), а рассматривает его гораздо шире, считая эвалюацию интегративной категорией оценочно-аналитической деятельности в различных проектах по управлению качеством образования [10].

За рубежом научный термин «эвалюация» получил распространение в конце 60-х – начале 70-х гг. XX в. и использовался сначала при анализе результативности экспериментальной деятельности на основе изучения эмпирических данных в социальных науках. За годы существования понятие «эвалюация» приобрело различные оттенки и определения. Иногда эвалюацией называли проверку эффективности осуществленной деятельности и степени ее соответствия поставленным целям. В других случаях она рассматривалась в контексте рационально-критического осмысления социально-педагогической значимости целей образовательной деятельности и сочетала контрольные функции с критическим анализом эмпирического опыта на фоне прогнозирования тенденций развития образовательного процесса, включая разработку и обоснование процедур оценивания качества и всех его компонентов. Под эвалюацией понимали также систематическое оценивание всех аспектов обучения и воспитания, включающее совокупность методов корректировочных воздействий для повышения качества образования. Иногда ее связывали с процессом развития образовательных учреждений, дискуссиями о качестве образования, разработкой программ развития школ. В этом случае эвалюация рассматривалась как инструмент самоуправления, самоорганизации, проектирования и развития школьной жизнедеятельности. В последнем контексте данные эвалюации предоставляли учителям возможность осуществлять рефлексию профессионального поведения, школьной администрации – контролировать и анализировать деятельность образовательного учреждения, родителям – выявлять индикаторы объективного и субъективного имиджа школы, органам управления образованием – принимать обоснованные управленческие решения.

Современному пониманию этого термина наиболее адекватна трактовка, при которой в понятие «эвалюация» вкладывается весь спектр теоретико-методологических и практических работ по систематическому исследованию качества результатов и процесса образования, анализируемых на основе единой методологии, сочетания количественных и качественных методов для отслеживания характера и динамики изменений оценок по совокупности показателей качества, учета влияния факторов, в том числе находящихся вне сферы влияния системы образования.

В предлагаемой трактовке понятие «эвалюация» охватывает множество направлений систематических исследований, проводимых в рамках различных образовательных проектов и программ, эффективность реализации которых вместе с эффективностью осуществления самих оценочных процессов также подвергается многоплановому оцениванию. Таким образом, эвалюация в образовании является интегративным понятием, которое включает все направления оценочно-аналитической деятельности. Процесс эвалюации охватывает постановку целей, определение методологического подхода (как правило, с опорой на динамические методы анализа изменений характеристик обучаемых в условиях сочетания количественных и качественных методов измерения), разработку логических и математических моделей проведения процесса эвалюации, разработку дизайна исследования, выбор методов сбора и анализа информации (как правило, с преимущественным использованием аппарата педагогических измерений и статистических методов, не исключающих широкого применения качественных экспертных оценок), разработку инструментария, сбор эмпирической информации, обработку, анализ и интерпретацию данных эвалюации для принятия управленческих решений в целях повышения качества образования. Таким образом, эвалюация понимается как спектр различных направлений анализа процесса и результатов образования, обеспечивающий по совокупности научно-обоснованные решения для управления его качеством.

Хотя методологические основы эвалюации в наше время строятся на сочетании количественных и качественных методов, тем не менее центральное место в научном аппарате отводится теории педагогических измерений, поскольку качественные данные также подлежат анализу для выявления их надежности и валидности, а инструментарий разрабатывается с применением математико-статистических методов.

Так как эвалюация сформировалась на стыке педагогики, психологии, экономики, менеджмента и других наук, то ее теория носит явный междисциплинарный характер. Применение количественных методов в эвалюации требует использования математики, статистики, дисперсионного, факторного анализа и метаанализа и т.д. Теория управления качеством образования привносит синергетический и процессный подходы к анализу эмпирических данных в эвалюации. При использовании качественных методов сбора информации привлекаются эксперты, применяются анкеты и интервью. Теория генерализации, используемая в эвалюации для анализа точности данных на различных уровнях применения, непосредственно смыкается с теорией решений, относящейся к сфере менеджмента. Интерпретация данных эвалюации и постановка проблем предполагает обращение к аппарату педагогики и психологии. Оценивание эффективности деятельности образовательных учреждений обычно включает анализ соотношения финансовых затрат на образование и их отдачи, поэтому при рассмотрении вложений и реализации средств используются различные стоимостные модели и количественные методы анализа социально-экономических объектов. Связь эвалюации с менеджментом качества образования неизбежно влечет за собой применение стандартов качества ИСО 9000 и EQUIS.

Эти тенденции и направления деятельности нашли свое отражение во многих странах с высокоразвитыми системами образования. В США, Канаде созданы ассоциации оценщиков: American Evaluation Association (AEA) и Canadian Evaluation Society (CES), объединяющие педагогов, управленцев и других работников социальной сферы из разных стран мира. Проводятся ежегодные конференции по эвалюации, издается научная литература, энциклопедии и журналы по проблемам эвалюации в образовании, политике, медицине и т.д. Эвалюация является необходимым слагаемым современных образовательных систем, без которого нельзя решить многие современные проблемы образования. Она обеспечивает информацию о соответствии результатов обучения образовательным целям, позволяет прогнозировать различные, в том числе негативные, последствия модернизации программ обучения или образовательных инновационных проектов, которые могут оказывать различное влияние на качество образования.

Теоретики выделяют два уровня проведения эвалюации, охватывающие реализацию программ образовательных исследований, или модернизации образования и отдельные проекты. Под программой понимается единый скоординированный научный подход к исследованию области образования, включающий различные частные проекты, связанный с миссией учебного заведения и базирующийся на общей методологии выполнения исследовательских работ. Проекты нацелены на специфические исследования в образовании, входящие в программу и обеспечивающие в совокупности реализацию программных целей. Поэтому за рубежом в управлении качеством образования нередко используются термины «программная эвалюация» и «проектная эвалюация».

Применительно к уровню отдельного образовательного учреждения обычно говорят о формирующей (formative) и итоговой (summative) эвалюации. Цель первой состоит в оценке и анализе входных и текущих данных процесса обучения, включая информацию о соответствии хода образовательных проектов плановым характеристикам для информационно-аналитической поддержки оперативных административных решений. Данные формирующей эвалюации бывают направлены, главным образом, на повышение эффективности работы преподавателей с наиболее слабыми, неуспевающими студентами или учениками, нуждающимися в индивидуальных программах обучения. Наряду с тестами, в формирующей эвалюации широко используется инструментарий для сбора качественных данных. Итоговая эвалюация нацелена на оценку качества достигнутых результатов образования в рамках полностью осуществленных проектов и предназначается для принятия стратегических управленческих решений в образовании. Поэтому при проведении итоговой эвалюации ужесточаются требования к надежности, валидности и сопоставимости информации о качестве образования, что достигается обеспечением репрезентативности выборки обучаемых, высокого качества измерителей, используемых при сборе данных, приоритет среди которых отдается стандартизованным тестам.

Процессы итоговой и формирующей эвалюации проходят определенные этапы. К ним обычно относят шесть стадий:

1) построение концептуальной модели исследования в рамках программы или проекта;

2) идентификацию ключевых пунктов процесса эвалюации;

3) определение измеримых результатов эвалюации;

4) разработку модели проведения эвалюации;

5) сбор данных путем проведения измерений, анализ данных измерения;

6) интерпретация данных анализа для получения оперативной и прогностической информации об изменениях в качестве образования.

При отсутствии одной из стадий, каждая из которых является очень важной для получения надежной и валидной информации о качестве образования и путях его повышения, эвалюация не будет вносить существенный вклад в принятие обоснованных управленческих решений в образовании.

В основе эвалюации должна лежать концептуальная логическая модель, которая охватывает все этапы и устанавливает связи между ними, включая описание процессов взаимодействия компонентов эвалюации и планируемые формы представления данных в области краткосрочных и долгосрочных результатов. Типичная модель строится в рамках процессного подхода к управлению этапами эвалюации и имеет структуру, представленную на рис. 1.13.

Рис. 1.13. Общий вид модели эвалюации

В развернутом виде модель включает проект выполнения работ, являющийся частью общей программы исследований в образовании и содержащий постановку приоритетных задач управления качеством образования, характеристики входных данных эвалюации, описание различных источников финансирования, информационных и ресурсных потоков, обеспечивающих поддержку проекта. Помимо этого, в нее входит описание методологических основ измерения, инструментария, данных мониторинга, технологий сбора данных о качестве образования и требования к процессам сбора данных вместе с характеристиками подходов к обработке, анализу и интерпретации данных о качестве образования. Завершающая часть модели предназначается для описания выходных данных, подразделяющихся в соответствии с оперативными и стратегическими задачами управления качеством образования. В целом логическая модель идентифицирует все составляющие и показывает связи между процессами, протекающими при эвалюации.

Область результатов эвалюации оперативного характера должна охватывать рекомендации по совершенствованию образовательных программ, оптимизации методик преподавания, развитию системы повышения квалификации преподавательского состава учебных заведений и т.д. Стратегические результаты эвалюации включают рекомендации по тем изменениям в образовании, которые носят долгосрочный характер и рассчитаны на ближайшие годы. К ним могут относиться проекты по инновациям, модернизации учебных планов и программ, влекущие за собой изменения в статусе или структуре учебных заведений и т.д. В соответствии с современными взглядами многие команды управленцев в образовании предпочитают преимущественную ориентацию на долгосрочные результаты, связанные с задачами стратегического управления. Особенностью такого подхода является движение сверху вниз, когда конкретные количественные, реже качественные, но однозначно интерпретируемые показатели стратегического характера выступают в роли целевых критериев реализации данных эвалюации при принятии оперативных управленческих решений.

Возможность эффективного осуществления процесса эвалюации тесно связана с проблемой измеримости показателей качества образования, поскольку при оценивании изменений качества процесса и результатов образования необходимо обращение к теории педагогических измерений для обеспечения высокой надежности и валидности результатов оценки. Кроме слабой операционализируемости показателей качества, на достоверность данных эвалюации может негативно влиять отсутствие должной мотивации участников этого процесса, недостаточная репрезентативность выборки учащихся, недоработки по обеспечению логической корректности заданий, слабая устойчивость оценочных шкал, препятствующая сопоставлению результатов оценочных процессов, отсутствие условий для независимой работы экспертов при проверке результатов выполнения тестов с развернутыми ответами или других оценочных средств и т.д.

Можно считать, что становление и развитие эвалюации в образовании в наши дни – неизбежное следствие современных глобальных перемен XXI в., когда функции, методы процедуры и технологии менеджмента широко внедряются в различные направления профессиональной деятельности, в том числе и в образование. Современная парадигма теории управления, включающая системный подход, стратегическое управление, управление развитием социально-экономических систем, мониторинг и бенчмаркинг, во всем мире постепенно входит в образование, позволяя управлять нововведениями, качеством образования, оценивать риски принятия управленческих решений, эффективно распределять человеческие ресурсы и внедрять новые информационные технологии в образование.