Текст книги "Контроль качества обучения при аттестации: компетентностный подход"

Выводы

Таким образом, сегодня качество становится основным фактором, определяющим приоритеты прогресса в высокоразвитых странах мира во всех сферах жизнедеятельности, в том числе и в образовании, являющемся источником развития производительных сил общества и формирования человеческого капитала государства. Актуальность проблем повышения качества образования носит вечный характер, поскольку именно ему отводится ведущая роль в обеспечении воспроизводства необходимой квалификации населения, уровень образованности которого – залог успешного развития общества и экономики, повышения национальной безопасности и общего потенциала каждой страны.

Несмотря на непреходящий характер, проблема качества образования приобретает особую актуальность в наши дни в силу ряда причин, к которым можно отнести рост зависимости темпов развития общества от уровня образованности населения, нарастающую информатизацию всех уровней жизнедеятельности, развивающуюся глобализацию в сочетании с интернационализацией образования, переход от интенсивных методов развития образования к экстенсивным, повышение доступности образования на основе новых информационных технологий, модернизацию образования. Процесс модернизации образования, проходящий в условиях изменения содержания его гуманитарной составляющей, смещения акцентов в естественнонаучной базе, формирования новых взглядов на процесс обучения и его результаты, выдвигает новые требования к подготовке выпускников учебных заведений, благодаря которым проблема повышения качества образования приобретает политический и социальный характер.

Подводя итоги и сравнивая опыт России с опытом других стран, можно сказать, что на смену преимущественной констатации состояния качества образования по результатам оценочных процессов приходят инновационные методы долгосрочного прогноза и анализа тенденций в изменении качества образования. В связи с этим приоритет получают оценки изменений по совокупности показателей качества образования, накопление этих оценок в системах мониторинга, методы статистического анализа данных мониторинга с учетом многочисленных внутренних и внешних факторов влияния на результаты образования. Результаты оценочных процессов широко интерпретируются, что позволяет учебным заведениям, управленцам, администрации учебных заведений и преподавателям выбирать перспективные направления коррекции процесса обучения для повышения качества образования.

Во многих вузах ведутся целенаправленные систематические работы по созданию систем менеджмента качества. В нормировании требований к качеству образования главенствующее значение приобретает компетентностный подход, предполагающий четкую ориентацию совокупности компетенций на задачи будущей профессиональной деятельности выпускников учебных заведений и привлечение представителей профессиональных сообществ к оцениванию качества результатов образования, что способствует ориентации процесса управления качеством образования на реальные запросы современного общества.

Процесс управления качеством образования предполагает целенаправленную деятельность по реализации целей и координации действий всех составляющих образовательной системы, его субъектов для достижения планируемых результатов обучения. Информационное обеспечение процесса управления достигается на основе развития современных контрольно-оценочных систем, обеспечивающих надежную, валидную и сопоставимую информацию о качестве образования и опирающихся на аппарат теории педагогических измерений. Результаты измерения являются научной основой для распознавания, анализа, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования.

Для эффективного управления качеством образования необходимо сформировать системный подход, который должен опираться на разработки в области эвалюации. Результаты эвалюации оперативного и стратегического характера позволят получить обоснованные рекомендации по тем системным изменениям в образовании, которые будут опираться на различные проекты по инновациям в образовании и предназначаться для различных уровней, начиная от задач макроуровня до управления качеством в отдельном учебном заведении или в каждой учебной группе. Реализация комплексного подхода к использованию результатов эвалюации в управлении качеством образования должна включать динамический, сравнительный, дифференцирующий и прогностический анализ данных измерений и регламентироваться рядом научных требований к характеристикам информационной базы, учету смещающих факторов, процедурам сбора, обработки, анализа и интерпретации данных измерения. К этим требованиям следует отнести применение в осмыслении результатов измерения базисной методологии управления качеством, высокую надежность и валидность результатов измерения, широкое использование динамического подхода при оценивании качества обучения, учет всех факторов, влияющих на качество результатов обучения и обеспечение сопоставимости оценок качества образования.

Практические задания и вопросы для обсуждения

1. Назовите политические и социальные тенденции, которые приводят к резкому возрастанию актуальности проблем качества образования, поиску новых подходов к повышению эффективности управления образовательными системами.

2. В чем причины появления компетентностного подхода в профессиональном образовании?

3. Какие трудности по внедрению инноваций, компетентностного подхода и проведению болонских реформ вы видите в своем вузе и в целом в системе высшего профессионального образования?

4. Каковы компоненты качества процесса образования?

5. В чем вы видите преимущества динамического подхода к определению качества образования, каковы его недостатки?

6. Каковы требования к качеству государственных образовательных стандартов третьего поколения?

7. В чем различия между традиционным оцениваем и педагогическим измерением? Назовите основные компоненты педагогического измерения.

8. Назовите основные задачи системы менеджмента качества в вузе.

9. Предложите совокупность показателей качества результатов обучения для студентов своей группы. Проведите анализ факторов, влияющих на результаты обучения и выделите наиболее значимые.

10. Согласны ли вы с тем, что в настоящее время в подготовке студентов важен не объем усвоенных знаний или алгоритмы их воспроизведения по образцам, а ключевые компетенции, творческий подход к решению учебных и жизненных проблем, умения самостоятельно приобретать знания и применять их в нестандартных ситуациях, близких к будущей профессиональной деятельности? Предложите способы и технологии реализации этого подхода к трактовке качества результатов обучения в учебном процессе.

11. Проведите сравнительный анализ трактовок терминов «компетентность» и «компетенции», выделите те, которые наиболее адекватны современным запросам работодателей к качеству подготовки выпускников системы профессионального образования.

12. Проанализируйте обобщенные группы показателей качества результатов образования. Предложите совокупность показателей для вузовской системы мониторинга качества образования.

2. Основы теории педагогических измерений

2.1. Понятийный аппарат теории педагогических измерений

По наиболее распространенному определению, введенному американским психологом С. Стивенсом в 1946 г., измерение – это процедура приписывания чисел некоторым характеристикам объектов в соответствии с определенными правила ми [4]. Предложенное Стивенсом определение появилось в результате формального обобщения опыта количественных измерений, широко распространенных в физике и других естественных науках, но его на протяжении многих лет брали за основу и при трактовке представлений об измерениях в образовании.

По мере развития педагогики, психологии, социологии и других эмпирических наук возникла потребность во введении не только количественных, но и качественных оценок, поскольку, помимо величин, встречающихся в естественных науках, существуют другие показатели, отличающиеся по степени проявления того или иного свойства и поддающиеся измерению. Пожалуй, наиболее важную роль здесь сыграли социологические обследования и психологические тесты, по результатам которых выявлялись межкультурные различия либо социальные общности, строящиеся на основе факторного анализа результатов выполнения тестов. По данным факторизации проводилось многомерное шкалирование, результаты которого позволяли объединять сходные группы индивидов. Им приписывались некоторые символы или просто числа, в последнем случае создавалась видимость получения количественных оценок. На деле эти оценки имели качественный характер в силу того, что они получались путем привлечения экспертов.

Связь между количественными и качественными оценками устанавливается на основе традиционно сложившегося разделения их на две группы: классифицирующие или сравнительные оценки относят к категории качественных, метрические – считаются количественными. Качественные оценки всегда бывают менее точными по сравнению с количественными в силу способов и инструментов, применяемых для их получения. Например, на устном экзамене классифицирующие понятия (знающий, аттестованный, подготовленный или «отлично», «хорошо», «удовлетворительно» и др.) определяются субъективно с помощью суждений экзаменатора и содержат в себе, как правило, значительный ошибочный компонент. Поскольку эти суждения принимаются за оцениваемые характеристики объектов, то их надо уметь распознавать, отождествлять, сравнивать, абстрагировать и обобщать. Для удобства оценочные суждения выражают в виде некоторых баллов по традиционной пятибалльной шкале или по любой другой, которая выбирается на основе экспертных соглашений. Приписываемые числа могут быть не вполне определенны в тех случаях, когда для построения качественных шкал не используются измерители. Например, при традиционном контроле у каждого преподавателя есть свои представления о том, за что нужно ставить 5, 4, 3 и т.д.

Измерения можно подразделить на физические, характерные для естественных наук, и нефизические, встречающиеся в науках эмпирических. По времени появления физические измерения предшествовали нефизическим, потребность в последних сформировалась и стала развиваться в связи с запросами педагогики, психологии, экономики и социологии, нуждающихся в отражении на шкале оценочных суждений для их фиксации и сопоставления.

Принципиальное отличие одного класса измерений от другого лежит в области объектов, подвергающихся оценкам. В физических измерениях в большинстве своем присутствуют вполне реальные объекты. В эмпирических – все оцениваемые характеристики носят в основном латентный (скрытый) характер, препятствующий непосредственному измерению. В силу латентности оцениванию подвергаются не сами характеристики, а их эмпирические референты – наблюдаемые признаки характеристик. Выбор таких референтов происходит интуитивно, поэтому их соответствие латентным характеристикам нуждается в тщательном доказательстве, проводимом на основе экспертного и статистического анализа эмпирических результатов измерения.

При оценивании латентные характеристики (переменная А) являются первопричиной, порождающей наблюдаемое множество результатов измерения (переменная В). Однако на практике совершается обратный шаг, поскольку, именно отталкиваясь от наблюдаемых результатов, можно получить оценки латентных характеристик с определенной ошибкой измерения (рис. 2.1).

Рис. 2.1. Связь между латентной и наблюдаемой переменными

Неизбежная латентность переменных измерения, в роли которых в образовании выступают уровни освоения знаний, умений, навыков или компетенций, приводит к необходимости проверки адекватности полученных оценок концептуальной переменной (переменным) измерения и точности оценок, что обеспечивается благодаря коррекции свойств измерителя.

С течением времени в эмпирических науках определение измерений по Стивенсу было признано неудовлетворительным по двум причинам. Во-первых, оно не учитывало того, что результатами измерения могут быть не только числа. Во-вторых, оно никак не регламентировало правила измерения, хотя вся суть процедуры кроется именно в тех самых правилах, в соответствии с которыми осуществляется приписывание чисел. В связи с этим в 80-х гг. XX в. появилась современная теория измерений, строящаяся на более строгой аксиоматической основе и значительно расширяющая традиционные представления об измерениях в психологии и образовании [10].

В соответствии с современными воззрениями, педагогическое измерение можно трактовать как конструирование любой функции, осуществляющей изоморфное отображение некоторой эмпирической структуры в соответствующим образом подобранную числовую структуру, представляющую собой шкалу оценок качества учебных достижений или других конструктов, являющихся целью измерения. Изоморфизм – важное понятие математики, которое определяет ряд условий для взаимно однозначного отображения двух множеств с сохранением их свойств процессе отображения. Хотя само по себе это понятие возникло в высшей алгебре, в наше время оно трактуется довольно широко и используется не вполне строго в понятийном аппарате ряда наук, как, например, в теории педагогических измерений.

Отображающая функция понимается достаточно обобщенно, поскольку позволяет устанавливать различные, не только количественные отношения между объектами, но и проводить любые, в том числе качественные оценки. Под процедурой измерения предлагается понимать совокупность эмпирических операций, позволяющих установить оценки измеряемых характеристик и представить их в количественной или качественной шкале. Поскольку эмпирическая структура и строящаяся по результатам оценивания числовая структура (шкала) изоморфны, то, имея шкалу, можно, не обращаясь непосредственно к измеряемым объектам, восстановить все их свойства, характерные для эмпирической структуры.

2.2. Переменные и компоненты измерений в образовании. Надежность и валидность результатов измерения

Процесс педагогических измерений включает:

     • выбор предмета измерения, под которым понимается одна или несколько латентных характеристик объектов (выбор переменных измерения и их числа);

     • выбор эмпирических референтов (наблюдаемых характеристик объектов), замещающих латентные переменные;

     • выбор измерительных процедур;

     • конструирование и использование измерительных инструментов;

     • выбор шкалы (если измеряемая переменная одна) или шкал (если измеряют более одной переменной при многомерных измерениях);

     • построение отображения результатов измерения на шкалу (шкалы в случае многомерных измерений) по определенным процедурам и правилам;

     • анализ и интерпретацию результатов измерения.

Таким образом, процесс педагогических измерений состоит из совокупности операций, позволяющих получить количественные или качественные оценки измеряемых характеристик. Правильная организация процесса педагогического измерения очень важна, поскольку любые нарушения стандартизованных условий проведения, обработки, анализа и интерпретации результатов измерения снижают обоснованность и точность получаемых оценок. Приведенные компоненты процесса измерения имеют свои аналоги в традиционном контроле, где эти процедуры носят интуитивный характер и основываются на эмпирическом опыте педагога. При тестировании каждая компонента проходит процесс анализа и научного обоснования качества, базирующегося на теории педагогических измерений. Особенно важно такое обоснование, если речь идет об итоговом контроле, результаты которого связаны с принятием важных административных решений при аттестации выпускников или оценке эффективности деятельности учебных заведений. Тогда объектом измерения становятся знания, умения, навыки и компетенции, нередко называемые обобщающим термином «учебные достижения», структуру и уровень сформированности которых сравнивают с требованиями ФГОС при принятии аттестационных решений.

Отклонения получаемых результатов измерения от истинных значений измеряемых латентных характеристик представляют большую опасность в эмпирических науках, так как в силу латентного характера измеряемых переменных их не всегда можно своевременно выявить и скорректировать. Величину такого отклонения принимают за ошибку измерения. Возможность оценивания ошибки измерения является тем ключевым критерием, который позволяет провести четкую грань между оценками (количественными или качественными), которые можно считать результатами измерения, и результатами традиционного контроля. Эта же возможность выступает в качестве основного аргумента в защиту тестов. В отличие от традиционных средств контроля, не обеспечивающих никаких данных о точности оценок достижений студентов, тесты позволяют установить величину ошибки измерения и оценить тем самым надежность полученных оценок.

В силу существования ошибок измерения оцениваемые характеристики объектов могут принимать более или менее точные значения, поэтому такие характеристики обычно называют переменными измерения. По этой же причине принято говорить о надежных или ненадежных педагогических измерениях, где надежность характеризует степень устойчивости (повторяемости) и точности результатов измерения. Другая характеристика качества результатов педагогического измерения обычно называется валидностью. В самом общем случае она трактуется как адекватность эмпирических результатов поставленной цели измерения [14, 17, 28, 35, 36].

Цели педагогического измерения могут быть самыми разными, поэтому анализ валидности должен быть многоаспектным. Важнейшее место в нем занимает оценка конструктной валидности, строящаяся на доказательстве адекватности эмпирических референтов концептуально выделенной переменной (переменных) измерения. Таким образом, в практической работе по созданию теста анализ конструктной валидности находит свое отражение в работе по проведению доказательства того, что выбранные тестовые задания по своему содержанию и статистическим характеристикам позволяют оценить именно те аспекты подготовленности обучаемого, которые создатель теста намеревался измерить.

Проблема оценивания конструктной валидности приобретает особую актуальность в связи с введением компетентностного подхода к трактовке качества результатов образования. Никто не будет сомневаться в том, что набор заданий, в которых требуется перемножить числа, действительно проверяет навыки умножения. Значительно труднее разобраться в том, какую переменную оценивают междисциплинарные задания, характерные для компетентностных тестов. В последнем случае для выявления конструктной валидности приходится привлекать факторный и корреляционный анализ, оценивать число измеряемых переменных, сопоставлять содержательную трактовку результатов измерения с результатами, полученными по давно существующим и зарекомендовавшим себя тестам.

Измерительный инструмент включает два компонента. Один из них – само измеряющее устройство, роль которого при педагогических измерениях в большинстве случаев отводится тесту. В самом обобщенном виде под тестом можно понимать совокупность контрольных заданий в стандартизованной форме, обладающих необходимыми системообразующими статистическими характеристиками и обеспечивающих надежные и валидные оценки концептуально выделенной переменной (переменных) измерения. Таким образом, в самом определении теста заложены требования к его качеству, отсутствующие в традиционных оценочных средствах.

Многие преподаватели, никогда не принимавшие участия в процессе создания теста профессионалами и не имеющие специальной подготовки по теории педагогических измерений, путают тесты с наборами контрольных заданий, необоснованно полагая, что достаточно последние представить в форме задания с выбором ответа, как сразу получится педагогический тест. Этому поверхностному и неправильному восприятию педагогических тестов способствует латентная (скрытая от возможностей непосредственного наблюдения) природа характеристик тестовых заданий, которые проявляются только в процессе применения теста на выборке студентов и выявляются при обработке и анализе эмпирических данных тестирования. Иными словами, узнать тест это или набор обычных контрольных заданий можно только после анализа результатов апробации заданий на представительной выборке студентов.

Анализ предваряет специальная обработка данных апробации, основанная на аппарате теории педагогических измерений, позволяющая оценить статистические характеристики заданий, соотнести их с требованиями теории педагогических измерений и наметить пути коррекции характеристик для получения из набора контрольных заданий педагогического теста. Сама по себе форма заданий не имеет значения, поскольку с первого взгляда тестовые задания могут ничем не отличаться от традиционных контрольных и не иметь готовых ответов. Внешним необходимым, но не достаточным признаком теста может служить только число заданий, которых не должно быть меньше 25.

Таким образом, радикальное отличие теста от обычных заданий состоит не в форме представления вопросов и ответов, а в опоре на теорию педагогических измерений в процессе его создания и применения, что позволяет получить ряд важных преимуществ, отсутствующих в тех случаях, когда не используются тесты. В частности, благодаря аппарату теории педагогических измерений можно:

     • повысить полноту охвата содержания дисциплины в контрольных материалах за счет большого числа заданий в тесте (не менее 25);

     • проанализировать степень достоверности (уровень объективности) оценок подготовленности студентов, выявив величину ошибки измерения (надежность результатов измерений);

     • проанализировать степень обоснованности оценок подготовленности студентов, выявив уровень соответствия полученных результатов контроля поставленной цели его проведения путем оценивания величины валидности результатов измерений;

     • получить статистические оценки трудности заданий, отличающиеся от экспертных оценок высокой достоверностью;

     • повысить эффективность контроля путем оптимизации трудности, валидности и системообразующих свойств (оценок корреляции) тестовых заданий при создании теста;

     • обеспечить высокую сопоставимость оценок студентов за счет представления результатов тестирования в стандартных шкалах, введения норм и выравнивания при сравнительном анализе результатов выполнения тестов.

Высокая надежность и валидность инструментария не служит гарантией качества результатов педагогического измерения, но является необходимым условием его достижения, поскольку большое значение имеет также стандартизация процедуры применения теста, которая должна обеспечивать равенство условий для студентов. На величину ошибки измерения влияют также методы обработки, анализа и интерпретации данных, которые по уровню сложности и трудоемкости должны быть адекватны поставленным задачам измерения.

Второй компонент измерительного инструмента – заранее подготовленная шкала, которая служит для фиксации оценок (количественных или качественных) измеряемой переменной. Согласно наиболее распространенному определению, шкала – это средство упорядочения результатов измерения определенных свойств эмпирических объектов. В процессе такого упорядочения каждому элементу совокупности наблюдаемых эмпирических данных ставится в соответствие определенный балл, устанавливающий положение наблюдаемого элемента на шкале [20, 28, 36, 43]. В ситуации педагогического измерения на шкале откладываются не сырые, а производные баллы, которые подвергаются преобразованию для повышения сопоставимости и удобства интерпретации результатов выполнения педагогического теста.

Шкала с отложенными оценками переменной является целью измерения. При измерениях с высокой надежностью и валидностью шкала адекватно отображает, фиксирует оцениваемые характеристики, представляя их без существенных искажений. Таким образом, суть процедуры измерения состоит в переходе от самих объектов измерения к шкале, на которой выстроены оценки, замещающие исследуемые характеристики этих объектов. Подобная процедура позволяет уйти от объектов измерения и сосредоточить внимание на измеряемых характеристиках. В зависимости от количества измеряемых переменных можно говорить об одномерных (одна переменная) или многомерных (более одной переменной) измерениях. Соответственно по результатам измерения строится одна шкала или несколько, число которых в последнем случае равно числу переменных измерения.

При создании аттестационных тестов в рамках компетентностного подхода по циклам специальных дисциплин обычно используют многомерные измерения, результаты которых откладываются не на одной, а на нескольких шкалах. В других случаях, когда речь идет об итоговой аттестации студентов на младших курсах, стараются ограничиться одномерными тестами. Вне зависимости от числа переменных построение шкалы возможно только по надежным и валидным данным, обладающим высокой объективностью и адекватностью цели измерения. Поэтому размерность, надежность и валидность являются взаимосвязанными свойствами, характеризующими различные аспекты качества педагогических измерений. Выявление размерности – это необходимый предварительный этап работ по оцениванию надежности и валидности результатов измерений. Таким образом, качество данных, полученных в педагогических измерениях, проходит процесс анализа, а характеристики самих измерителей являются предметом научного обоснования, основанного на специальной теории. В традиционном контроле такое обоснование отсутствует, поскольку не формируются никакие представления об оцениваемых переменных, их соответствии планируемым целям контроля и их точности.

Последний компонент процесса педагогических измерений – обработка, анализ и интерпретация данных – имеет двоякое назначение. В первом случае, при котором использование измерительных инструментов предназначается для их апробации, по результатам обработки выявляют качество результатов измерения для проведения коррекции и стандартизации инструментария. Во втором случае, когда уже есть апробированные стандартизованные измерители, полученные данные представляются в удобной для пользователей форме для интерпретации согласно поставленным задачам контроля и управления качеством образования. Среди трех компонентов – обработка, анализ и интерпретация – этап обработки носит первичный характер. Он завершается количественным анализом результатов измерения, данные которого используются либо для научного обоснования качества тестов и преобразования сырых баллов испытуемых в производные баллы (процесс шкалирования), либо для повышения удобства и сопоставимости при интерпретации результатов в учебном процессе. Таким образом, если измеритель разработан, и результаты измерений удовлетворяют требованиям высокой надежности, валидности и сопоставимости, то можно выстраивать интерпретацию результатов обучаемых, проводить мониторинг и принимать обоснованные решения в управлении качеством образования.