Текст книги "Контроль качества обучения при аттестации: компетентностный подход"

В.И. Звонников, М.Б. Челышкова
Контроль качества обучения при аттестации: компетентностный подход

Список сокращений

ЕГЭ – единый государственный экзамен

ИСО 9001 – международные стандарты

КИМ – контрольно-измерительные материалы

ППС – профессорско-преподавательский состав

ПТМ – педагогические тестовые материалы

СМК – система менеджмента качества

ФГОС – федеральный государственный образовательный стандарт

АEA – American Evaluation Association (Американская ассоциация оценки)

AMA – American Management Association (Американская ассоциация менеджмента)

CES – Canadian Evaluation Society (Канадское общество оценки)

EQUIS – European Quality Improvement System (Европейская система совершенствования качества)

ETS – Educational Testing Service (Служба образовательного тестирования, США)

IRT – Item Response Theory (теория современного конструирования тестов)

ISO – International Organization for Standardization (Международная организация по стандартизации)

SOLO – Structure of the Observed Learning Outcomes (структура наблюдаемых результатов обучения)

SPSS – Statistical Package for the Social Sciences (статистический пакет для социальных наук)

ТQM – Total Quality Management (концепция всеобщего управления на основе качества)

TUNING PROJECT – Настройка образовательных структур в Европе (проект)

Примечание редактора электронного текста: Для корректрого отображения спецсимволов рекомендуется просматривать текст с использованием шрифта Lucida Sans Unicode.

Введение

В настоящем учебном пособии рассматриваются корректные подходы к оценке качества результатов образования в рамках компетентностного подхода. Оно содержит краткие теоретические и методические сведения о компетентностном подходе и измерениях в образовании, методики разработки аттестационных тестов, обзор возможностей инновационных измерителей и требования к их характеристикам, методики обработки и анализа данных тестирования.

В интересах краткости и доступности изложения в книге опущены темы, посвященные разработке междисциплинарных тестов, многомерному шкалированию, факторному анализу, современной теории тестов (Item Response Theory) и некоторые другие. Иными словами, в настоящем пособии не нашли отражения наиболее сложные методики аппарата педагогических измерений, которые используются профессионалами и необходимы для полноценной реализации компетентностного подхода к оценке качества результатов обучения. Поэтому изучение представленного в книге учебного материала можно и нужно рассматривать как важный, но лишь первый шаг в деле освоения практических умений оценивания компетенций студентов при их аттестации и внедрении компетентностного подхода в сферу высшего образования.

На содержание этой книги повлияли два обстоятельства, послужившие побудительным мотивом к ее появлению. Первое из них – это введение в высшей школе нового поколения федеральных государственных образовательных стандартов. А второе – отсутствие в нашей стране необходимого опыта педагогических измерений. И хотя статистическая теория обоснования качества тестовых оценок хорошо развита за рубежом, а в России вышло несколько учебных пособий на эту тему, создание тестов у нас по-прежнему обычно ведется интуитивно, без опоры на научные методы теории измерений.

Преподаватели посвящают немалое время разработке многочисленных контрольных заданий, имитирующих по форме тесты. Фактически же эти задания остаются обычными вопросами, поскольку их основные характеристики не опираются на доказательные количественные оценки. В первую очередь речь идет о количественных оценках валидности задания, числа оцениваемых переменных (размерности задания) и вклада ошибочного компонента по отдельным заданиям в общую ошибку измерения. Именно этим характеристикам и их оценкам на основе развернутого статического анализа данных измерений в настоящем учебном пособии уделяется большое внимание.

Разработка любого аттестационного теста требует обязательного обоснования релевантности его содержания переменной или переменным измерения, использования математико-статистических методов для проверки соответствия теста определенным критериям качества и анализа точности обеспечиваемых им оценок. Необходимость такого обоснования резко возрастает в связи с введением федеральных государственных образовательных стандартов третьего поколения, где требования к качеству результатов образования формулируются в виде набора общекультурных и профессиональных компетенций.

Весьма высокая сложность контрольно-оценочных процессов, связанная с латентной природой результатов обучения, усугубляется специфическими характеристиками компетенций. К ним относятся многомерность, междисциплинарность, связь с индивидуальными задатками обучаемых, а также объективация компетенций после окончания обучения. Таким образом, сам компетентностный подход требует актуализации методов оценивания конструктной, прогностической и содержательной валидности, надежности и размерности результатов оценочных процессов с учетом различных факторов, влияющих на качество результатов образования.

Настоящее учебное пособие предназначено для тех преподавателей вузов, которые уже используют либо предполагают использовать в дальнейшем современные средства оценивания качества результатов обучения для подготовки своих студентов к аттестации на основе федеральных государственных образовательных стандартов третьего поколения. Авторы полагают, что оно заинтересует всех, кто склонен к введению инноваций в традиционный контрольно-оценочный процесс в вузе.

Заметим, что изучение настоящего учебного пособия не требует специальной математической подготовки. Дело в том, что разработка тестов по всему кругу дисциплин высшей школы не может быть обеспечена только силами профессионалов, специалистов в области педагогических измерений. Не случайно во многих странах тесты для аттестации выпускников и студентов разрабатывают сами учебные заведения, а специалисты в области педагогических измерений и психодиагностики привлекаются только в качестве консультантов. А в США ежегодно выпускается объемный сборник, содержащий краткие аннотации к тестам, появившимся в текущем году в университетах, колледжах и других учебных заведениях с указанием информации об их авторах и основных характеристиках тестов. Если и у нас в России тестирование будет развиваться с учетом этих тенденций, то можно надеяться, что настоящее учебное пособие в той или иной мере окажется полезным каждому преподавателю вуза.

В.И. Звонников, М.Б. Челышкова

1. Качество результатов обучения и его оценка

1.1. Современные тенденции развития образования: императив качества

С начала XXI в. в России, как и во всем мире, наметились политические и социальные тенденции, которые привели к возрастанию актуальности проблем качества образования, поиску новых подходов к повышению эффективности управления образовательными системами. К числу таких тенденций в первую очередь следует отнести интенсивное реформирование, охватывающее практически все уровни образования и требующее систематического анализа тенденций в изменении качества образования.

Во-вторых, это диверсификация образования, проявляющаяся в значительном расширении объема его содержания в условиях научно-технической революции начала ХХI в., введения новых методов обучения и информатизации на всех уровнях образования. В управлении качеством образования диверсификация приводит к необходимости интенсивного развития механизмов управления и увеличения числа факторов, нуждающихся в учете при управлении и влияющих на устойчивость образовательных систем. Хотя сегодня многие специалисты дают оптимистичные оценки диверсификации, к подобным прогнозам лучше относиться осторожно, так как последствия ее развития с учетом многих не выявленных последствий предсказать пока просто невозможно.

В-третьих, к числу современных образовательных тенденций, актуализирующих разработку проблем качества образования, следует отнести индивидуализацию, имеющую развитую теоретическую базу, но трудно приживающуюся в реальном учебном процессе. Теоретические положения развивающего личностно-ориентированного обучения, разработанные отечественными дидактами, пока еще не нашли адекватной практической реализации, не изучено влияние рекомендуемых методов и приемов индивидуализации обучения на результаты учебного процесса.

В-четвертых, следует выделить интернационализацию образования, вызванную политическим и экономическим сближением стран мира и требующую обеспечения общего образовательного пространства с сохранением позитивных национальных традиций учебных заведений России. Следствием интернационализации стало присоединение России к Болонской декларации, для реализации принципов которой потребовалось реформирование отечественного образования на различных уровнях. В высшей школе процесс реформирования привел ко многим инновациям, среди которых в первую очередь следует назвать введение двухуровневой системы высшего профессионального образования и компетентностного подхода к трактовке качества результатов образования, положенного в основу разработки образовательных стандартов третьего поколения.

В целом можно сказать, что высшая школа России подвергается той же модернизации и переживает те же трудности, что и образование во многих европейских странах. Происходит интенсивный рост числа специальностей и специализаций в связи с появлением новых профессий и «демаркации» прежних на рынке труда. Возрастает роль горизонтальной мобильности выпускников вузов в течение трудовой жизни, что приводит к стиранию граней между классическими академическими и прикладными профессиями. Возникает феномен массового высшего образования. Происходит глобализация профессий и профессионалов на фоне нарастания конвергентных процессов в системах образования, децентрализации экономической ответственности и ответственности за качество работы. Развиваются тенденции к повышению ориентации результатов образования на требования работодателей, прозрачности процедур аттестации и аккредитации в условиях сопоставимости результатов образования. Наблюдается усиление роли непрерывного образования, усложнение задач личностного развития в сочетании с внедрением рыночных механизмов в высшее профессиональное образование и т.д.

Возникающие трудности связаны в основном с расширением влияния факторов динамизма и неопределенности, замедляющих темпы проведения Болонских реформ во всех странах. Попытки подстегнуть развитие Болонского процесса, предпринимаемые управленцами в сфере образования, приводят не к его интенсификации, а к нарастанию критики и сомнений в его эффективности [5]. Нередко представители педагогической общественности высказывают серьезные опасения по поводу введения двухуровневой подготовки, которая для бакалавров может привести к значительному снижению качества результатов образования. Прослеживается четкая тенденция к продолжению образования после получения степени бакалавра, которая в массовом сознании пока еще рассматривается как подготовительная ступень к получению полного образования. В среде работодателей нет ясного понимания сферы трудовой деятельности бакалавров, не сложилась четкая дифференциация структуры квалификаций в соответствии с уровнями подготовки. Вскрылись проблемы, связанные с необходимостью преодоления инертности профессорско-преподавательского состава, представители которого неохотно воспринимают изменения, связанные с реализацией Болонской декларации и требующие значительной перестройки их работы. Трудно приживаются инновации, ориентированные на модульную организацию образовательного процесса, кредитную систему учета трудоемкости и требующие значительных затрат времени преподавателей для внедрения в учебный процесс.

Дополнительные трудности возникают при внедрении компетентностного подхода к оцениванию результатов обучения, поскольку совокупность компетенций должна задаваться профессиональными стандартами и потребностями рынка труда. Однако сегодня основная часть сообщества работодателей в нашей стране не имеет профессиональных стандартов. В основной своей массе работодатели, топ-менеджеры и собственники бизнес-организаций не испытывают особого интереса к взаимодействию с вузами, полагая, что приняв на работу молодых специалистов с хорошей фундаментальной подготовкой, они смогут самостоятельно их доучить, обеспечив нужную профилизацию.

В целом краткий анализ современных социально-экономических тенденций, особенностей развития системы профессионального образования, имеющихся и прогнозируемых трудностей свидетельствует о необходимости принятия ряда обоснованных управленческих решений, в основе которых должна лежать надежная и валидная информация о качестве результатов образования. Для ее получения предстоит выполнить развернутый анализ подходов к трактовке качества высшего профессионального образования в контексте компетентностной модели подготовки специалистов, сформировать репрезентативную совокупность показателей качества, разработать научно обоснованные оценочные методики и инструментарий на основе аппарата теории педагогических измерений.

1.2. Основные подходы к трактовке качества образования в России и за рубежом

Международные организации, занимающимися стандартизацией на основе ИСО 9001, приняли определение, в котором качество трактуется как совокупность характеристик объекта, относящихся к его способности удовлетворять установленные и предполагаемые потребности [11]. В образовании качество обычно рассматривается не только как результат деятельности, но и как процесс, направленный на достижение запланированных результатов с учетом внутреннего потенциала и внешних условий объекта. В связи с этим, говоря о содержании термина «качество образования», всегда следует проводить четкую грань между процессом и результатом, дифференцируя уровни образования и разграничивая требования к качеству со стороны потребителей и заказчиков образовательных услуг. Как правило, в системе профессионального образования выделяют не две, а три группы характеристик: качество потенциала достижения цели образования, качество процесса формирования профессионализма и качество результата образования.

Применительно к результатам в самом общем случае под качеством образования понимают интегральную характеристику системы образования, отражающую степень соответствия реально достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям обучаемых. Несомненно, данное определение выполняет лишь ориентирующую функцию, поскольку компоненты интегральной характеристики меняются в соответствии с целями образовательного этапа, а их совокупность раскрывается в сочетании различных показателей и факторов, определяющих качество образования в зависимости от уровня его трактовки. В частности, варьируя требования и показатели, можно применять это определение как к системе профессионального, так и к системе среднего образования. Например, если в системе профессионального образования на первый план вынести требования рынка труда, выступающего в роли потребителя, то совокупность показателей обретет вполне конкретный вид множества профессиональных компетенций и будет раскрываться по-разному в зависимости от направлений и профилей подготовки профессионального образования.

В роли потребителей и заказчиков образовательных услуг могут выступать студенты и их родители, преподаватели, общество, рынок труда и т.д. В общем случае при оценивании качества образования в процессе аккредитации вузов приходится принимать во внимание целую совокупность составляющих, включающих качество преподавания, научно-педагогических кадров, образовательных программ; технологий обучения, контроля образовательного процесса, мотивирующих приемов педагогической деятельности, материально-технической базы, информационно-образовательной среды, результатов обучения студентов, управления образованием, научных исследований и т.д.

Можно лишь говорить о том, что понятие «качество образования» носит комплексный характер, объединяя характеристики всех компонентов обучения, условий и результатов образовательного процесса. Каждый из компонентов рассматривается по-разному в зависимости от того, кто выступает в роли оценщика достигнутого уровня качества. Например, в системе высшего образования администрацию вуза в первую очередь интересуют показатели качества, связанные с числом неуспевающих в учебном заведении, процентом отчислений, затратами на обучение, эффективностью реализации учебных программ и т.д. Преподаватель определяет качество с позиций результатов каждого студента и отдельных учебных групп, оценивая умения обучаемых применять знания при решении практических задач, нестандартно мыслить и ответственно относиться к учебному процессу. Студент воспринимает качество образования как подготовленность к преуспеванию, получению престижной работы на рынке труда после окончания вуза. С позиций последнего качество результата образования можно трактовать как степень осознания профессионализма, способность к успешному трудоустройству и карьере, реализацию запросов на высокую оплату труда.

Представления о качестве варьируются не только по группам участников образовательного процесса, но и изменяются с учетом временного фактора. Современные требования общества к развитию личности выпускника вуза претерпели значительные изменения даже по сравнению с недавним прошлым – 90-ми гг. прошлого века. Приоритеты при трактовке качества результатов образования сместились на характеристику способностей выпускника к адаптации в профессиональном сообществе, развитие его когнитивных и креативных способностей, формирование гражданской ответственности и правового самосознания, духовности и культуры. В наши дни при оценке качества учебных достижений выпускников системы профессионального образования на первый план выходит не объем усвоенных знаний или алгоритмы их воспроизведения по образцам, а ключевые компетенции, творческий подход к решению учебных и жизненных проблем, умения самостоятельно приобретать знания и применять их в ситуациях, близких к будущей профессиональной деятельности.

На фоне этих изменений возникло новое определение качества образования, в рамках которого оно трактуется как комплекс характеристик результатов образовательного процесса, определяющих последовательное, эффективное формирование компетентности, профессионального сознания, организационной культуры, способности к самообразованию. В целом совокупность таких характеристик на уровне целеполагания должна отражать способность специалиста осуществлять профессиональную деятельность в соответствии с требованиями современного этапа развития экономики, высокой эффективности в сочетании с социальной ответственностью за результаты профессиональной деятельности.

При целевой парадигме к трактовке качества результатов образования в процессе его оценивания на всех уровнях образовательного процесса необходимо ответить на вопросы: получили ли то, что ожидалось и можно ли говорить о наличии определенного уровня качества. Таким образом, в учебном процессе появляется возможность констатировать наличие качественных знаний в тех случаях, когда реализуемый уровень учебных достижений близок к планируемому, выступающему в роли критерия и заданному в виде требований государственных образовательных стандартов.

Оценивание качества учебных достижений существенно затрудняет подход к разработке государственных образовательных стандартов, принятый и реализуемый на протяжении многих лет их методологами и создателями. Несмотря на систематические поиски путей совершенствования структуры и формы представления требований стандартов, из года в год проявляет себя недооценка роли педагогических измерений. Доминирующая целевая парадигма делает стандарты неизмеряемыми, исключая тем самым возможность их эффективного использования для сбора эмпирической информации и реализации на основе обратной связи механизма управления качеством образования.

С конца 90-х гг. ХХ в. во многих зарубежных странах, имеющих высокоразвитую культуру в области педагогических измерений, сформировался динамический подход к трактовке качества результатов образования. Хотя идея введения временного фактора не согласуется с целевой парадигмой, заложенной в основе концептуального подхода к разработке образовательных стандартов, где качество нормируется путем задания требований к результатам образования и нуждается в сопоставлении достигнутых и планируемых результатов обучения, динамический подход прочно вошел в практику деятельности многих структур, занимающихся оценкой качества образования. В его пользу говорит многолетняя практика аттестации, требующая проведения оценочных процедур на основе операционализации требований стандартов и показывающая ограниченность возможностей целевой парадигмы для эффективного управления качеством образования. Согласно динамическому подходу, качество трактуется как позитивные изменения в процессах и результатах образования, обусловленные развитием науки и производства и отражающие тенденции в изменении целей образования, запросов обучающихся, общества и рынка труда. Выявление таких изменений позволяет оперативно вносить корректирующие воздействия в процесс обучения, способствующие эффективному решению задач управления качеством образования.

Для применения динамического подхода при оценке качества результатов образования необходимо накапливать данные о познавательной творческой активности, уровне сформированности компетенций, освоенных знаниях и умениях или о других учебных достижениях студентов на протяжении всего периода обучения и фиксировать эти данные для анализа прироста качества в виде дескриптивной (описательной) статистики и различных документов на количественном и качественном уровнях измерения. Таким образом, в динамическом подходе оценка качества результатов обучения строится на проведении многофакторного анализа изменений по ряду показателей качества образования, позволяющих выявлять тенденции изменения качества, прогнозировать их и принимать не только оперативные, но и стратегические управленческие решения.

В целом требования к качеству образования и само его понимание изменяются по мере развития общества, экономики и науки. Из-за несоответствия результатов образования современным запросам общества и потребностям рынка труда возник компетентностный подход к трактовке качества, отражающий стремления участников образовательного процесса к повышению его эффективности на фоне приоритета прагматизма без ущерба для фундаментальности результатов образования. Таким образом, в настоящее время наиболее плодотворным можно считать то понимание качества образования, в котором идут по пути соединения компетентностного и динамического подходов, позволяющих сформировать совокупность требований к качеству, адекватную современным тенденциям в изменении целей образования, запросов обучающихся, общества и рынка труда, применять аппарат педагогических измерений и получать надежные и валидные оценки тех позитивных изменений в процессах и результатах образования, которые можно соотнести с принятой инновационной трактовкой показателей качества образования.