Текст книги "Тестовый контроль в образовании"

Непротиворечивость – деятельность МКМ не должна наносить ущерб объектам наблюдения и образовательному процессу, его действия и выводы должны быть направлены исключительно на улучшение качества подготовленности обучающихся и качества образовательных систем.

Система приведенных принципов в целом достаточно полно отражает весь динамический процесс мониторинговых исследований. В отличие от мониторинга, основанного на традиционном оценивании со стихийнь г м воздействием на образовательную систему и субъектов образовательного процесса, многоуровневый квалиметрический мониторинг базируется на квалиметрической концепции и является формативным феноменом, способным воздействовать на систему образования системно и независимо, задавая совокупность определенных требований к органам управления образованием, образовательному учреждению, педагогу, обучающемуся и др. [68].

В зависимости от выбора объекта мониторинговых исследований следует различать ряд признаков, характерных для квали–метрического мониторинга:

• функциональность отражает присущее ему качество технологичности и психологической комфортности для испытуемых во время контроля, оптимальности нагрузок, содержательной информативности, оперативности анализа и представления информации и др.;

• надежность характеризует квалиметрический характер процедур получения информации, организованность, стандарти–зированность, точность и дифференцирующую способность педагогических измерений, согласованность исполнения планов, расписания, решений, указаний, действий и т.д.;

• эффективность проявляется в достижении планируемого результата при экономном расходовании времени, средств, труда и психологических нагрузок участников контрольно–оценочного процесса, обработки и получения результатов;

• современность касается стандартов, методов обучения и развития, средств и методов контроля и получения образовательной информации, статистического характера обработки и анализа результатов;

• оптимальность обеспечивает выбор необходимых корректировок учебных программ и их вариантов, прогнозируемые результаты подготовленности обучающихся при соблюдении норм учебной деятельности (работоспособность, утомляемость и др.); предполагает обоснованность используемых методов, технологий и принципов обучения и контроля, системность применения контроля;

• реализуемость устанавливает меру возможностей и полноты воплощения идей, подходов и планов в оценке образовательной деятельности.

Общеметодологическая база многоуровневого квалиметриче–ского мониторинга как количественного метода наблюдения за изменениями качества исследуемых объектов открывает новые возможности качественно–количественного отображения педагогических явлений с возможностями сопоставления данных по отдельным стратам системы наблюдения и путем их сравнения с данными генеральной совокупности объектов исследования. Основой функционирования квалиметрического мониторинга являются данные современных контрольно–оценочных процедур, получивших развитие в общем образовании (единый государственный экзамен, централизованное тестирование и др.) и позволяющих охватить основное содержание контролируемого материала одновременно в одинаковых условиях для всех испытуемых одинаковым шкалированием и оцениванием. Тестирование как средство педагогических измерений является наиболее точным методом диагностики и дифференциации уровня подготовленности обучающихся и состояния образовательных систем. Оно позволяет на единой информационной основе оценить состояние большого числа объектов, увидеть тенденции, оценить достоинства, вскрыть причины неудач и просчетов, наметить перспективы развития.

Функциями квалиметрического мониторинга являются наблюдение, выявление, анализ и оценка качества состояния образования на основе сопоставимых результатов педагогических измерений уровня учебных достижений обучающихся. К функциям квали–метрического мониторинга качества учебных достижений (в том числе и по результатам ЕГЭ) можно также отнести следующие:

• получение оперативной и долговременной, всесторонней и валидной информации о состоянии российской образовательной системы и отдельных ее подсистем по результатам независимого контроля;

• обеспечение циркуляции потоков валидной образовательной информации между банком образовательной статистики и образовательной системой (подсистемами), субъектами образовательного процесса (учащимися, учителями) или другими пользователями (родителями, вузами и ссузами, управлениями образования и др.) для создания надежной и оперативной обратной связи;

• выявление результативности образовательного процесса на различных его стадиях, начиная с ранних, и качества учебных программ путем сравнения с нормами и требованиями стандартов;

• обеспечение валидной диагностики особенностей учебного процесса, выявление достижений и пробелов в образовании конкретных учащихся, дифференциация и индивидуализация их обучения и развития;

• прогнозирование и управление развитием образовательных систем на основе анализа комплексной образовательной информации;

• определение рейтинга обучающегося, образовательного учреждения, территории или региона на основе сопоставимости результатов массового тестирования;

• создание условий для мониторинга развития самого образовательного процесса;

• формирование информационных систем самоподготовки, самоконтроля, самоаттестации и самоидентификации обучающихся и самоаттестации образовательных систем;

• выявление потребности в повышении профессиональной переподготовки педагогических кадров.

Последовательность действий в обеспечении этих функций может быть следующей.

1. Установление образовательных стандартов: определение требований стандартов; операционализация стандартов в индикаторах (измеряемых величинах); установление комплекса показателей и критериев (норм как меры качества образования), по которым можно судить о степени достижения стандартов.

2. Создание и совершенствование стандартизированных контрольно–измерительных материалов, контрольно–оценочных процедур, техники и технологии обработки материалов тестирования и автоматизированной проверки результатов, алгоритмизация форм их предъявления.

3. Совершенствование методик шкалирования и оценивания результатов педагогических измерений.

4. Сбор и накопление метрических характеристик качества учебных достижений обучающихся с использованием информационных технологий и программно–инструментальных средств.

5. Систематизация информации и анализ результатов мониторинговых исследований, оценивание достигнутых результатов относительно требований стандартов и норм.

6. Представление образовательной индивидуальной и статистической информации по результатам тестового контроля в формате, обеспечивающем ее доступность большому числу пользователей, многоуровневый и многофакторный педагогический анализ.

7. Интерпретация результатов, моделирование состояния образовательной системы, прогнозирование направлений ее развития, выработка рекомендаций по совершенствованию образовательного процесса.

8. Принятие обоснованных управленческих решений и мер, направленных на получение положительных изменений в образовательной деятельности учебных учреждений в целях повышения ее результативности.

Существует ряд требований, связанных с экспертизой качества учебных достижений, определяемых на основе квалиметри–ческих мониторинговых обследований по результатам массового стандартизированного тестирования:

• стандартизация содержания образования, образовательного процесса и контрольно–измерительных материалов, установление образовательных стандартов и операционализация средств и методов контроля, определение требований стандартов в индикаторах (измеряемых величинах) и установление критериев, по которым можно судить о приближении подготовленности испытуемых к уровням учебных достижений, задаваемым образовательными стандартами, разработка стандартизированных контрольных измерительных материалов, техники и технологии тестирования и проверки результатов;

• выбор методов шкалирования и оценивания уровней учебных достижений обучающихся, получение критериев оценки учебных достижений, деятельности учителя и образовательного учреждения на основе сравнения со статистическими нормами;

• обеспечение объективности и сопоставимости оценок на различных уровнях (национальном, региональном, локальном, в том числе на уровне общеобразовательного учреждения, индивидуальном) путем стандартизации процедур выявления и измерения уровня учебных достижений каждого обучающегося;

• дистанцирование учителя от контрольно–оценочного процесса, демократизация образовательного процесса и вариативность выбора форм и уровней трудности аттестации субъектами тестирования;

• алгоритмизация и автоматизация системы тестового контроля и мониторинга в образовании;

• сбор метрических данных о качестве учебных достижений по различным выборкам испытуемых с использованием информационных технологий и программно–инструментальных средств;

• систематизация и анализ результатов, проведение мониторинговых исследований, оценивание достигнутых результатов относительно требований стандартов;

• интерпретация результатов анализа и выработка рекомендаций по совершенствованию образовательного процесса для получения положительных изменений в деятельности образовательных учреждений и повышения качества образования.

В силу значительной сложности организации такого полномасштабного мониторинга его создание возможно только путем поэтапного развертывания и последовательного включения всех регионов в федеральную систему тестирования, распространения мониторинговых процедур и исследований на все уровни системы образования и системы управления его качеством. Реализация многочисленных задач и функций многоуровневого ква–лиметрического мониторинга может обеспечиваться различными дополнительными методами и каналами получения информации: анкетирование, контент–анализ документов, тестирование, экспертное оценивание, анализ, статистика, моделирование, прогнозирование, заключение и выработка решений, действия по совершенствованию системы образования и др.

Логика его развития показывает, что в будущем он затронет не только сферу общего образования, но и все его уровни, обеспечивая независимый аттестационный процесс для всех субъектов образования. Активно развивающиеся технологии массового тестирования школьников и выпускников общеобразовательных учреждений находят применение и в профессиональном образовании, особенно в системах открытого образования. В перспективе тестовый контроль как базовый для квалиметрического мониторинга станет основой для получения валидной и надежной информации о качестве всей системы образования в стране. Важными являются независимость контрольно–оценочных процедур от образовательного учреждения, квалиметрический подход к получению информации и сопоставимость результатов как по вертикальным срезам наблюдения (обучающийся, образовательное учреждение, территория, регион, Россия), так и по горизонтальным – между объектами одного ряда.

Понятно, что построение многоуровневой и многоаспектной системы квалиметрического мониторинга – процесс сложный и длительный. Такая мониторинговая система должна быть независимой, постоянно действующей организационной структурой, обеспечивающей объективное, всестороннее, стандартизированное обследование системы образования и ее составляющих. Сегодня для ее организации только появляются необходимые условия. К ним относятся создание федеральной системы независимого массового тестирования (централизованное тестирование, единый государственный экзамен, другие формы независимой аттестации средствами тестирования); формирование федерального банка стандартизированных педагогических измерителей, банка образовательной статистики результатов тестового контроля; использование информационных технологий накопления, представления и передачи результатов в форме, удобной для различных категорий пользователей.

Таким образом, в условиях стандартизации содержания образования и интенсивного развития федеральной системы тестирования, происходит развитие и введение целостной и комплексной общероссийской системы многоуровневого квалиметрического мониторинга как средства управления качеством образования, основанного на современных и универсальных методах наблюдения за всей системой образования.

4.3. Система уровней и виды квалиметрического мониторинга

Поскольку сам образовательный процесс является многомерным и многофакторным, то и мониторинг должен быть сложной системой, во всей полноте отображающей особенности обучения и структуру образовательной системы. Такой мониторинг должен обладать системным свойством, а поэтому для его организации требуется системный подход, основанный на упорядочении множества элементов, взаимосвязанных между собой; система образовательного квалиметрического мониторинга должна включать в себя ряд подсистем, существование которых обусловлено в первую очередь наличием различных уровней обобщения данных для разных объектов наблюдения.

Система многоуровневого квалиметрического мониторинга рассматривается в этом аспекте как совокупность организационной структуры, методик, технологических процессов и ресурсов, необходимых для его осуществления и являющихся инструментом для накопления рандомизированных данных. Предполагается, что квалиметрический подход, базирующийся на концептуальных положениях теории измерений IRT и математической статистики, может обеспечить строгость, четкость и упорядоченность данных об уровне подготовленности учащихся и качестве образовательных систем, а также осуществлять прогнозирование их развития.

Система мониторинга – это совокупность его элементов, взаимосвязанных между собой, обеспечивающих осуществление всех мониторинговых процедур для достижения поставленных задач и целей. Как и всякая сложная система, квалиметрический многоуровневый мониторинг состоит из нескольких подсистем и их элементов для получения количественных показателей качества исследуемых объектов. К таким элементам можно отнести: предмет, объекты и субъекты мониторинга, комплекс мониторинговых показателей, инструментарий мониторинговых обследований, системы накопления информации, процедуры анализа и переработки информации, методы педагогической интерпретации и форматы предъявления результатов, программно–инструментальные средства их анализа и интерпретации, осуществление прогнозов дальнейшего развития объекта. Следовательно, она должна обладать обратными связями, посредством которых обеспечивается управление ее подсистемами, обусловливая как стабильность, так и развитие. Вместе с тем система такого мониторинга не является замкнутой, так как другие, связанные с ней системы (система образования, система тестирования, система воспитания, система управления, общественные системы и др.) способны оказывать на нее воздействие, а она, в свою очередь, влиять на них.

Предметом мониторинговых исследований выступают состояния подготовленности обучающихся, образовательного процесса, образовательных систем, их изменения и направления развития.

Объектами мониторинговых наблюдений могут выступать отдельные обучающиеся, группа (группы) учащихся, педагоги, образовательные учреждения, педагогические системы, территориальные, региональные или федеральные образовательные системы, образовательный процесс.

Субъектами являются проводящие обследование организаторы, независимые аттестационные службы, комиссии, центры тестирования и т.д.

Инструментарием таких исследований могут быть анкеты, тесты, опросные листы, статистические отчеты, различного рода формы, таблицы, графики и др. Инструментами мониторинговой деятельности являются технические, электронно–вычислительные и информационные средства, программно–инструментальные продукты, средства коммуникации и т.д.

Мониторинговая деятельность может рассматриваться как совокупность процедур, используемых для наблюдения за объектом и предметом мониторинга, сбор информации, ее накопление и обработка: квалиметрические процедуры (контрольно–оценочные, таксонометрические, социологические и др.), экспертное оценивание, анализ статистических данных, контент–анализ документов, заключения комиссий, решения и действия официальных структур управления образованием.

Мониторинговые показатели могут подразделяться на первичные результаты обследований – непреобразованные, и вторичные, – обработанные определенным образом. По сравнению с традиционным контролем при тестовом контроле расширяется спектр показателей, комплекс которых способен обеспечить целостное, качественное и количественное представление о состоянии объекта исследований и динамике его изменений. К числу таких показателей в условиях массового тестирования относятся первичный тестовый балл испытуемого (число или процент выполненных заданий теста); сертификационный тестовый балл, полученный в результате шкалирования с учетом статистического уровня трудности тестовых заданий; статистические нормы, средний тестовый балл исследуемой выборки; средний тестовый балл генеральной выборки испытуемых; дихотомические таблицы и проценты правильно выполненных заданий теста для разных категорий и групп испытуемых; индивидуальный рейтинг участника тестирования; рейтинг образовательного учреждения; территории, региона и др.

Критерии оценивания состояния объекта исследования зависят от задач и целей мониторинга. К таковым можно отнести соответствие тестового балла норме или заданному уровню; достижение требований образовательных стандартов; соответствие запросам и ожиданиям потребителей. Суждения, выводы, доводы и оценки, сделанные в результате анализа результатов тестового контроля, должны способствовать совершенствованию объекта.

Суть такого системно–методологического подхода в этом случае заключается в формировании совокупности методов и процедур мониторингового исследования, вооружении его действенными методами сбора, синтеза, анализа и предъявления результатов независимого контроля учебных достижений субъектов образовательного процесса. Система квалиметрического мониторинга качества учебных достижений является многоуровневой, многофакторной, целенаправленной, динамической, саморазвивающейся, способной сохранять свою сущность, несмотря на изменения, происходящие в ней, а ее особенности связаны с междисциплинарным характером обучения, который обусловливает ее проектирование и функционирование, требует системности (полисистемности) методологических оснований контрольно–оценочной деятельности.

В соответствии с решением задач наблюдения виды квали–метрического мониторинга могут быть классифицированы как:

• информационный – направлен на сбор, накопление, систематизацию и распространение образовательной информации. Кроме того, информационные технологии в последнее время обеспечивают не только повышение эффективности при достижении педагогических целей, но и позволяют расширить круг пользователей образовательной информацией, обеспечивают оперативность и многоаспектность педагогического анализа [58, 68, 132];

• базовый (фоновый) – направлен на выявление соответствия уровня подготовленности обучающихся требованиям образовательных стандартов и качества образовательных систем для обеспечения условий обучения и развития личности;

• проблемный – предполагает выявление новых проблем в той или иной образовательной системе, по тем или иным направлениям деятельности системы образования; ориентирует на выявление закономерностей и процессов, важных в управлении качеством образования;

• управленческий – ставит целью наблюдение за характером взаимодействия на различных управленческих уровнях, обеспечивает оценку эффективности последствий и вторичных эффектов решений, принимаемых в области управления;

• дидактический – обеспечивает наблюдение за различными сторонами учебного процесса, в том числе и за усвоением материала учебных дисциплин, соответствием полученных знаний требуемому уровню или образовательному стандарту;

• социально–психологический – предоставляет информацию о психологическом состоянии личности, взаимоотношениях обучающихся в классах и группах, взаимодействии обучающихся и обучающих, общем характере психологической среды в образовательном учреждении.

Для эффективного управления качеством образования с целью получения положительных изменений необходимо постоянное научно обоснованное воздействие на всех его субъектов с позиций современных требований и возможностей анализа количественно измеренной комплексной информации об уровне учебных достижений обучающихся. Вместе с тем такое наблюдение должно быть организовано на различных уровнях и стадиях обучения.

Для этого должен быть создан комплексного квалиметрический мониторинг качества образовательного процесса и образовательных систем в масштабах страны, региона и далее по уровням управления образованием. Именно сравнения (парные и множественные, по вертикали и горизонтали) степени усвоения содержания учебных дисциплин (например, процентов правильных ответов по структуре теста) дают возможность видеть проблемы обучения и определять направления совершенствования образовательных программ, методик и технологий.

Как средство реализации новых моделей и методов управления качеством информационные технологии в последнее время активно входят в сферу образования, и обеспечение системного и комплексного подхода к организации и функционированию многоуровневого квалиметрического мониторинга возможно в результате технологизации процедур контроля и оценки, упорядочения информационного взаимодействия всех подсистем российского образования.

При решении таких масштабных задач по совершенствованию федеральной системы управления качеством образования важнейшей составляющей является обеспечение объективности, полноты и оперативности получения данных для мониторинга качества региональных систем образования, состыкованных и тесно взаимодействующих с соответствующими федеральными структурами. Многоуровневый характер такого мониторинга как раз и обусловлен возможностью сравнения показателей тестового контроля и выравнивания основных требований в педагогической, образовательной и профессиональной культуре разных типов образовательных учреждений, по различным территориям и массивам испытуемых.

При этом информационной основой организации мониторинга качества образовательных систем всех уровней становится федеральный банк независимой образовательной статистики, периодически пополняемый результатами массового тестирования обучающихся и выщскников. Базой такого банка являются данные образовательной статистики, получаемые по результатам тестового контроля как одного из видов стандартизированных педагогических измерений.

Тестирование, как уже было отмечено выше, в настоящее время относится к высоким технологиям контроля качества учебных достижений обучающихся, позволяющим осуществлять научно–инновационный подход к организации квалиметриче–ского мониторинга качества образования по определенным показателям. Поэтому многоуровневый мониторинг можно создавать на основе использования различных тестовых систем: критериально–ориентированных, нормативно–ориентированных и содержательно–ориентированных (международные обследования, единый государственный экзамен, централизованное тестирование и др.).

На региональном и других (территориальных) уровнях управления качеством образования создаются аналогичные информационные банки образовательной статистики, дополняемые результатами обследований, выполняемых по целям и задачам соответствующего уровня, таких, как аттестация образовательных учреждений, результаты фронтального тестирования учащихся в отдельных территориях и др. Особенности системы педагогического тестирования – открытость, массовость, адаптивность, развиваемость, корректируемость – позволяют получать наиболее полную и достоверную информацию о результатах деятельности не только учащихся, но и той или иной образовательной системы: отдельных образовательных учреждений, муниципальной, региональной или федеральной.

Получение метрических данных об учебных достижениях на больших массивах позволяет проводить многоуровневый и многофакторный анализ результатов: дидактический – по различным показателям качества образования; личностно ориентированный – выявление личностных качеств испытуемых (мотивация, профессиональная ориентация, самооценка, творческое отношение к учению и др.); содержательный – о качестве образования на основе анализа усвоения и структурированности содержания различных учебных дисциплин, отдельных разделов, тем, элементов знаний и др.

Отсюда возникают различные виды квалиметрического мониторинга, базирующегося на анализе одних и тех же результатов массового тестирования и обусловливающего разные статистические показатели по уровням наблюдения в зависимости от степени обобщения данных образовательной статистики.

В качестве объектов анализа могут быть выбраны любые массивы участников единого государственного экзамена: учащиеся, классы, школы, районы, города, регионы и все выпускники регионов—участников ЕГЭ. Для каждой такой выборки используется соответствующий уровень обобщения статистических данных. При систематическом наблюдении учет особенностей образовательного процесса и его динамического характера, своевременное и целенаправленное воздействие на него становятся особенно эффективными, так как система такого мониторинга ориентирована на обеспечение большого числа пользователей (учащихся, учителей, родителей, работников управления образованием и др.) постоянным потоком сопоставимой образовательной информации. На единой информационной образовательной базе могут быть сформированы все другие иерархические уровни квалиметриче–ского мониторинга – от мониторинга качества учебных достижений отдельного ученика и вплоть до генеральной выборки (как статистической нормы, имеющей место в образовательной системе на данный момент): индивидуальный, классный, школьный, территориальный (муниципальный), региональный, федеральный. Каждый уровень такого мониторинга обеспечивает ряд своих специфических функций.

Индивидуальный – накопление и анализ результатов различных видов тестового контроля по каждому обучающемуся в течение всего периода обучения, обеспечение индивидуализации образования, выявление способностей и предрасположенности каждого обучающегося к определенному спектру учебных дисциплин, накопление независимой оценочной информации для формирования портфолио.

На уровне образовательных единиц (класс или отдельные группы учеников) – может предоставить информацию, необходимую педагогам для совершенствования квалиметрических навыков оценивания знаний школьников, выработки объективных критериев оценивания как учебных достижений школьников, так и собственной образовательной и практической деятельности (корректировка программ, выбор технологий обучения и др.).

Школьный – по различным предметам и классам необходим администрации школ для анализа работы учителей, корректировки рабочих программ, совершенствования технологий обучения, организации работы методических советов, определения направлений повышения квалификации работников и др.

Территориальный (муниципальн^гй) – по видам образовательных учреждений (лицеи, гимназии, колледжи, профильные школы и др.) для администрации и органов управления образованием (распределение оборудования, кадровых и материальных ресурсов), аттестации образовательных учреждений.

Региональный – для анализа состояния качества образования по территориям и видам образовательных учреждений (школы, гимназии, лицеи, ПТУ и др.) как средство управления качеством регионального образования.

Федеральный, позволяющий центральным органам управления образованием получать и анализировать комплексную образовательную информацию в целом по стране, по разным территориям и иерархическим уровням управления, по организации образовательного процесса, по всем предметным областям.

Каждый более высокий уровень последовательно вбирает в себя результаты нижних (рис. 15). Идет циркуляция информации по направлениям, как восходящим, так и нисходящим. Основное свойство такой системы заключается в том, что как по вертикали, так и по горизонтали ведется наблюдение результатов одного и того же свойства измерения, проведенного в одно и то же время одинаковыми контрольными измерительными материалами и процедурами. Это позволяет зафиксировать адекватные состояния всей образовательной системы и ее подсистем на момент измерения, провести сравнения между однотипными структурами, выработать статистические нормы для определения показателей и критериев оценок для всех испытуемых и объектов наблюдения.

Важной в такой системе мониторинга является возможность соотносить результаты тестового контроля со средними показателями объектов более высоких уровней обобщения данных и мониторинга, определять рейтинг всех объектов наблюдения в однотипном ряду. Такая система мониторинга позволяет всем субъектам получать объективные данные контроля, быть более восприимчивыми к инновациям в образовании и в управлении им, видеть общие тенденции развития.

В такой схеме классификация видов мониторинга может непрерывно уточняться, пересматриваться и систематизироваться. Существующие и получившие распространение виды мониторинга как раз и обусловлены различным выбором образовательных целей, задач и средств их решения. Именно статистические методы дают возможность от оценок учащихся перейти к оценкам качества образовательного процесса и самой образовательной системы или подсистемы. При таком комплексном и систематическом наблюдении понимание особенностей образовательного процесса, его динамического характера, своевременное и целенаправленное воздействие на него становятся особенно эффективными. Использование тестового контроля позволяет выявлять количественно–качественные изменения во всей системе общего образования.

Рис. 15. Схема взаимосвязи различных уровней квалиметрического мониторинга

На современном уровне развития теоретических и технологических возможностей квалиметрического мониторинга для каждого уровня управления образованием возможно выделение различных видов мониторинга со специальными функциями.

• Динамический, при котором требуется использование специальных технологий, методов измерения и интерпретации оценок по каждому показателю, специальных измерителей – тестов, контрольно–оценочных процедур (ЕГЭ, централизованного или локального тестирования) и совокупности показателей качества, рассматриваемых как результат учебного процесса. Использование динамического подхода очень привлекательно для выявления действительных тенденций изменения качества образования и направлений его развития как в целом по стране, так и по отдельным составляющим системы образования и системам управления, поскольку накапливаемая в течение длительного времени информация об изменениях подготовленности обучаемых может способствовать получению отчетливой картины учебного процесса, предоставляет возможность исследовать, анализировать и выявлять как негативные, так и позитивные тенденции изменения качества образования по отдельным составляющим системы общего образования, различным учебным дисциплинам, педагогам, отдельным учащимся и группам.