Текст книги "Тестовый контроль в образовании"

Глава 4
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ КВАЛИМЕТРИЧЕСКОГО МОНИТОРИНГА КАЧЕСТВА ОБУЧЕНИЯ

Предмет математики настолько серьезен,

что полезно не упускать случая сделать его

немного занимательным.

Блез Паскаль

4.1. Виды мониторинга в образовании

Необходимость адаптации образования к потребностям современного общества обусловливает поиск научно обоснованных оценок качества образования и наблюдения за процессами его развития. Важнейшим условием повышения качества общего образования являются систематический контроль и анализ объективных данных о качестве обучения и подготовленности обучающихся. Процесс управления качеством образования может быть эффективным только при наличии постоянной обратной связи, обеспечивающей субъектов образования надежной валидной информацией о качестве всей системы образования и ее составляющих. Однако такая связь в практике образования пока еще организована слабо. Только в последнее время исследуются отдельные компоненты: мониторинга: диагностика, моделирование, прогнозирование, компьютерная поддержка.

Анализ литературы по данной проблеме позволил сделать вывод, что само понятие мониторинга трансформировалось от более общего – «проверка и учет знаний учащихся», количественного – «оценка знаний и умений», к более жесткому – «контроль и учет знаний и умений», далее к неопределенному – «отслеживание учебных достижений учащихся» – и более диагностичному – «измерение уровня достижения учащимися образовательного стандарта» – и, наконец, к современным понятиям – «диагностика качества образования», «образовательный мониторинг», «экспертиза качества образования», «квалиметрический мониторинг». Анализ частоты использования тех или иных понятий позволяет выделить наиболее употребимые из них при характеристике мониторинга: система, наблюдение, анализ, прогнозирование, диагностика состояния объекта или процесса, экспертиза.

Диагностика (от греч. diagnostikos – способность распознавать) – средство выявления результатов обучения и практика оценивания качества учебно–воспитательной деятельности, состояния педагогических процессов и явлений, а также дифференцированная процедура получения информации о ряде показателей, критериев, признаков, качеств, отнесение их к определенному классу, в результате чего получается достаточно полное представление о реальном состоянии отдельных параметров качества образования. Как отмечает И.П. Подласый, «диагностика должна быть индикатором качества – категорическим определителем успеваемости обучаемого или, наоборот, должна существовать как показатель преимуществ или недостатков той или иной системы» [143]. В последние годы диагностика качества образования стала превращаться в относительно самостоятельную, быстро развивающуюся отрасль педагогической науки и образовательной практики. Диагностика, оценка состояния и возможностей системы позволяют определяться в выборе стратегии управления качеством образования. Основную задачу диагностики как научного направления Б.П. Битинас и Л.И. Катаева видят в определении оптимальной совокупности непосредственно фиксируемых показателей состояния педагогических явлений и процессов, где каждый отдельно взятый показатель только с некоторой вероятностью свидетельствует об этом состоянии [20]. С этих позиций в современной педагогической литературе чаще используется понятие «диагностика качества образования» – «диагностирование», которое рассматривается как «деятельность по установлению и изучению признаков, характеризующих состояние каких–либо систем, для предсказания возможных отклонений и предотвращения нарушений нормального режима их работы» [125].

Объектом мониторинга и диагностических исследований, как правило, является педагогическая система. Основными элементами педагогической системы являются обучающийся, цели образования, содержание образования, дидактические процессы, организационные формы, педагоги, опосредующие их деятельность технические средства и др. [18, 19]. Для анализа состояния педагогической системы необходима научно обоснованная экспертная оценка результатов диагностических наблюдений.

Экспертные методы на основе мониторинговьгх исследований широко используются в различных сферах человеческой деятельности: в планировании, в управлении, в технике, в научных исследованиях, в педагогике. Спектр использования этих методов увеличивается при оценке качества обучения, организации проф–ориентационной работы, отборе задач и заданий. Общие вопросы использования экспертных методов в педагогических исследованиях отражены в работах В.П. Беспалько, Н.В. Галицыгной,

Б.С. Гершунского, Н.Н. Катаева, Э.Г. Скибицкого, М.Е. Тарасовой, В.С. Черепанова и др.

До недавнего времени экспертиза осуществлялась исключительно с помощью экспертов – специалистов, компетентных в решении исследуемой задачи. Экспертиза (от лат expertus – опытный) представляет собой исследование какого–либо вопроса, требующего специальных знаний, с предоставлением мотивированного заключения. Экспертная оценка позволяет получать необходимую информацию об исследуемом объекте и его развитии от компетентных лиц или экспертов. При этом качества эксперта определяются такими понятиями, как компетентность (профессиональная и квалиметрическая), заинтересованность, креативность как способность эксперта решать творческие задачи, деловитость, аналитичность, конструктивность, широта мышления [13, 204]. Кроме того, для экспертизы очень важной составляющей является также правильная интерпретация результатов. Сочетание таких свойств указывает на требование высокой квалификации эксперта, что далеко не всегда реализуется в образовательной практике, а поэтому часто экспертные заключения приводят к неверным оценкам.

Практическая реализация диагностических наблюдений и экспертных оценок осуществляется через систему мониторинга. С.Е. Шишов и В.А. Кальней мониторинг качества образования рассматривают как систематическую и регулярную процедуру сбора данных по важным образовательным аспектам на национальном и местном (включая школы) уровнях, используемую для эффективного управления учебно–воспитательным процессом [211]. Согласно А.Н. Майорову, это «постоянное наблюдение за каким–либо процессом с целью выявления его соответствия желаемому результату или исходному положению» [117]. Образно говоря, мониторинг представляет собой ««градусник», позволяющий измерять температуру объекта» [147].

Для получения положительных изменений в образовании должно быть создано удобное для практического использования диагностическое средство, позволяющее с достаточной достоверностью судить об истинном состоянии объекта. Создание надежных инструментов диагностики качества образования возможно на основе таких технологий оценки, как педагогическая квалиметрия и мониторинг. Мониторинговые методы активно используются как современный подход к анализу качества образования и его комплексных характеристик, способности субъекта или образовательной системы развиваться и совершенствоваться.

Еще не создана устойчивая система классификации различных видов и уровней мониторинга, пока только можно говорить о существовании его локальных систем как в нашей стране, так и в других странах [48, 49, 78, 84, 113, 211, 228, 238]. В большинстве случаев мониторинг качества образования разделяется на два вида: мониторинг качества образовательной деятельности и мониторинг качества учебных достижений обучающихся.

Постоянный мониторинг качества образовательного процесса и его результатов становится особенно актуальным в условиях модернизации всей образовательной системы, развития федеральной системы тестирования и введения единого государственного экзамена. Создание информационных баз данных о состоянии всех элементов системы позволяет проводить различные виды анализа (корреляционный, дисперсионный, факторный, сравнительный, динамический, дидактический и др.) и делать выводы об эффективности функционирования всей образовательной системы, составляющих ее подсистем, выбирать направления и способы управления ими [58, 63].

Образовательный мониторинг рассматривается как метод повышения эффективности управления, исследования реальных параметров и характеристик объектов и субъектов обучения, воспитания и развития, как способ накопления результатов, позволяющий сопоставлять их, анализировать и строить прогноз развития отдельного субъекта образовательного процесса и педагогической системы. Под мониторингом понимается комплекс исследовательских процедур, позволяющих независимыми методами по большому спектру показателей выявлять количественно характер качественных изменений изучаемого объекта за определенный период времени. Выделяются его направления: социологический, педагогический, психологический, валеологический, воспитательный и управленческий.

Педагогический мониторинг включает в себя дидактический и воспитательный. Основные задачи педагогического мониторинга – оценка знаний, умений и навыков (в более широком смысле – учебных достижений) и соотнесение их уровня с заданным эталоном (стандартом) или статистическими нормами. Разносторонняя информация, обеспечиваемая педагогическим мониторингом, способствует повышению уровня взаимодействия между различными субъектами образовательного процесса, создает условия самооценки и самоидентификации, самовоспитания и саморазвития для этих субъектов. В таком случае можно говорить также о комплексном мониторинге, обеспечивающем выявление основных характеристик системы и ее подсистем. В этой связи возникает необходимость педагогическую диагностику рассматривать не только как средство и практику выявления состояния образовательной системы и качества образовательной деятельности, причин ее успехов и неудач, но и как направление исследований, нацеленных на разработку современных средств и методов оценки качества образования.

В деятельности образовательного учреждения результаты педагогического мониторинга являются основой для управленческого мониторинга, так как только на основе педагогически значимой информации возможно целенаправленное управление деятельностью субъектов образовательного процесса и качеством образовательных систем. Можно добавить такие реже встречающиеся понятия, как мониторинг качества учебной подготовки учащихся, мониторинг качества образовательных услуг, мониторинг обучения (наблюдение за состоянием педагогического процесса), мониторинг качества образования и др.

Основными функциями мониторинга в образовании являются интегративная (комплексная), диагностическая, сравнительная (компаративистская), экспертная, информационная, прагматическая, прогностическая. Сами названия достаточно определенно указывают на смысл и значение этих функций. Хорошо организованный мониторинг «вписывается в алгоритм маркетинговых услуг в образовании, обеспечивая информационную стабильность и предотвращая дефицит информации, необходимой для принятия управленческих решений» [147].

С процедурами мониторинга и диагностики тесно связано понятие контроля. Возможность реализации различных видов мониторинга зависит от степени развитости соответствующих систем контроля. Контроль чаще всего ассоциируется с процедурами измерения и оценки результатов учебно–познавательной деятельности обучающихся, а системообразующим звеном всех видов мониторинга является педагогический мониторинг. Поэтому будем иметь в виду, что в комплексный мониторинг качества российского образования могут быть включены обучаемые, обучающие, образовательные учреждения, образовательные системы, а предметом его оценки в первую очередь являются учебные достижения обучающихся как определяемая в результате контроля мера соответствия достигнутого уровня норме – требованиям государственных образовательных стандартов, статистической норме, а также запросам потребителей. Проверка, контроль, измерение уровня достигнутого качества учебных достижений предполагают в основном получение количественной информации, в том числе и о результатах деятельности образовательной системы на основе длительного наблюдения и анализа статистических результатов. На основании такой информации проводятся качественный анализ, формулирование выводов, поиск и принятие управленческих решений по совершенствованию образовательного процесса и условий его осуществления.

Недостатками традиционной системы контроля для организации мониторинга являются стихийность, нерациональное использование способов контроля, отсутствие дидактической направленности, игнорирование характерных особенностей материала предмета и условий работы, отсутствие систематичности, единых средств и критериев оценивания, субъективность, недостаточная разработанность приемов контроля [169]. Чаще всего диагноз уровня знаний и умений обучающегося, достижения им образовательного стандарта в традиционной системе строится на качестве его ответа отдельному преподавателю или комиссии по отдельным 3—5 вопросам. Состояние педагогических процессов выявляется не только по отдельным показателям, но еще и по несопоставимым данным для разных объектов одного и того же ряда. Как правило, анализируются данные разного свойства, полученные на основе субъективных оценок в разное время наблюдения, не соответствующее адекватности состояния исследуемых объектов. Выводы, сделанные на основе таких оценок, не отображают истинное состояние исследуемых объектов, а поэтому не способствуют выявлению их качества. Такой способ не дает полного представления о состоянии объекта, не позволяет сравнивать между собой показатели исследуемых объектов однотипных рядов.

До настоящего времени традиционые подходы к оценке результативности педагогической деятельности все еще остаются тормозом в развитии системы образования. Они противоречат общим тенденциям реформирования и развития образовательного процесса. Сами формы и методы педагогической диагностики пока еще не стали предметом систематического анализа и специально организованных исследований; недостаточно развита методологическая и методическая базы, отсутствуют стандартные программы для диагностики качества образования на основе регулярного сбора и статистической обработки результатов.

Данные теоретических исследований и практики свидетельствуют, что «экспертные суждения, при соблюдении правильной методологии их получения, содержат в себе достаточно достоверную информацию, использование которой позволяет принимать вполне обоснованные решения» [204]. Здесь следует помнить о специфичности педагогических объектов и явлений. Особенность этих подходов в образовании обусловлена также и тем, что под образованием понимаются и процесс, и результат обучения [5]. Смешение этих понятий приводит к тому, что иногда комплекс образовательных услуг приравнивается к уровню подготовленности обучающихся и способам оценки этого уровня. Поэтому предлагается проводить разграничение понятий «обеспечение качества» и «гарантия качества». В современном понимании качество образовательных услуг, а не знания и умения обучающихся является продукцией образовательных учреждений (а соответственно, и педагогов). Однако именно по качеству подготовленности обучающихся или уровню их учебных достижений как измеряемому параметру чаще всего делаются выводы о качестве образовательных учреждений и качестве предоставляемых ими услуг.

Вместе с тем в полной мере оценки обучающихся еще не являются оценками качества образовательных услуг, тем более когда речь идет о единичных оценочных процедурах. Иногда руководители образовательных учреждений или органов управления образованием делают выводы о квалификации педагога или образовательного учреждения на основании только одноразовых контрольно–оценочных процедур (централизованное тестирование, единый государственный экзамен, олимпиады и др.). Это является неверным по сути, так как может дать искаженную информацию о качестве образовательной системы; такой подход отпугивает педагогов от нововведений и снижает их заинтересованность в получении независимой оценки знаний своих учеников.

Пути объективизации контроля связаны с совершенствованием и стандартизацией способов измерения учебных достижений обучающихся, с широким использованием информационных технологий для накопления и анализа результатов контроля [68, 146, 220].

В силу складывающихся в стране изменений контрольно–оценочной системы появляются условия для получения и накопления статистической образовательной информации (образовательной статистики), основанной на универсальных педагогических измерениях уровня учебных достижений. Качество образовательных систем и образовательного процесса с достаточной достоверностью можно выявить только путем длительного квалиметрического мониторинга, накопления и анализа статистических результатов о качестве знаний, умений и навыков обучающихся. Это значит, что путем педагогических измерений, средствами и технологиями массового независимого тестирования, проводимого в стандартизированных условиях и стандартизированными контрольно–измерительными материалами, только с течением времени можно с достаточно большой степенью точности по статистическим характеристикам определять качественные параметры образовательной системы и ее составляющих по количественным оценкам. Это обусловливает необходимость формирования концепции нового вида мониторинга – квалиметрического многоуровневого – и предопределяет направления его развития.

4.2. Многоуровневый квалиметрический мониторинг

Основной целью квалиметрического мониторинга в образовании являются создание условий для формирования целостного представления о состоянии образовательной системы, качественных и количественных изменениях ее составляющих, получение научно обоснованных выводов о функционировании той или иной системы или объекта, накопление статистических результатов внешнего контроля за деятельностью субъекта наблюдения, обоснование требуемых мер для достижения планируемого качества. Важной целью является обеспечение всех субъектов образовательного процесса объективной и достоверной образовательной информацией путем наблюдения, сбора, накопления, анализа, диагностики и экспертизы количественных показателей учебных достижений обучающихся [55, 119, 159, 177].

Эта цель естественным образом обусловливается современным этапом всей образовательной системы в условиях ее реформирования и изменения принципов организации контрольно–оценочного процесса в связи с проведением эксперимента по введению единого государственного экзамена в стране. Новые приоритеты в обществе и образовании, вариативность образовательных программ и форм получения образования, методов и технологии обучения обусловливают значительную дифференциацию уровня подготовленности и развития обучающихся. В условиях широкого использования тестового контроля в образовании появляются возможности и потребности организации и функционирования многоуровневого квалиметрического мониторинга (МКМ) для получения оперативной, валидной и разносторонней образовательной информации.

Его создание и функционирование в системе образования непосредственно связано с изменениями, происходящими в обществе, появлением необходимых условий, финансовых и материально–технических возможностей для организации новых видов информационного мониторинга. Одной из задач многоуровневого квалиметрического мониторинга становится обеспечение образовательных учреждений постоянным потоком сопоставимой образовательной информации о качестве подготовленности обучающихся. Современные технологии позволяют организовать квалиметрический мониторинг как наиболее информативный и современный способ наблюдения за развитием образовательного процесса. Полученные методами тестирования данные об уровне учебных достижений школьников не зависят от состава аттестационных комиссий и установок органов управления образованием. Такие результаты соответствуют определенной точности измерений, дифференцирующей способности, надежности и другим квалиметрическим показателям измерений знаний обучаемых. В системе такого мониторинга возможны упорядочение, систематизация и представление в удобной форме объективной образовательной информации.

Он становится важнейшим инструментом и методом выявления достоинств и недостатков различных обучающих программ и компонентов образовательной системы, средством управления качеством образования на всех его иерархических уровнях. К педагогическому тестированию как методу измерения, используемому для квалиметрического мониторинга и объективизации диагностики качества образования, наиболее применимо понятие «индикатор» (от лат. indicator – указатель).

Мониторинг качества учебных достижений средствами педагогического тестирования ориентирован, с одной стороны, на точное отражение в тестах современного содержания образования и требований образовательных стандартов, а с другой – на возможность стандартизированного измерения знаний, умений и навыков во всем комплексе их качественных характеристик:

• полноты, т.е. количества всех знаний об изучаемом объекте, предусмотренных программой (стандартом), запросами потребителей и др.;

• глубины, т.е. осознанных существенных связей данного знания с другими, с ним соотносящимися;

• оперативности, т.е. применения знаний в сходных и вариативных ситуациях за счет умения анализировать, обобщать, интегрировать и дифференцировать общепредметные знания и умения;

• гибкости, т.е. быстроты нахождения вариативных способов применения знания при изменении ситуаций;

• конкретности и обобщенности, т.е. способности к раскрытию конкретных проявлений обобщенного знания или подведению конкретных знаний под обобщенные;

• свернутости и развернутости, т.е. способности, с одной стороны, выразить знания компактно, уплотненно, а с другой – раскрыть систему и последовательность шагов, ведущих к сжатию или свертыванию знаний;

• систематизированности, т.е. осознания состава некоторой совокупности знаний, их иерархии и взаимосвязанной последовательности, осознания необходимости наличия одних знаний как базы для усвоения других;

• адекватности, т.е. такой совокупности знаний в сознании учащихся, структура которых соответствует структуре научной теории и этапу обучения;

• осознанности, т.е. понимания связей между знаниями, путей получения и закрепления знаний, умения их предъявлять и доказывать.

Особенностью квалиметрического мониторинга является использование данных массового тестирования и статистических методов анализа результатов как одного из направлений теории статистических выводов в педагогике. Следует отметить, что максимальный эффект такой мониторинг может дать при комплексном использовании теории педагогических измерений, теории моделирования и методов математической статистики. Понятно, что строгие количественные измерения без дальнейшей статистической обработки и построения соответствующей модели оценки качества бессмысленны. Взаимно дополняя и обогащая друг друга, эти теории позволяют представить состояние исследуемого объекта в большей полноте и целостности. Важнейшим в этом перечне является применение методов математической статистики, подразделяющейся на два направления: описательную статистику и теорию статистического вывода. При этом, как известно, для описания педагогических объектов давно и активно используются средний балл, дисперсия, различные показатели корреляции и др. Теория статистического вывода применяется значительно реже, хотя, по мнению Е.В. Яковлева, «именно она является наиболее мощным аппаратом исследования в педагогике» [223].

Таким образом, квалиметрический мониторинг следует понимать как непрерывное (на постоянной основе) стандартизированное наблюдение за образовательным процессом и деятельностью образовательной системы (ее подсистем) посредством педагогических измерений, позволяющее создавать историю состояния объекта во времени, количественно оценивать изменения субъектов образования и состояния образовательной системы, определять направления их развития. Этот вид мониторинга включает совокупность методов, алгоритмов организации и технологических средств, а также содержательно–аналитическую интерпретацию мониторинговых наблюдений за образовательным процессом и его результатами на основе количественной информации, полученной средствами и методами педагогических измерений. Результаты таких контрольно–оценочных процедур обладают одинаковым свойством, относятся к адекватным по времени состояниям обучающихся и образовательных систем, а поэтому обеспечивают условия для реализации квалиметрического мониторинга как современного и перспективного средства управления качеством образования.

Концептуально такой вид мониторинга обеспечивает объективность характеристик исследуемых объектов на основе использования данных образовательной статистики тестового контроля как процедуры массового обследования однотипных объектов в стандартизированных условиях. Квалиметрический подход, в отличие от традиционного, позволяет извлечь максимум объективной информации из полученных количественных оценок и с математической точностью оценить состояние исследуемых объектов.

Его многоуровневый характер определяется совокупностью объектов наблюдения, методик, процессов и ресурсов, необходимых для сбора и накопления данных, методами анализа результатов, выработки рекомендаций и представления образовательной информации в сети Интернет с целью воздействия для получения положительных тенденций развития и результатов обучения с заданными свойствами, характеристиками, параметрами.

Принципиальное отличие многоуровневого квалиметриче–ского мониторинга от традиционного заключается в использовании таких технологий контроля, которые ориентированы не на субъективные оценочные механизмы локального применения, а на современные объективизированные (дистанцированные от учителя) оценочные процедуры, удовлетворяющие требованиям объективности, сопоставимости и репрезентативности оценок. Концепция комплексного многоуровневого квалиметрического мониторинга качества образовательных систем и образовательного процесса достаточно хорошо вписывается в систему современного маркетинга образовательных услуг.

Принципы его организации и функционирования опираются на теорию IRT при получении образовательной статистики, информационные технологии накопления и обработки данных, сравнение показателей качества исследуемых объектов со статистическими нормами.

В работах по системному анализу и опыту системного исследования [14, 118, 148, 160] отображена совокупность принципов, лежащих в основе функционирования сложных систем, – системность, моделируемость и автономность, целенаправленность, объективность и неопределенность, согласованность, коммуникативность и технологичность, информативность, интегративность и дифференцируемость, действие, развитие, управляемость и непротиворечивость. Эти принципы с учетом условий полноты получения информации и эффективности ее воздействия на образовательный процесс характерны и для многоуровневого ква–лиметрического мониторинга качества учебных достижений в общем образовании.

Системность означает, что МКМ присущи закономерности системы, определяющие ее внутренние и внешние причинно–следственные связи, условия целостности, существования и функционирования, возникновения и развития; необходимость достаточности и периодичности наблюдения за всей совокупностью объектов при соблюдении индивидуальности результатов каждого отдельного объекта наблюдения.

Моделируемость и автономность проявляются в том, что МКМ как единое целое имеет свое устройство, внутреннюю структуру и содержание; как сложная система, состоящая из множества подсистем и уровней, он может быть представлен конечным числом моделей, каждая из которых сама имеет системный характер и отражает разные цели его функционирования.

Целенаправленность отражает точку зрения исследователей, позволяет формировать определенные подходы для решения практических задач в зависимости от целей такого мониторинга (методы, технологии, контрольно–измерительные материалы, время и место проведения, процедуры, формирование выборки испытуемых, подбор состава исполнителей, экспертов, разработчиков тестов и др.).

Объективность и неопределенность – этот принцип обусловливается достаточностью и валидностью генеральной выборки тестируемых; точностью оценок (измерений) и известной областью неопределенности значений исследуемых характеристик и параметров выборки; потребностью непрерывного совершенствования инструментария педагогических измерений, технологий и процедур контроля.

Согласованность как принцип требует адекватности мониторинговых средств и процедур состоянию обследуемых образовательных систем на момент измерения в соответствии с требованиями нормативных документов.

Коммуникативность и технологичность по схеме «вход—выход» заключается в согласованности требований и оперативного получения, обработки и передачи необходимой и достаточной информации по различным уровням, обеспечении доступности мониторинговых результатов большому числу пользователей; предусматривает широкое использование образовательной информации и информационных технологий для ее переработки и хранения.

Информативность означает требование полноты и всесторонности данных (качественную и количественную определенность) об исследуемом объекте (явлении, процессе), представление всей информации в сети Internet по открытым и закрытым каналам в заисимости от требований к уровню конфиденциальности материалов и данных, доступности статистической информации широкому кругу пользователей.

Интегративность и дифференцируемость информации обусловливают сохранение и укрепление единого образовательного пространства страны, создавая уникальную возможность качественно–количественного анализа сопоставимых показателей состояния всей образовательной системы и ее отдельных составляющих (многоуровневость), индивидуальных результатов.

Взаимодействие заключается в том, что такой мониторинг собирает, накапливает и выдает информацию, требующую оперативных действий других систем (системы образования, системы тестирования, системы воспитания, системы управления, общественных систем и др.) на основе универсальности подходов к управлению качеством в образовании.

Развитие – по мере накопления информации МКМ может скачкообразно изменяться, переходя в новое качественное состояние, воздействуя в то же время на другие системы, являясь катализатором их развития.

Управляемость должна обеспечивать предсказуемость действий различных мониторинговых служб, подотчетность их по иерархическим уровням органам контроля и управления качеством образования.