Текст книги "Тестовый контроль в образовании"

• Сравнительный, при котором не менее сложно, чем при оценке качества подготовленности отдельных учащихся, обстоит дело с выделением совокупности показателей для оценки качества учебного процесса, аттестации педагогических кадров и школ. Отсюда становится очевидной важность использования тех показателей, которые опираются на количественные критерии и нормы. Введение авторских количественных критериев и чрезмерное увлечение ими могут привести к неверным представлениям о наличии или отсутствии качества подготовки обучающихся. В то же время благодаря использованию единых инструментария и методов шкалирования можно получать сопоставимые данные о результатах образовательной деятельности всей федеральной образовательной системы и различных ее подсистем, сравнивать показатели одинакового свойства любых подсистем между собой в однотипном ряду как по вертикали (территории, регионы, образовательные учреждения), так и по горизонтали (рейтинг школьников, рейтинг территорий и т.д.).

• Конкурентный, при котором часто возникает необходимость зафиксировать и дифференцировать уровни подготовленности испытуемых по определенным правилам, способствующим их идентификации. Действительно, процесс усвоения знаний может существенно зависеть от дисциплины и характеристик учащегося. Поэтому корректная интерпретация результатов учебной деятельности, соотносящая их с уровнями усвоения, возможна, если результаты тестирования сравниваются со среднестатистическими баллами, предоставляется возможность ранжировать показатели учебных достижений по отдельным участникам тестирования, образовательным учреждениям, территориям, регионами, а также устанавливать причины смещения показателей относительно статистических норм.

• Информационный по двум основаниям, во–первых, массовое независимое тестирование выявляет объективную, выверенную, систематизированную, всестороннюю и достоверную информацию о качестве предоставляемого образования; во–вторых, информационные технологии предоставляют многочисленным пользователям доступ к открытым банкам образовательной статистики.

• Проблемный, обеспечивающий выявление наиболее общих закономерностей процессов и актуальных потребностей, характерных как для отдельных элементов образовательной системы, так и для образования в целом.

• Управленческий, когда при оценке качества обучения в рамках системного подхода приходится принимать во внимание совокупность самых разных показателей. Для принятия обоснованного решения о достижении либо недостижении определенного качества необходимо выбирать по каждому показателю некоторый критерий или набор критериев, характерный для уровневого подхода к оценке качества обучения. Понятно, что эффективное использование полученной информации и реализация стратегии повышения качества обучения возможны лишь в рамках единой контрольно–оценочной системы, обладающей свойствами полноты и опирающейся на соответствующую научно–методическую базу. В значительной степени результаты педагогических измерений учебных достижений обучающихся, получаемые на основе независимого тестирования и единого шкалирования, могут служить основой для принятия более обоснованных и адекватных управленческих решений.

• Комплексный, при котором обобщенной мерой качества может быть результативность, нередко заменяющаяся близким по смыслу понятием эффективности. В этой связи выстраивают определенную иерархическую модель качества, структуру критериев, их иерархию и схему оценки. Результаты массового независимого тестирования, наряду с другими показателями, могут использоваться для выявления одаренных детей, наиболее эффективных программ и технологий обучения, формирования портфолио, оценки квалификации учителей, аттестации и аккредитации образовательных учреждений.

Экспертизу качества образования с помощью квалиметричес–кого мониторинга затрудняет тот факт, что образовательный процесс как многофакторное явление имеет множество характеристик, которые невозможно не только измерить, но даже учесть. Поэтому необходимо выделять однозначно измеряемые параметры и факторы, такие, как знания и умения (предметные и надпредметные), навыки, творческий опыт и практическое применение знаний. В будущем, возможно, удастся разработать способы измерения творческих способностей и компетенции (например, педагогические и психологические тесты).

При этом необходимо исключить или стабилизировать влияние неизмеряемых факторов учебного процесса, очистить «от налета субъективизма оценку числовых значений измеряемых факторов и результатов обучения» [201]. В подобных случаях производится рандомизация – создаются условия, при которых неизмеряемые факторы меняются случайным образом. Например, проводятся измерения (тестирование) с охватом большого числа испытуемых. В этих случаях стабилизируются на среднестатистическом уровне такие существенные, но случайным образом изменяющиеся факторы, как профессиональная компетенция учителя, обеспеченность учебного процесса техническими средствами и наглядными пособиями, частные особенности конкретной школы и др. В качестве субъекта образовательного процесса рассматривается не каждый конкретный учащийся, а большая совокупность учащихся разных школ одного или нескольких регионов или всей страны. Такой выбор объекта тестирования позволяет рандомизировать множество факторов, имеющих случайный характер, а выявленные закономерности носят среднестатистический характер. Именно тестирование (централизованное, единый государственный экзамен, региональное и др.) как массовый способ оценки уровня учебных достижений обучающихся предоставляет возможность наиболее полной рандомизации.

Для достижения этих целей в условиях функционирования многоуровневого квалиметрического мониторинга возможно решение ряда задач:

• оказание образовательным учреждениям действенной помощи в максимально точном и объективном определении качества их образовательной деятельности;

• объективизация результатов контрольно–оценочных процедур за счет апробации контрольно–измерительных материалов на всем массиве учащихся страны (региона);

• установление объективных критериев оценки подготовленности обучающихся и качества образовательных систем;

• формализация и алгоритмизация мониторинговых исследований;

• создание условий открытости и доступности информации об учебных достижениях учащихся и качестве образовательных услуг;

• предоставление органам управления образованием разносторонней и достоверной информации для совершенствования образовательного процесса и условий для его осуществления.

Однако для создания целостной системы тестового контроля и основанного на его результатах многоуровневого квалиметри–ческого мониторинга требуется выполнение ряда условий:

• формирование в регионах системы опорных баз для проведения стандартизированных массовых контрольно–оценочных процедур аттестации школьников;

• материально–техническое и информационно–технологическое оснащение распределенных пунктов автоматизированной первичной обработки результатов тестирования;

• включение в тестовый контрольно–оценочный процесс всех общеобразовательных учреждений не только на заключительной стадии обучения школьников, но и на более ранних;

• разработка валидного инструментария педагогических измерений и надежных контрольно–оценочных процедур;

• обеспечение конфиденциальности контрольно–измерительных материалов на всех этапах контрольно–оценочного процесса с целью повышения объективности результатов итоговой аттестации выпускников;

• создание банка валидной образовательной статистики, обеспечение ее информационных потоков и создание условий доступа к ним различным категориям пользователей (школы, управления образования, вузы, родители, учащиеся, учителя и т.д.);

• разработка новых форм и методов зачисления абитуриентов в вузы и ссузы по результатам независимой аттестации выпускников;

• массовое обучение педагогических кадров теории, технологии и технике тестирования, разработке и применению тестов в образовательной практике, навыкам шкалирования и корректной педагогической интерпретации результатов тестирования.

Очень важными в модели квалиметрического мониторинга являются комплекс показателей подготовленности учащихся и качества образовательного процесса, обеспечивающих объективное и целостное представление о состоянии системы образования и ее составляющих; методы и способы педагогического анализа результатов и их интерпретации; регулярность и периодичность проведения тестового контроля; оперативность и полнота предоставления результатов, в том числе и в Интернете с тем, чтобы способствовать удовлетворению потребности общественности и специалистов в получении информации о качестве образовательной практики; создание механизмов коррекции деятельности всех субъектов образовательной системы.

Опыт показывает, что объективная информация порождает ряд проблем, к решению которых пока не готовы педагоги, образовательные учреждения и управления образованием: объективная аттестация выявляет двоечников, которых надо выпускать из школы, но непонятно, какой документ при этом им выдавать; появляется проблема работы с явно слабыми учителями; возникают трудности с организацией учебного процесса с учетом индивидуальных учебных возможностей и дифференцированных достижений учащихся и др.

Тем не менее в условиях изменений общественной жизни в стране, смены социальных потребностей проблема получения качественной и объективной информации о педагогической деятельности образовательного учреждения приобретает чрезвычайно важное значение. Конкуренция на рынке труда формирует социальную базу потребителей информации о качестве образовательных услуг, предоставляемых тем или иным образовательным учреждением. Становится востребованной информация о потенциале кадров, комфортности пребывания в школе, наличии дополнительных образовательных услуг, взаимодействии школы с вузами. Следовательно, смена концепции контроля в стране и накопление образовательной статистики объективно создают возможность для реализации и развития многоуровневого квалиметрического мониторинга российского образования.

Чтобы образовательная статистика оказывала влияние на образовательный процесс и его субъектов, необходима оперативная передача ее пользователям для переработки, анализа и принятия мер, адекватных выявленному состоянию.

В отличие от эпизодических внешних проверок, аттестации и аккредитации экспертными методами многоуровневый квалимет–рический мониторинг предусматривает регулярное, последовательное и длительное накопление результатов тестового контроля, позволяющее сопоставлять, анализировать и интерпретировать результаты по разным массивам испытуемых и генеральной выборке. Комплексной организацией рассмотренного выше мониторинга пока еще не занимались ни в нашей стране, ни за рубежом. Вместе с тем следует отметить, что накопление результатов массового тестирования уже начинается, на федеральном уровне создается банк образовательной статистики (федеральная база свидетельств ЕГЭ, статистические отчеты централизованного тестирования), постепенно создается информационная система управления образованием (сайты и порталы центра тестирования и единого государственного экзамена).

Схема движения информации в системе мониторинга показана на рис. 16.

Рис. 16. Схема движения образовательной информации

Помимо данных образовательной статистики на порталах размещается большой объем организационно–методической, информационно–технологической и содержательно–аналитической информации и документации. Все это является необходимым условием функционирования многоуровневого квалиметриче–ского мониторинга, определяет перспективный характер его функционирования.

Отдельные элементы этой схемы уже в той или иной мере реализуются на уровне некоторых регионов (в частности, в Ростовской области), территорий и образовательных учреждений. Есть основание полагать, что в ближайшем будущем все категории пользователей получат доступ к интересующей их образовательной информации, а ее потоки станут более достоверными, полными, постоянными.

Для этого необходима надежная система получения, сбора, обработки, накопления, структурирования, анализа, систематизации и хранения статистической образовательной информации, включения ее в Internet в формате, доступном для широкого круга пользователей. На специальном сайте образовательная информация о результатах независимого тестирования может быть доступна всем категориям пользователей. Однако абсолютные данные не дают полного представления о качестве исследуемого объекта, более информативным является сопоставление показателей исследуемой выборки с нормами или объектами более высокого уровня обобщения результатов (парные или множественные сравнения). Должны быть разработаны программно–инструментальные средства для автоматизированной выборки и наглядного представления статистических результатов централизованного тестирования и единого государственного экзамена, возможности сравнивать данные по различным массивам испытуемых как по вертикали, так и по горизонтали, сопоставлять показатели между собой, проводить анализ и графическое представление информации по отдельным предметам, темам, классам, территориям.

Федеральная база данных массового тестирования и единого государственного экзамена интегрирует результаты всех участников этого процесса и позволяет обеспечивать отдельные запросы пользователей. Одним из важнейших свойств базы должно быть четкое структурирование образовательной информации по регионам, образовательным учреждениям и другим кодификаторам групп тестируемых. Благодаря этому можно будет в любой точке страны для различных образовательных целей оперативно подготовить статистический отчет по любой выборке учащихся, преобразовать массив данных и представить его в требуемом для анализа виде. При этом составление регионального (территориального и др.) образовательного статистического отчета не требует больших временных и материальных затрат. За последние годы в некоторых регионах страны начинает складываться практика содержательного и динамического мониторинга средних тестовых баллов [38, 49, 63, 64, 84, 111, 137]. Возможности образовательной статистики еще не используются в должной мере.

Школьники могут, автономно и периодически проходя независимое тестирование, самостоятельно определять зоны своего актуального развития, оценивать общий уровень подготовленности и развития, анализировать достижения и пробелы в своем образовании, продвигаться по индивидуальным траекториям учебных достижений.

Родители, используя образовательную информацию, реально могут оценивать возможности своих детей, подбирать для них формы дополнительной подготовки или способы оказания помощи при самоподготовке.

Педагоги могут получать информацию о качественном изменении и структуре усвоенных знаний учащихся количественными методами путем анализа тестовых баллов, дихотомических таблиц по структуре тестов, диаграмм успешности выполнения отдельных тестовых заданий без больших затрат труда и времени, получать из банков калиброванных тестовых заданий готовые материалы для организации обучения и контроля. За несколько лет такой анализ может позволить методическим советам школ разработать наиболее эффективные обучающие программы с использованием калиброванных тестовых заданий, создать систему опережающего развития каждого ученика и класса в целом, устранить собственные просчеты, откорректировать нормы оценок. Школы получат возможность как проводить внутренний (горизонтальный) мониторинг по классам, предметам, темам, ученикам и педагогам, так и оценивать рейтинг образовательного учреждения во внешней образовательной среде (в районе и регионе среди однотипных учреждений).

Таким образом, в качестве объекта мониторинговьгх исследований могут быть класс, школа, район, город, регион или весь массив тестируемых по стране. Анализ результатов тестового контроля для отдельных объектов включает использование статистических данных и различных графических форм их представления: таблиц, графиков, гистограмм, радиальных диаграмм и др. Эти же графические формы могут быть использованы и для анализа уровней трудности отдельных тестовых заданий или выборок заданий по темам, разделам, формам «А», «В» или «С».

Обобщая указанные методы исследования, получаем совокупность возможных способов представления и сравнения результатов тестового контроля в информационной системе мониторинга (рис. 17).

В информационной схеме квалиметрического мониторинга используются различные методы сравнения результатов для нескольких объектов, возможно как парное, так и множественное сравнение. При этом можно проводить анализ статистических результатов для любых объектов как по горизонтали для объектов одного уровня: ученик – ученик, класс – класс, школа – школа, район – район и т.д., так и по вертикали для объектов разных

Рис. 17. Информационная схема многоуровневого квалиметрического мониторинга

уровней: ученик – класс, ученик – школа, класс – школа, класс – район, класс – регион, школа – район, школа – регион, регион – регион и т.д. наложением графиков. Распределение результатов может быть проанализировано для группы заданий по разделу, для группы заданий в зависимости от уровня подготовленности учащихся, а также для группы учащихся по всем заданиям теста.

Очень важным при многоуровневом анализе является выбор комплекса показателей качества подготовленности учащихся и качества образовательного процесса, обеспечивающих объективное и целостное представление о состоянии системы образования и ее составляющих. Все виды сравнений учебных достижений различных объектов могут проводиться по средним значениям тестовых баллов, процентам выполненных заданий, различным коэффициентам подготовленности как отношения показателей, полученных данной выборкой испытуемых, к среднестатистическим для генеральной, по медианным значениям как средней величины отранжированного ряда тестовых баллов и т.д.

Необходимо отметить, что результаты тестового контроля на 100–балльной шкале связаны не только с числом решенных заданий, но и со статистическими весами трудности каждого выполненного задания. Статистические веса вводятся в виде так называемых весовых коэффициентов, определяющих трудность каждого тестового задания по их оценке во всей генеральной выборке испытуемых. Именно поэтому результаты тестирования на 100–балльной шкале не имеют столь прозрачного толкования, как при простом суммировании «сырых» набранных баллов, зависящем только от количества выполненных заданий. Измерение уровня подготовленности является наиболее объективным, при этом чем выше процент выполнения задания по генеральной выборке, тем ниже уровень трудности задания.

Наибольший интерес для педагогов представляет информация тематического содержательного анализа подготовленности класса и каждого отдельного учащегося, из которой они получают возможность сравнивать успешность своих учеников относительно достижений других классов школы или школ района, а также относительно объектов более высоких уровней обобщения данных, вплоть до международного. Учитывая, что последние годы характеризуются объединением стран в проведении международных сравнительных мониторинговых исследований, осуществляемых на основе стандартизированного тестирования школьников, такие сравнения становятся особенно важными и необходимыми.

Сравнение с нормой позволяет выявлять индивидуальные особенности учебной деятельности как самого педагога, так и его учеников, показывает направления корректировки учебных программ и технологий обучения. Комплексная, оперативная оценка, сравнительный анализ сопоставимых данных по горизонтали и вертикали могут обеспечить педагогу разработку и реализацию эффективных мер по устранению недостатков, коррекции содержания и процесса обучения, закреплению достигнутого уровня и дальнейшего развития обучающихся. Использование информационных технологий и широкие возможности графического представления данных независимого тестового контроля существенно расширяют возможности коллектива школы, мобилизуют его и задают реальные ориентиры для совершенствования образовательного процесса.

Введение многоуровневого квалиметрического мониторинга в образование и управление его качеством позволяет:

• преодолевать межведомственные и территориальные барьеры на пути более точного и объективного определения состояния образовательных систем;

• создавать взаимосвязи учебных достижений на разных уровнях системы образования с качеством предоставляемых образовательных услуг путем сравнения метрических результатов оценивания, полученных с помощью одинаковых контрольно–оценочных материалов на генеральной выборке учащихся и оценочной группе испытуемых, использования стандартизированных процедур тестирования и корректных методов шкалирования;

• обеспечивать возможность оптимизировать контрольно–оценочные материалы и процедуры, создавать систему получения и анализа наиболее достоверных оценок, обеспечивая ими различные категории пользователей образовательной информацией;

• использовать информационные технологии для диагностики и анализа усвоения учебного материала по всему спектру дисциплин;

• сделать систему образования более открытой обществу в сфере оценки уровня подготовки обучающихся и качества предоставляемых образовательных услуг, а следовательно, более динамично отвечающей на запросы различных потребителей;

• ускорить развитие новых форм, средств и технологий управления образовательными системами с целью получения в них положительных изменений.

Современное состояние теории и практики тестового контроля, уровень развития техники массового тестирования и информационных технологий обусловливают необходимость и возможность организации и функционирования системы такого мониторинга, определяют направления его использования для совершенствования системы управления качеством образования и дальнейшего развития. На фоне многообразия существующих на сегодня аттестационных моделей, методик, технологий, показателей и критериев оценок многоуровневый квалиметрический мониторинг может быть универсальным средством, использующим данные одного и того же свойства по различным массивам обучающихся, статистические нормы и другие показатели, одинаковые для всех образовательных систем одного типа на всей территории страны. В то время как уровень подготовленности отдельного обучающегося зависит от его индивидуальных свойств, характеристик и качеств (развитие, способности, прилежание и др.), анализ структуры усвоения содержания дисциплин по данной выборке отражает особенности организации образовательного процесса и качество образовательной системы.

Интенсивное развитие информационно–образовательной среды в образовании актуализирует создание эффективной системы управления качеством образования, позволяющей оперативно анализировать статистику результатов независимых контрольно–оценочных процедур, более обоснованно определять направления совершенствования образовательных программ и технологий обучения. В связи с экспериментом по введению ЕГЭ информационные технологии тестового контроля, обеспечивающие общеобразовательным учреждениям и органам управления образованием доступ к образовательной статистике и нормам количественных оценок учебных достижений школьников, становятся средством повышения качества образовательного процесса и образовательных систем, развития образовательного мониторинга как средства управления качеством образования. В условиях введения ЕГЭ вся система образования становится более открытой обществу в сфере оценки результатов учебного труда. Именно статистическая обработка результатов позволяет от количественных оценок когнитивной составляющей образования перейти к качественным оценкам образовательного процесса и образовательной системы, оценивать ее состояние относительно нормы (среднестатистических показателей учебных достижений выпускников страны), зафиксировать адекватные состояния всей образовательной системы и ее подсистем на момент педагогического измерения.

При этом каждый более высокий уровень обобщения данных последовательно вбирает в себя результаты нижних уровней, обеспечивая статистические характеристики соответствующей выборки. Анализ таких результатов всем субъектам образования предоставляет возможность идентифицировать себя в общем контрольно–оценочном пространстве, сравнивая показатели как по вертикали – с общероссийскими или региональными среднестатистическими данными, так и по горизонтали, в однотипном ряду между собой.

Именно сравнения метрической информации о степени усвоения содержания учебных дисциплин с нормами (парные и множественные, по вертикали и горизонтали) дают возможность выявлять проблемы обучения, а комплекс необходимых показателей способен обеспечить целостное, качественное и количественное представление о состоянии объекта исследований и динамике его изменений. Многоуровневый процесс циркуляции образовательной информации позволяет обеспечить основные требования независимости контроля в педагогической, образовательной и профессиональной культуре для разных типов образовательных учреждений, различных территорий и по любым массивам испытуемых, организацию различных видов образовательного мониторинга: динамического, диагностического, сравнительного, базового, управленческого и др.

В ближайшие годы, несомненно, будут созданы программно–инструментальные средства, которые позволят любой категории пользователей оперативно получать и анализировать достоверную образовательную информацию. При создании таких средств следует учитывать разные запросы отдельных категорий пользователей. Положим, школьника в первую очередь интересуют индивидуальный тестовый балл и оценка, а затем он задается вопросами: где находится в выборке его результат – выше или ниже нормы, на сколько он выше или ниже, каков его рейтинг в конкретной выборке (класса или школы) или в генеральной. Что касается родителей, то все обозначенные вопросы их так же интересуют, как и самого школьника, но добавляется еще потребность знать рейтинг школы, качество той образовательной среды, в которой развивается ребенок. Учителю по конкретной учебной дисциплине требуются детальный анализ качества усвоения содержания, тематический анализ и сравнение с достижениями однотипных выборок: класс – класс, школа – школа и т.д., а также по вертикали – класс, школа, район, город и т.д. Такая информация позволяет ему корректировать учебную программу, выбирать более эффективные технологии обучения, заниматься повышением своей квалификации. Важную информацию по результатам массового стандартизированного тестирования получает и администрация. Ко всему перечисленному выше можно добавить сравнение учебных достижений разных классов, а косвенно – и квалификации учителей. Разумеется, такие процедуры квалификацию учителя позволяют оценивать только косвенно. Более достоверную информацию о квалификации учителей администрация может получить только лишь в результате динамического анализа результатов тестирования за несколько лет и при сравнении текущих отметок школьников с результатами тестирования.