Текст книги "Тестовый контроль в образовании"

2.5. Организационно–технологические формы тестового контроля

Вопросы обеспечения планируемого качества образования требуют использования современных подходов в деятельности общеобразовательной школы, введения образовательных стандартов, пересмотра организационно–технологических подходов к контролю. Несмотря на то что практически во всех регионах страны существуют аттестационно–диагностические центры, осуществляющие разработку средств для проверки качества знаний школьников и аттестации общеобразовательных учреждений, эти структуры, как правило, не имеют достаточного научно–методического и материально–технического обеспечения для объективного контроля и проведения научно обоснованных мониторинговых исследований. Работа этих организаций не координируется, отсутствует механизм обеспечения качества их работы (сертификации) в соответствии с современными требованиями, не ведется целенаправленная работа по освоению культуры тестового контроля. Как следствие при таких методах нет сопоставимости результатов контроля не только по стране или региону, но даже по одной и той же территории.

Одним из направлений развития современной педагогики становится технологический подход к обучению, контролю и оцениванию результатов учебной деятельности учащихся. Научно–педагогическое и методическое осмысление такого понятия, как «образовательная технология» обусловлено отражением использования новых возможностей информационных методов в образовании. В связи с потребностью повышения качества образования и широким использованием современной компьютерной техники и информационных технологий в учебном процессе идет разработки и внедрение новых технологий обучения и самообразования, а также форм контроля и самоконтроля. Постепенно в нашей стране создаются условия для выведения отдельных видов контрольно–оценочной деятельности за пределы образовательного учреждения.

В последнее время важнейшим требованием системного оценивания качества подготовленности обучающихся является ориентация не на использование отдельных элементов и процедур контроля, а на планомерное развитие национальной системы тестирования, отвечающей условиям организации и функционирования мониторинга качества образовательного процесса и образовательных систем, на основе использования объективной и сопоставимой образовательной информации в масштабах страны, регионов, муниципалитетов и др.

Этому способствуют:

• последовательное создание и развитие новых организационных структур по проведению тестирования, служб разработки, конструирования и параметризации педагогического измерительного инструментария;

• совершенствование техники и технологии сбора образовательной информации и методов статистической обработки результатов тестирования;

• активизация научной, научно–методической и учебной работы по развитию всех звеньев тестовых технологий.

Формирующаяся федеральная система массового тестирования создает новые возможности оценки и контроля, обеспечивая связующее и регулирующее звено между общеобразовательными и высшими учебными заведениями, задавая единые требования к содержанию и уровню подготовленности выпускников общеобразовательных учреждений и вступительных испытаний.

Задачами системы независимого тестирования являются:

• обеспечение объективности аттестации обучающихся и образовательных учреждений;

• повышение эффективности обучения и оценивания уровня подготовленности обучающихся, обеспечение доступности профессионального образования;

• разработка научно обоснованных контрольно–измерительных материалов, процедур, показателей и критериев оценок;

• стандартизация процедур тестирования, обработки, шкалирования, оценивания и представления результатов;

• подготовка кадров по вопросам тестирования путем создания специальной системы повышения квалификации;

• обеспечение преемственности требований в системе непрерывного общего и профессионального образования;

• мониторинг качества образования в стране и ее отдельных территориях;

• получение ценной информации об овладении школьниками и выпускниками содержанием учебного предмета, т.е. основными знаниями и умениями, отраженными в обязательном минимуме содержания и требованиях к уровню подготовки на разных стадиях обучения;

• корректировка образовательных стандартов, оценка реалистичности требований к уровню подготовки выпускников средней школы, обеспечение возможности измерения их достижений, создание условий для самоконтроля;

• совершенствование образовательного процесса и учебно–методического обеспечения предметных курсов.

В зависимости от поставленных целей и задач контроля могут быть использованы различные организационно–технологические формы тестирования – от массовых и наиболее высоких по качеству используемых контрольно–измерительных материалов до самого упрощенного контроля в отдельном классе по небольшой теме на основе авторских тестов, не подкрепленных статистическими характеристиками. Современные службы независимого тестирования представляют собой социально–педагогическую систему, обладающую такими характеристиками, как целостность, автономия, совместимость с другими образовательными системами любого уровня, стабильность, способность к адаптации и саморазвитию. Наиболее развитая система такого контроля – это система тестирования на стадии входа–выхода из общеобразовательной школы в высшую. Составляющими федеральной системы стандартизированного тестирования являются единый государственный экзамен, централизованное тестирование, компьютеризированные олимпиады, различные виды аттестационного тестирования. По технологическому обеспечению различают бланочный и компьютерный методы проведения тестирования.

ЕГЭ в образовании относится к высоким информационным технологиям, обеспечивающим внешний независимый итоговый контроль подготовленности выпускников, объективизацию оценок и возможность многофакторного анализа результатов по различным уровням их обобщения. С 2001 по 2005 г. проводился широкомасштабный эксперимент по введению единого государственного экзамена как формы итоговой аттестации учащихся общеобразовательных учреждений и одновременно вступительных испытаний для продолжения учебы на более высокой ступени. В 2006—2008 гг. планируется его поэтапное введение на всей территории страны. Но уже сегодня ЕГЭ – многоплановая структура, использующая большой кадровый потенциал различных специалистов для подготовки контрольно–измерительных материалов, организации и проведения единого экзамена, проверки ответов, шкалирования и оценивания результатов, их анализа и интерпретации, использования объективной образовательной информации для различных целей. Вместе с тем ЕГЭ – это сложный контрольно–оценочный процесс, который, развиваясь сам, инициирует развитие образовательных систем на федеральном, региональном и территориальном уровнях, обеспечивает ориентиры и динамизм процессу совершенствования всей системы образования, задавая единый уровень требований к содержанию образования на всей территории страны, предоставляя возможность участвовать в конкурсе в различные вузы страны, не выезжая из дому, позволяя в перспективе перейти к информационным технологиям аттестации выпускников.

Одной из составляющих нового контрольно–оценочного процесса является федеральная база свидетельств (ФБС) о результатах ЕГЭ, предназначенная для хранения всей информации о выданных свидетельствах ЕГЭ и подтверждения участия или неучастия абитуриента в ЕГЭ в текущем году. ФБС обеспечивает пользователям возможность проверки данных свидетельств ЕГЭ и информации о зачисленных абитуриентах в государственные образовательные учреждения профессионального образования. Пользователями ФБС являются федеральные министерства и ведомства, органы управления образованием субъектов Российской Федерации, региональные центры обработки информации ЕГЭ, вузы и ссузы, засчитывающие результаты ЕГЭ в качестве результатов вступительных испытаний. В последнее время новая система аттестации выпускников и ФБС становятся информационной основой для управления качеством обучения. Контрольно–оценочный процесс становится все более открытым, информационная система единого конкурсного приема (ЕКП) позволяет в режиме реального времени следить за тем, как происходит зачисление абитуриентов в тот или иной вуз. В полном смысле ЕГЭ – это пример вхождения системы образования в информационную эпоху развития общества.

В условиях введения ЕГЭ как у учащихся, так и у образовательных учреждений растет потребность в сравнении уровня своих учебных достижений с каким–либо объективным показателем. В итоговых отчетах массового тестирования движение образовательной информации идет от индивидуальных результатов испытуемых к достижениям всей системы образования и обратно, налицо процесс циркуляции образовательной информации и широкие возможности для анализа достижений всех субъектов образовательного процесса по различным показателям. Для анализа достижений каждой исследуемой выборки используется соответствующий уровень обобщения статистических данных. При этом весь массив испытуемых составляет так называемую генеральную выборку, а ее среднестатистические показатели (при репрезентативной выборке) служат статистической нормой для сравнения показателей любых других локальных выборок, позволяя оценивать достижения не только каждого отдельного учащегося по отдельным предметным областям, но и класса, школы, района, города, проводить сравнительный, дидактический или динамический анализ качества обучения.

Статистическая обработка результатов позволяет от количественных оценок когнитивной составляющей образования перейти к качественным оценкам личности, образовательного процесса и образовательной системы. А поэтому важно учитывать, что чем больше массив испытуемых, тем более сложные и важные решения принимаются по результатам контроля, тем выше должен быть уровень валидности педагогических измерений, так как из полученных результатов и возможной их интерпретации могут быть сделаны правильные или ложные выводы для принятия управленческих решений. Поэтому особенно остро встают вопросы обеспечения точности и надежности результатов для адекватного отражения качества учебной деятельности образовательных систем в качестве результатов учебных достижений выпускников.

Одним из важнейших требований становится обеспечение информационной безопасности материалов и результатов ЕГЭ на всех многочисленных этапах их движения от центра тестирования к выпускникам в аудитории и обратно. В основе ЕГЭ на первом этапе его проведения лежали только технологии бланочного тестирования с автоматизированной обработкой результатов – базовая технология. По этой технологии выпускники на экзамене получают тест–пакеты на бумажных носителях: экзаменационное задание – контрольный измерительный материал (КИМ) или тест, бланк регистрации, бланк ответов на тестовые задания и бланк для конструирования свободного ответа, черновик. КИМ может состоять из нескольких частей: «А» – тестовые задания закрытой формы или с выбором ответа из числа предложенных; «В» – задания, требующие свободного ответа; «С» – задания–эссе или со свободным конструированием развернутого ответа и др. Бланк регистрации содержит информацию о выпускнике, бланки ответов не содержат никакой информации об участнике и с бланком регистрации могут быть соединены только по штрихкодам в процессе автоматизированной обработки, что обеспечивает информационную безопасность такого контроля. Бланки «С» распечатываются в двух экземплярах с автоматическим проставлением индивидуальных номеров и сливанием одного и того же варианта в протокол проверки одному эксперту–предметнику без указания каких–либо данных об учащемся. Группируя схожие по выполнению работы в одну ведомость, система позволяет отслеживать нарушения информационного режима в пунктах проведения экзамена. По результатам анализа образовательной статистики можно выявить, в каких пунктах проведения экзамена могли быть нарушения. Федеральная образовательная статистика как показатель нормы и информационная база мониторинга итоговых отметок по классам позволяют получать средний тестовый балл по пункту, школе, классу, сравнивать оценки школы и ЕГЭ.

Получают развитие и другие модификации проведения ЕГЭ: автоматизированная информационная система (АИС) «Экзамен»; компьютерная система «Гуманитарные технологии». По технологии АИС «Экзамен» контрольно–измерительные материалы, как и при бланочной технологии, доставляются на бумажных носителях в пункты проведения ЕГЭ, а все необходимые бланки и инструкции распечатываются скоростными принтерами непосредственно в аудитории после рассаживания школьников. Комплекс средств автоматизации (КСА) при этой технологии опирается на базу данных. В режиме реального времени КСА позволяет проводить распределение организаторов по аудиториям и рассадку выпускников с выдачей варианта. В соответствии с номером рабочего места и вариантом контрольной работы распечатываются именные бланки ответов на задания «А—В» и «С», ведомость входа и рассаживания выпускников, ведомость экзамена, инструкции для участников и организаторов ЕГЭ, сопроводительные листы для оформления актов проведения экзамена и др.

Достоинство этой технологии заключается в том, что в аудитории могут отсутствовать преподаватели, все материалы и инструкции распечатываются и комплектуются на месте операторами, программа позволяет выпускнику самому отправить свой бланк на сканирование и провести распознавание его изображения, сверку регистрационных данных (верификацию) изображения бланка и меток ответов. В таком случае выпускник полностью уверен, что вся информация верна, запрос в конфликтную комиссию становится излишним. Однако для работы по этой технологии требуется достаточно много техники и хорошо подготовленных операторов, в каждой аудитории необходим комплект: компьютер, сканер, принтер.

Компьютерная программа «Гуманитарные технологии» требует проведения экзамена в компьютерных классах и рассадки выпускников по принципу: «один компьютер – один ученик». Допускается проведение множества сеансов, поэтому не все учащиеся тестируются в одно и то же время. Для выравнивания условий ЕГЭ контрольные работы, формируемые компьютером, приближены к бланочным тестам. Тест формируется компьютером индивидуально для каждого выпускника с сохранением структуры, содержания и возможных вариантов ответа, так же как и при базовой технологии. При входе в аудиторию учащемуся выдается только бланк «С» с номером варианта и штрихкодом. Набрав на компьютере свои Ф.И.О., он получает на экране всю область регистрации, которую может сверить, а если надо, исправить. После сверки области регистрации школьник вводит номер варианта и получает возможность приступить к выполнению работы. Время работы с тестом фиксируется, на экране последовательно появляются задания «А—В», которые можно все просмотреть и выполнять в любой последовательности. Допускается изменение метки предполагаемого ответа, но количество и последовательность замен фиксируются машиной. Пока не выполнены и не закрыты задания «А—В», машина не выдает выпускнику задания «С». После окончания работы с заданиями «А—В» компьютер выдает полную информацию бланка ответов и регистрации (возможно их распечатывание), выпускник самостоятельно верифицирует (проверяет правильность сканирования и распознавания) свою работу и подтверждает правильность данных. После этого машина сразу дает файлы данных регистрации и бланков ответов «А—В» в базу, которая в режиме реального времени передается на проверку. По окончании выполнения заданий «А—В» выпускнику выдаются задания «С». Он выполняет их на стандартизированном бланке со штрихкодами и дальше обрабатывает по базовой бланочной технологии с дальнейшей проверкой экспертами.

После того как эксперты проставят оценки ответов «С», протоколы экспертной проверки сканируются и передаются в Федеральный центр тестирования, где информация автоматически вводится в компьютер; результаты выполнения заданий «А», «В» и «С» объединяются и подсчитываются баллы для каждого учащегося. Результаты сохраняются в сводной общероссийской базе данных.

Таким образом, несмотря на некоторые различия, во всех модификациях технологий проведения ЕГЭ используется принцип тестирования при помощи стандартизированных КИМ, не лишенных недостатков. Одна из проблем стандартизированного тестирования заключается в том, что для его проведения требуется очень большое число вариантов тестов. Так, к примеру, по математике в 2004 г. было создано около 500 вариантов – более чем по сотне на каждый временной пояс. При всем желании разработчиков их выравнять они не равнозначны между собой по уровням трудности, более того, порой для территорий с разными временными поясами они различаются не только по уровням трудности, но и по структуре, что очень осложняет возможности мониторинга качества обучения в масштабах страны. Другая проблема стандартизированных КИМ заключается в том, что одинаковые тесты выполняют школьники с разным уровнем подготовленности, а это значит, что сильные выпускники, выполняя задания низкого уровня трудности, не могут в полной мере показать свои знания, а слабые школьники, не выполняя задания высокого уровня трудности, тоже не могут в полной мере раскрыть свои возможности. Таким образом, эффективность использования стандартизированного теста и надежность измерения при таком тестировании оставляют желать лучшего.

Более совершенной моделью педагогических измерений было бы проведение экзамена по компьютерным технологиям в режиме адаптивного тестирования [194]. Особенностью компьютеризированных форм контроля является использование адаптивного тестирования, при котором процесс формирования тестов и обработка результатов осуществляются автоматически, повышаются точность и надежность измерений, информационная защищенность, появляется возможность проведения многих сеансов на одном и том же оборудовании в течение некоторого временного интервала. Точность измерения уровня подготовленности испытуемого увеличивается за счет того, что компьютер сам методом случайной выборки подбирает тестовые задания непосредственно перед предъявлением их на экран монитора, так сказать, по ходу тестирования. Основной принцип его заключается в том, что измерение уровня подготовленности происходит тем точнее, чем большее число тестовых заданий соответствующего уровня трудности выполняет испытуемый. Компьютерная программа адаптирует, приспосабливает уровень трудности заданий к уровню подготовленности испытуемого, позволяет слабо подготовленным учащимся решать больше легких заданий, сильным – больше трудных (т.е. каждый участник работает с большим числом заданий такого уровня трудности, который соответствует его уровню подготовленности). Это позволяет более точно определить качество знаний и более тонко дифференцировать отметки на единой логистической шкале в зависимости от того, кто и какие по трудности задания выполнял. Благодаря большому числу заданий определенной трудности, предлагаемых при компьютерном тестировании, тесты оказываются достаточно надежным измерительным инструментом педагогического контроля.

Компьютерные технологии информационно защищены значительно надежнее, чем бланочные. В таких технологиях учитывается и фактор времени, и задания–ловушки, позволяющие отследить возможное вмешательство. Кроме того, у организаторов нет и не может быть теста в распечатанном виде. По истечении среднего времени на выполнение задания машина убирает задание и дает следующее, вернуться назад можно только на одно–два задания за фиксированное время. При наличии надежного банка калиброванных тестовых заданий в перспективе в школах возможен переход на адаптивные технологии и в процессе обучения. В информационном обществе именно такие технологии со временем станут преобладающими. В будущем предусматривается интенсифицировать и расширить возможности компьютерного адаптивного тестирования как одного из основных методов информационной технологии самоподготовки, самоконтроля и оценки учебных достижений обучающихся в XXI в.

Вопросы и задания

1. В чем суть многоуровневого подхода к управлению качеством обучения?

2. Перечислите виды контрольно–оценочной деятельности.

3. Каковы отличительные особенности традиционного и тестового контроля?

4. В чем проявляется квалиметрический характер контроля?

5. Перечислите основные функции тестового контроля.

6. Какие из функций контроля совпадают при опросе и тестировании?

7. Какие функции контроля присущи только тестированию?

8. Какие функции контроля присущи только традиционному контролю?

9. В чем заключается особенность компьютерного адаптивного тестирования?