Текст книги "Использование систем автоматизированного контроля знаний в профессиональной деятельности педагога"

Н. М. Саукова, Г. Ю. Соколова, С. А. Моркин
Использование систем автоматизированного контроля знаний в профессиональной деятельности педагога

Рекомендовано УМО по направлениям педагогического образования в качестве учебно-методического пособия для студентов высших учебных заведений (Б.2-Информационные технологии в образовании)

Рецензенты:

Е. Ю. Панов, заведующий кафедрой математического анализа НовГУ имени Ярослава Мудрого, доктор физико-математических наук, профессор

А. В. Смирнов, профессор кафедры теории и методики обучения физике МПГУ, доктор педагогических наук

Введение

Учебно-методическое пособие предназначено для студентов педагогических направлений и специальностей, изучающих информационные технологии (ИТ), обеспечивающие профессионально-образовательную деятельность будущих педагогов необходимым формированием общекультурных и профессиональных компетенций в творческой деятельности.

Достаточно аргументировано раскрываются основные понятия тестирования, виды тестирования, формы тестовых заданий, правила составления заданий для компьютерного тестирования.

Для проверки приобретаемых знаний, умений и навыков, а также приобретения ИКТ – опыта предложены широко известные в информационно-образовательной среде системы автоматизированного контроля знаний, таких как My Test,Hot Potatoes, Система тестирования 2.2, среда Flash.

В учебно-методическом пособии подробно раскрываются требования к тестам, основные положения (правила) для подготовки учебных материалов для тестового контроля. Поэтому, вполне обоснованно раскрывается целесообразность использования методических аспектов в соответствии с ФГОС нового поколения.

Вопросы отличаются определенной структурированностью, последовательностью, логикой.

1. Компьютерный тест и его особенности

1.1 Основные понятия

Определение 1. Тестирование – аттестационная процедура, позволяющая максимально объективно оценивать соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования – обнаружение несоответствия этих моделей, оценка уровня их несоответствия в количественной форме. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий, в равных для всех испытуемых условиях.

Определение 2. Тест – это инструмент, состоящий из статистически выверенной системы заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенных для измерения качеств и свойств личности, изменение которых возможно в результате систематического обучения.

Определение 3. Тестовое задание – это четкое и ясное задание по предметной области, представленное по определенным правилам и требующее однозначного ответа или выполнения определенного алгоритма действий.

Определение 4. Остаточное знание (ОЗ) – совокупность знаний, которые должен показать студент по истечении 1 года после завершения изучения дисциплины. Контролирующие задания для оценки ОЗ должны строиться согласно рабочей программе дисциплины и требованиям государственного образовательного стандарта. Контролирующие задания можно рассматривать по уровням сложности:

✓ первый уровень сложности – проверка ОЗ по тем же заданиям, которые были предложены в качестве итоговых заданий/тестов по завершению изучения дисциплины;

✓ второй уровень сложности предполагает проверку основополагающих сведений изучаемой дисциплины без рассмотрения тонкостей вопроса.

1.2 Виды компьютерного тестирования

✓ централизованное тестирование по контрольным материалам, разработанным в соответствующих УМО, ассигнованных министерством центрах;

✓ аттестационное тестирование (при самообследовании, подтверждение государственной лицензии);

✓ итоговое тестирование по оценке соответствия полученных в процессе обучения знаний по конкретной дисциплине требованиям государственного образовательного стандарта;

✓ рубежное и текущее тестирование по оценке подготовленности в процессе изучения дисциплины;

✓ оценка остаточных знаний обучаемых.

Методом компьютерного контроля/тестирования можно получить объективную, оперативную, достоверную информацию о знаниях, полученных в процессе обучения и о готовности обучаемых к восприятию нового материала.

Компьютерное тестирование имеет ряд преимуществ:

✓ обеспечение стандартизации;

✓ обеспечение индивидуальности процедуры контроля;

✓ повышение объективности контроля и исключения субъективных факторов (усталость преподавателя и его эмоциональность или плохое настроение, отсутствие или недостаточность времени для личного общения с преподавателем, другое);

✓ оперативность статистической обработки результатов контроля;

✓ доступность для обучающегося к полной информации о результатах контроля;

✓ обеспечение возможности преподавателю быстрой проверки знаний большого количества обучаемых по разным темам, выполнению заданий, дисциплине в комплексе;

✓ освобождение преподавателя от выполнения повторяющейся трудоёмкой и рутинной работы по организации массового контроля, высвобождение времени для творческого совершенствования разных аспектов его профессиональной деятельности;

✓ обеспечение всесторонней и полной проверки;

✓ обеспечение возможности обучающемуся самопроверки освоения материала в том режиме работы как это ему удобно (сетевой режим доступа контролирующим системам и измерительным материалам);

✓ доступности и равноправия всех участников процедуры тестирования.

Компьютерное тестирование имеет ряд недостатков, выделим два основных:

✓ исключение из процедуры контроля устного речевого компонента;

✓ снижение потребности выбора главного в прочитанном. Рафинированное представление задания не способствует развитию личности.

1.3 Разработка контрольных заданий для компьютерного тестирования

Самой сложной задачей для педагога является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели знаний. Разработка тестовых материалов для любой формы контроля (бланкового или компьютерного) должна удовлетворять определенным принципам, выработанным требованиям, правилам оформления и удовлетворять требованиям экспертов по оценке тестовых заданий.

1.3.1 Требования, предъявляемые к контролирующим заданиям

К основным требованиям, предъявляемым к любым контролирующим заданиям, в том числе и для компьютерного тестирования, обычно относят следующее:

✓ валидность;

✓ определенность (общепонятность);

✓ однозначность;

✓ понятный язык изложения;

✓ доступность;

✓ простота;

✓ краткость заданий;

✓ обоснованность эталона ответа;

✓ надежность.

Валидность теста – это адекватность. Различают содержательную и функциональную валидность: первая – это соответствие теста содержанию контролируемого учебного материала, вторая – соответствие теста оцениваемому уровню деятельности.

Требование определенности теста необходимо для однозначное понимания обучающимся того, что он должен выполнить.

Однозначность следует рассматривать в двух аспектах:

1 – однозначность содержательная, что необходимо для понимания теста всеми участниками процесса тестирования именно только так как написано;

2 – однозначность оценки качества выполнения теста, т. е. единство правил оценки ответов в рамках принятой формы.

Понятный язык изложения. Тестовое задание должно иметь ясный смысл, исключающий какие-либо другие толкования или интерпретации. Должны исключаться малопонятные и редко употребляемые слова, а также неизвестные символы, иностранные слова, затрудняющие восприятие смысла.

Требование простоты теста означает, что тест должен иметь одно задание одного уровня, т. е. не должен быть комплексным и состоять из нескольких заданий разного уровня.

Краткость заданий. Способ представления теста. Краткость заданий должна обеспечиваться тщательным анализом содержания каждого слова, символа, их толкования в словарях русского языка и иностранных слов, в различных энциклопедиях и т. д.

Обоснованность эталона ответа на тестовое задание.

Эталон ответа на тестовое задание разрабатывается заранее опытным преподавателем и согласовывается с научно-методической комиссией. Эталон ответа – это краткое суждение, связанное как по содержанию, так и по форме с содержанием задания.

Понятие надежности тестирования определяют как, вероятность правильного измерения величины. Требование надежности заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. Надежность теста или блока тестов растет с увеличением количества осуществляемых операций.

При организации тестирования ни одному испытуемому не дается никаких преимуществ перед другими испытуемыми. Все отвечают на задания, которые охватывают учебные элементы, составляющие основу структуры содержания обучения по данной специальности, всем даётся одинаковое время. Правила оценки выполнения задания определяются заранее и абсолютно одинаково должны применяться ко всем испытуемым.

При создании таких тестов встают некоторые вопросы:

1) Сколько заданий нужно включить в тест для надёжной оценки достижения каждой из конкретных учебных целей?

2) Какая доля заданий должна быть выполнена правильно для надёжного установления владения предметом?

Оценочные процедуры или анализ субъективных оценок экспертами создаваемых контрольно-измерительных материалов более полезны на начальном и заключительном этапах конструирования теста.

Тест должен быть снабжен оценочной шкалой, сопровождаемой четкой инструкцией для пользователя.

Тесты обладают таким свойством, что по их результатам можно сравнивать всех испытуемых в группе. Системы оценивания должны вытекать из целей тестирования. Для тестов, ориентированных на критерий, считается важным, что испытуемый, превысивший его, считается успешным в выполнении тестового задания.

Для нормативно-ориентированных тестов основанием для сравнения тестовых показателей являются статистические нормы. Особенно важно подобное сравнение при текущем, итоговом и рубежном контроле. Тестовые оценки, как правило, следует переводить в пятибалльную систему. Обычно перевод осуществляется по следующей схеме:

✓ оценка 5 (отлично) выставляется испытуемым за верные ответы, которые составляют 91 % от общего количества вопросов;

✓ оценка 4 соответствует работе, которая содержит от 71 % до 90 % правильных ответов;

✓ оценка 3 соответственно от 70 % до 50 % правильных ответов;

✓ работа, содержащая менее 50 % правильных ответов оценивается как неудовлетворительная.

Обычно, трудность задания определяется в процентах (долях) лиц, давших на него правильный ответ. Чем легче задание, тем выше процент справившихся с ним.

Трудность (сложность) является особенностью не только тестового задания, но и теста в целом. Тест может состоять как из простых субъектов, так и из сложных. В общем виде трудность (сложность) может быть субъективно-статистической.

Субъективная трудность задания зависит от наличествующего психологического барьера, который может быть обусловлен различными факторами. К ним относятся индивидуальные особенности во временных характеристиках выполнения умственных заданий, уровень сформированности мыслительной деятельности, индивидуально-психологического состояния испытуемого, отношения к процедуре тестирования и многие другие факторы.

Понятие интеллектуального индекса трудности задания:

а) тестовые задания, выполнимые в процессе мыслительных операций сравнения испытуемых, можно обозначить через низкий интеллектуальный индекс;

б) задания, представленные через мыслительные операции анализа, синтеза, обобщения (абстракции) оцениваются через средний интеллектуальный индекс;

в) задание, предполагающие их решение посредством мыслительной операции через классификацию, оцениваются через высокий интеллектуальный индекс;

г) творческие задания также подлежат оценке через высший интеллектуальный индекс.

Индивидуальный индекс теста, в целом, может быть представлен, например, в следующих долях (в соответствии с предложенной классификацией):

✓ 25 % заданий решаются посредством сравнения и выявления соответствия объектов или операций (низкий интеллектуальный индекс);

✓ 25 % заданий решаются посредством мыслительной операции обобщения (средний интеллектуальный индекс);

✓ 25 % заданий на систематизацию и классификацию (высокий интеллектуальный индекс);

✓ 25 % заданий творческого характера (высший интеллектуальный индекс);

Таким образом, присвоение тестовым заданиям интеллектуального индекса сложности позволит представить процессуальную сторону мыслительной деятельности через процедуру тестирования.

Следует стремиться к созданию теста, задания которого обладают различительными интеллектуальными индексами.

Для нормативно-ориентированных тестов задания, трудность которых меньше 20 % и больше 80 %, как правило, отрабатываются и заменяются новыми.

Определение дискриминативности заданий.

В теории тестов присутствуют несколько различных терминов, обозначающих возможность количественного оценивания качества задания. В зарубежной тестологии английские термины служат для обозначения способности задания дифференцировать учащихся с различной академической подготовленностью. В отечественной тестологии употребляется термин дискриминативности или дифференцирующей способности заданий.

Дискриминативность заданий определяется, как способность различать испытуемых с высоким общим баллом по тесту, от тех, кто получил более низкий балл. Индекс дискриминации задания вычисляется как разность долей испытуемых из высокопродуктивной и низкопродуктивной группы, правильно решивших ее.

Как правило, берут от 10 % до 30 % (чаще 27 %) лучших и худших результатов выполнения всего теста.

Индекс дискриминации может изменяться в пределах от плюс 1 (когда с заданием справились все учащиеся лучшей группы и ни один из учеников из худшей группы) до минус 1 (когда складывается обратная ситуация – в лучшей группе никто не справился, а в худшей справились все).

Задания с отрицательным значением индекса дискриминации или со значением, близким к нулю, нельзя признать удовлетворительными, в них допущены существенные ошибки.

Показатель индекса дискриминации более 0,3 следует признавать удовлетворительным. Существуют и другие способы определения дискриминативности заданий. Все они основаны на нахождении различных коэффициентов корреляции.

1.4 Контролирующие задания для компьютерного контроля/обучения

Современные системы компьютерного тестирования отличает определенная гибкость, когда обучаемым можно выбрать индивидуальный график прохождения контрольных точек, а при тестировании – конкретный режим: попытаться ответить на большее количество вопросов за большее время или, наоборот, ограничить количество вопросов, но получить меньшее время; выбрать меньшее количество трудных вопросов и большее простых и т. п.

1.4.1 Постановка и типы контролирующих заданий

Контролирующее/обучающее задание – любая форма общения компьютерной системы контроля/обучения с обучающимся, требующая от него мыслительной активности при изучении какого-либо вопроса.

Тип контролирующего (обучающего) алгоритма определяется:

✓ целями обучения;

✓ структурой материала;

✓ методикой преподавания;

✓ подготовленностью аудитории;

✓ фактором времени;

✓ дидактическими возможностями техники.

Рассмотрим, типологию тестовых заданий, и выделим требования к ним. В работе Майорова [13] выделяется два типа заданий, которые объединяют шесть видов (Рис. 1).

Рисунок 1 Типы и виды тестовых заданий

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения обучающемуся необходимо записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

В работе Готлиба М. предлагается рассматривать 7 типов обучающих заданий по принципу реализованного в них алгоритма обучения:

✓ последовательно подготовительный;

✓ параллельно подготовительный;

✓ последовательно корректирующий;

✓ параллельно корректирующий;

✓ алгоритм переноса;

✓ аналитический алгоритм;

✓ алгоритм упорядочения.

Рекомендуемые типы обучающих заданий предлагаем расширить комбинациями указанных алгоритмов, что позволяет разработать обучающие задания, имеющие большую практическую направленность, а последнее является одним из определяющих моментов индивидуально-деятельностной модели обучения.

1.4.2 Вопросы как форма обучающего задания

Контроль и самоконтроль обучающегося – очень важные звенья в любой форме обучения, поэтому существует многообразие форм контроля.

Форма постановки контролирующих/обучающих заданий в виде вопросов – одна из самых сложных. Вопрос, поставленный в КОП, должен отвечать ряду требований и, в первую очередь, – однозначности восприятия, а это, в свою очередь, влечет за собой другие характеристики вопроса для работы КСО: четкость вопроса, полнота постановки, непротиворечивость и другие характеристики этой наиболее важной в обучении дидактической единицы.

Аналитический алгоритм. Суть алгоритма: поставить в соответствие вопросу (упражнению) номер правильного ответа.

Количество вопросов в этом алгоритме может быть как равно количеству ответов, так и меньше.

Алгоритм соответствия. Суть алгоритма: поставить в соответствие каждому вопросу один ответ.

Алгоритм упорядочения. Суть алгоритма: определить правильный порядок выполнения действий. Обучение с помощью предметного алгоритма один из способов достижения необходимого уровня подготовленности обучающегося, и это далеко не всегда приводит к механическому выполнению действий, а скорее прививает правильный и рациональный подход к выполнению определенной работы. На начальных этапах выполнения действий очень важно показать правильный порядок выполнения отдельных операций.

Алгоритм отбора/исключения. Суть алгоритма: указать необходимые действия и порядок их следования, или наоборот исключить нежелательные и лишние операции. Дана ситуация, дан алгоритм достижения цели, показан порядок действий или просто перечень необходимых действий, возможно и лишних или противопоказанных действий.

Способ постановки обучающих заданий на исключение ненужных или вредных действий очень эффективен, поскольку позволяет в подсказке (или других типов пояснений) раскрыть суть неправильных действий (раскрыть и локализовать ошибки) и их последствия. Для повышения эффективности обучения в заключение такого типа обучающих заданий необходимо указать упорядоченную, наиболее эффективную или просто рациональную последовательность действий для достижения цели.

Алгоритм дополнения. Суть алгоритма: дополнение недостающих действий или пропущенных слов.

Алгоритм вычислительного характера.

Алгоритм ситуативный. Суть алгоритма: ставится проблема, возможно комбинированная с другими областями, необходимо предложить конкретное решение. Это очень интересный тип контролирующих и обучающих заданий, где требуется широкая эрудиция преподавателя и не только той предметной области, для которой строится система контроля.

Алгоритм моделирующий. Суть алгоритма: используя интерактивный, программный продукт определенной предметной среды, построить модель заданного процесса или ситуации. Этот тип обучающего задания становится доступен на современном уровне развития компьютерных средств обучения, поскольку для его реализации необходимы интерактивное погружение в среду и повышенные требования к технике. В настоящий период созданы программы, моделирующие различные динамические процессы, позволяющие управлять ими на уровне изменения параметров смоделированных лабораторных стендов. Но эти программы достаточны дороги, ранее были практически малодоступны.

Алгоритм игровой. Суть алгоритма: напоминает алгоритм моделирующий, но более регламентирован средой, специально разработанной для ведения ролевых игр, широко распространен в коммерческом игровом бизнесе, для учебных целей имеет большой интерес.

Разумеется, это далеко не полное представление существующих и возможных алгоритмов, на основе которых можно построить обучающие задания.

Включение в контрольно-обучающие программы различных алгоритмов обучающих заданий позволит обеспечить настройку обучения на различный тип мыслительной деятельности обучающегося, что, безусловно, позволит повысить продуктивность обучения, особенно на начальном этапе получения знаний и формирования умений. Обучение по алгоритму действий далеко не всегда приводит к шаблону действий. В процессе обучения предметные алгоритмы являются мощным технологическим средством обучения.

Алгоритм дополнения. Суть алгоритма: дополнение недостающих действий или пропущенных слов. Относится к открытой форме постановки задания.

Аналитический алгоритм. Суть алгоритма: поставить в соответствие вопросу номер правильного ответа. По классификации А.Н. Майорова – это закрытая форма ответа.

Алгоритм соответствия. Суть алгоритма: поставить в соответствие каждому объекту одной группы объект другой группы (1:1).

Алгоритм классификации. Суть алгоритма: отнести объекты группы В к определенному классу из перечня классов А. Преподаватель должен описать характеристику классов и основания, по которому сформированы классы.

Алгоритм упорядочения. Суть алгоритма: определить правильный порядок выполнения действий.

– алгоритм выбора/исключения. Суть алгоритма: указать необходимые действия и порядок их следования, или наоборот исключить нежелательные и лишние операции. Дана ситуация, дан алгоритм достижения цели, показана совокупность необходимых или допустимых действий, возможно и лишних или противопоказанных действий. Можно использовать графическую постановку задания.

Алгоритм вычислительного характера. Рекомендуются целочисленные вычисления.

Разумеется, это далеко не полное представление существующих и возможных алгоритмов, на основе которых можно построить обучающие задания. Включение в контрольно-обучающие программы различных алгоритмов обучающих заданий позволит обеспечить настройку обучения на различный тип мыслительной деятельности обучающегося.