Текст книги "Контроль качества обучения при аттестации: компетентностный подход"

     • апробация, оценивание размерности пространства измерений и определение числа шкал;

     • получение экспертных (внутренних и внешних) и статистических оценок качества инструментария;

     • анкетирование работодателей;

     • коррекция инструментария;

     • проведение измерений;

     • сбор и обработка данных;

     • взвешивание;

     • шкалирование;

     • интеграция данных по различным шкалам;

     • интерпретация результатов оценочного процесса.

Только выполнение всех этих этапов позволит в полной мере реализовать компетентностный подход в профессиональном образовании.

1.5. Показатели качества образования

Критерии выбора и структурирования совокупности показателей качества могут быть самыми разными. За основу для выделения такой совокупности иногда принимают модели системы образования, структурированные цели образовательной системы, критерии ее эффективного функционирования, актуальные проблемы управления и т.д. Вне зависимости от оснований по выбору совокупность показателей должна быть:

     • адекватной трактовкам качества образования, принятым педагогическим сообществом страны;

     • репрезентативной, обладающей достаточной полнотой;

     • операционализируемой на количественном или качественном уровнях измерения;

     • признанной пользователями и полезной на различных уровнях управления;

     • пригодной для сбора информации об образовательной деятельности по нужным в управлении направлениям;

     • нацеленной на ту информацию, которая обладает прогностическими возможностями и является значимой на протяжении нескольких лет;

     • надежной, простой, экономически целесообразной.

Для характеристики качества образования можно выделить обобщенные группы показателей, которые охватывают:

1) данные по образовательным системам;

2) характеристики качества учебного процесса;

3) характеристики качества результатов обучения;

4) данные об интенсивности научной и инновационной деятельности в вузе;

5) объемы вложений в образование;

6 ) данные по эффективности управленческой деятельности в образовании.

К показателям первой группы относятся: характеристики качества содержания образования; структуры и содержание образовательных программ; формы организации учебного процесса; реализация целей обучения и воспитания; сбалансированность образовательной системы, ее стабильность, способность к адаптации при взаимодействии с внешней средой; применяемые педагогические технологии; системы подготовки и переподготовки педагогических кадров; работы по повышению мотивации учебной и профессиональной деятельности педагогов и др.

Показатели второй группы включают характеристики доступности и индивидуализации обучения; организации образовательного процесса (назначения, принципов, методов, планирования, средств и методов контроля процесса и результата обучения); гуманистической и культурно-познавательной направленности образовательного процесса; стандартизации и вариативности учебных программ, соотношения традиционных и инновационных технологий обучения и контроля; способов организации самостоятельной работы студентов во внеаудиторное время и др.

Третью группу составляют показатели, построенные на результатах оценивания качества учебных достижений и требующие для корректной интерпретации развернутой дополнительной информации о демографической и социально-экономической обстановке в районе расположения вуза, качественного состава студентов; образования родителей, условий и атмосферы преподавания; данных рубежного контроля, сведений о дальнейшей судьбе выпускников и т.д.

Среди дополнительных факторов, учет которых необходим при анализе качества результатов образования, принято выделять показатели, не изменяющиеся со временем (географическое положение вуза, столичный вуз или периферийный, социально-экономическое окружение образовательного учреждения и др.), и показатели, подверженные изменениям по мере истечения образовательного процесса (программы обучения, учебники, система домашних заданий, система контроля качества подготовленности, профессорско-преподавательский состав, формы и методы дополнительного образования и др.). К ним можно отнести: индекс развития человеческого потенциала в регионе (процент грамотного взрослого населения, число обязательных лет обучения в школе основной доли взрослого населения, число людей с высшим образованием на 1000 человек), обобщенную характеристику экономической динамики в регионе, характеристику криминогенной обстановки в районе расположения вуза и др.

К четвертой группе относятся показатели интенсивности инновационной деятельности отдельных преподавателей и вуза в целом. При анализе показателей четвертой группы необходимо принимать во внимание последствия инновационной деятельности, которые могут иметь как позитивный, так и негативный характер. При оценивании последствий важно учесть временной фактор, поскольку многие тенденции могут проявляться в разной степени только с течением времени.

В пятую группу включают показатели, отражающие информацию о финансировании образования, его кадровом, информационном, материально-техническом (учебные помещения, лаборатории, оборудование, расходные материалы) и методическом (учебная литература, наглядные пособия, макеты, тренажеры и т.д.) обеспечении.

Шестую группу составляют характеристики эффективности управленческой деятельности, которая осуществляется как прямым административным вмешательством, так и в режиме всеобщей вовлеченности педагогического коллектива вуза и студентов в процесс управления качеством образования.

Таким образом, при оценке качества образования в рамках системного подхода приходится принимать во внимание совокупность самых разных показателей. Для принятия обоснованного решения о достижении либо не достижении определенного качества необходимо по каждому показателю выбрать некоторый критерий или набор критериев, характерный для уровневого подхода к оценке качества результатов образования. Выбор критериев проводится экспертным путем на основе соглашений, и он должен быть четко ориентирован на задачи управления качеством образования.

Для снижения субъективизма при оценке качества образования очевидна важность использования тех показателей, которые допускают трансформацию в количественные критерии и нормы. Значит ли это, что количественные показатели должны занимать приоритетное место при оценке качества образования? Ответ на этот вопрос не однозначный. Отечественный и зарубежный опыт свидетельствует о том, что неосторожное введение количественных критериев и чрезмерное увлечение ими могут привести к неверным представлениям о наличии или отсутствии качества и к ошибочным управленческим решениям.

Типичный пример, подтверждающий высказанное суждение, – практика эксперимента по введению ЕГЭ, где ориентируясь только на процент «двоечников» можно снизить критериальный балл при установлении границы между «двойкой» и «тройкой» и минимизировать тем самым число неуспевающих в большинстве регионов, не принимая во внимание требования к базовой подготовке выпускников. Такая минимизация создаст иллюзию высокого качества учебных достижений выпускников школ, которая не выдержит никакой критики при содержательной интерпретации подготовленности тех, кто получил удовлетворительные оценки.

Столь же проблематично в некачественной интерпретации выглядит вопрос о том, к чему приведет количественный прирост критериального балла для отсева неуспевающих за счет его повышения на 10–20%. Будет ли количественный прирост уровня минимальной подготовленности свидетельствовать о возросшем качестве подготовки аттестованных выпускников или речь идет о простом увеличении объема усвоенных знаний? Таким образом, несмотря на необходимость и важность количественных показателей при оценивании качества образования, абсолютизировать их, превращая в критерии, без развернутой интерпретации и учета дополнительных факторов недопустимо. Если количественные показатели не подвергаются такой интерпретации, то они являются просто статистическими данными.

Желательно, чтобы информация по показателям качества имела восходящий характер, непрерывно передавалась с более низких уровней на более высокие и постоянно агрегировалась на каждом последующем уровне управления. Тогда процесс управления качеством учебных достижений приобретает характер систематического отслеживания изменений в образовательных достижениях школ, муниципальных округов и регионов вместо выборочного оценивания учебных достижений в определенные периоды времени. Свойство непрерывности информации повышает обоснованность управленческих решений и эффективность управления качеством образования.

1.6. Системы менеджмента и оценки качества образования

Новые требования общества к выпускникам системы образования, обусловленные развитием науки и производства, инициируют создание в вузах современных систем менеджмента качества (СМК) образования, закладывающих базу для эталонной модели качества процесса и результатов образования на основе международных стандартов [11]. Сегодня эти процессы охватили в основном профессиональное образование, но постепенно система оценивания качества процесса и результатов образования, реализуемая не в режиме тотального контроля со стороны органов управления образованием, а как регулярная самооценка с осознанием необходимости и важности такой работы, разворачивается в среднем образовании.

Международные организации ЮНЕСКО и Совет Европы разработали теоретические подходы, модели и механизмы обеспечения качества образования, которые приняты всеми странами, являющимися членами этих организаций. Наибольшее распространение получила четырехступенчатая модель обеспечения качества, которая включает:

     • наличие национального органа по обеспечению качества (организации по сертификации систем качества);

     • внутреннюю самооценку (самоаттестацию) и внутренний аудит;

     • оценку внешних экспертов и посещение учебных заведений (внешний аудит);

     • систематическую публикацию отчетов о качестве.

Механизмом реализации такой модели служит вузовская СМК.

Основная цель ее создания – обеспечение условий, необходимых для перевода механизма управления научно-образовательной системой вуза в состояние, адекватное по своим результатам современным требованиям к качеству подготовки специалистов, обеспечивающее стабильное повышение качества образования и способствующее формированию у потребителей доверия к профессиональным качествам выпускников в сочетании с устойчивым повышением их конкурентоспособности на рынке труда.

Реализация основной цели направлена на следующее:

     • содействие эффективному проведению единой государственной политики в области образования и подготовки кадров;

     • защиту прав обучающихся на получение образования, соответствующего по своим характеристикам требованиям государственных образовательных стандартов;

     • защиту общества от появления некомпетентных обладателей дипломов и прочих документов об образовании;

     • непрерывное повышение качества образования;

     • обеспечение преемственности требований к качеству в профессиональном образовании и на рынке труда;

     • предоставление студентам, профессорско-преподавательскому составу и администрации вуза объективной информации о фактическом уровне учебных достижений и других показателях качества процесса и результатов образования;

     • совершенствование системы аттестации выпускников вуза.

В России и ряде других стран нормативной основой для построения СМК в образовании служит международное семейство стандартов ISO, предназначенное в основном для производственных процессов, плохо согласующееся со спецификой образования и ориентированное на процессную парадигму, рассматривающую деятельность организации через цепочку взаимосвязанных и интегрированных процессов. Согласно методологии процессного подхода, в системе управления качеством необходимо регулярно отслеживать состав и функционирование процессов, подлежащих документированию на основе измерений, оценивать результаты измерений в соответствии с постоянно изменяющимися требованиями потребителей, направлениями деятельности и корпоративной стратегией. Оценка адекватности реальных процессов документированным эталоном, проводящаяся с учетом результативности, степени риска и компетентности персонала, позволяет получить представления о реализуемом качестве образования.

С течением времени семейство стандартов ISO подвергалось многочисленным изменениям и переделкам. В основе такого обновления лежало сближение требований стандартов ISO с концепцией всеобщего управления на основе качества (ТQМ), в частности с ее восемью основополагающими принципами. Такое сближение происходило нелегким путем в силу различных целевых парадигм. В соответствии с основополагающими требованиями ISO, все процессы должны обладать высокой результативностью, в то время как TQM ориентирует на обеспечение эффективности процессов, анализируя то, какой ценой достигается результативность. В итоге появились стандарты ISO серии 9000 и 9001 версии 2000 г., которые, как отмечают специалисты, стали более демократичными и более пригодными для построения СМК в образовательных учреждениях. Сочетание этих двух подходов при построении СМК вуза, которое довольно трудно обеспечить, позволяет добиться оптимизации процессов, протекающих в образовании.

Безусловно, ключевым в деятельности вуза является учебный процесс. Поэтому при создании внутривузовской СМК, особенно на первом этапе, необходима преимущественная ориентация на совершенствование системы управления учебным процессом. В целом СМК носит многокомпонентный характер. Помимо всех структур вуза, являющихся объектами управления, в нее входят структурно-функциональная модель управления качеством образования, требования ФГОС по реализуемым в вузе направлениям подготовки, вузовская система контроля качества образования, информационные потоки нисходящего и восходящего характера, технологии контроля и мониторинга, инструментарий для измерений качества процессов и результатов образования, совокупность требований к качеству подготовки специалистов, профессиограммы, составленные с учетом требований работодателей, критерии качества и т.д.

При создании СМК в соответствии с требованиями ISO серии 9000:2000 для выделения всех необходимых элементов необходимо поэтапно описать весь учебный процесс на макроуровне, т.е. от этапа изучения возможности внедрения образовательной программы до выпуска специалистов. Затем детализировать каждый из процессов этой цепочки на среднем и первичном уровнях, описав его в виде блок-схемы или схемы информационных потоков с учетом системы управления процессом. Общие информационные потоки в системе управления качеством подготовки специалистов показаны на примере университета, имеющего в своей структуре ряд институтов (рис. 1.9).

Рис 1.9. Структура документации СМК образования

Перечень процессов (подпроцессов) каждого этапа жизненного цикла определяется путем систематизации функций, установленных положениями о каждом структурном подразделении вуза. Затем выделенный перечень процессов дополняется операциями, необходимыми с точки зрения системного подхода к осуществлению деятельности. Процессы детализируются с помощью специальных карт, в которых представляются входы и выходы каждого процесса, его участники, документальное и ресурсное обеспечение.

В целом в работе по созданию СМК в вузе можно выделить два этапа: построение системы и ее сертификацию, связанную с подтверждением возможности применения СМК. Для внедрения СМК образования в практику деятельности вуза необходимо соблюдать определенную последовательность действий:

     • осознать цели сертификации СМК образования и определить преимущества этого процесса для повышения престижа вуза и конкурентоспособности выпускников вуза на рынке труда;

     • ознакомить руководство вуза с целями СМК образования и обеспечить его участие в этом процессе;

     • разработать или усовершенствовать внутривузовскую систему оценки качества образования, включающую систему внутреннего аудита, мониторинга качества образования, инструментарий для измерений, программно-инструментальные средства обработки данных мониторинга, технологии и методики;

     • подготовить кадры по системам управления качеством, педагогическим измерениям, ведениям баз данных мониторинга, внутреннему аудиту, ведению документации по системе менеджмента качества образования;

     • разработать необходимую документацию согласно требованиям ИСО серии 9000 и критериям динамической модели EQUIS;

     • провести предварительную оценку текущего состояния процессов в вузе путем оценивания соответствия между реально протекающими и документированными процессами;

     • провести анализ результатов оценивания соответствия, выбрать необходимые направления совершенствования процессов, разработать процедуры;

     • создать действующую систему внутреннего аудита, анализировать данные аудита на протяжении нескольких лет, оценить динамику изменений в качестве образования;

     • выбрать орган по сертификации и провести внешний сертификационный аудит;

     • обеспечить механизм по обновлению и совершенствованию СМК образования в вузе.

В процессе создания СМК за основу можно взять два вида документального представления: документы по качеству и по подтверждению качества (и подтверждению улучшения качества).

К первой группе относятся:

     • документы по планированию качества (стратегическому и оперативному);

     • документы по управлению качеством (политика и цели в области качества, руководство по качеству, документированные процедуры управления), в которых сформулированы цели и задачи в области качества, описана система управления качеством и выполняемые в структуре университета процессы с учетом требований ISO 9001:2000 (ГОСТ ISO 9001-2001);

     • документы по обеспечению и улучшению качества, регламентирующие требования к результатам и процессу обучения с его составляющими, контролю и оцениванию качества процессов и результатов обучения (внутренние и внешние нормативные документы).

Ко второй группе относятся документы по подтверждению качества процессов и результатов обучения, сопровождаемые подтверждением позитивной динамики происходящих в них изменений. Основное требование к документам второй группы связано с возможностью накопления информации о качестве в специальных базах данных, обеспечивающих оперативное предоставление информации для ее статистической обработки и анализа.

Структуру документации СМК образования можно представить в виде треугольника (см. рис. 1.9), в которой документы по качеству формируют «фундамент» (документы по планированию, обеспечению и улучшению качества), а «надстройку» представляют документы по управлению качеством. Документы по подтверждению качества и улучшения качества образуют боковые грани.

Такое структурирование позволяет четко наладить управление документацией, поскольку документы разного уровня управляются по-разному. В документированных процедурах управления на уровне всего вуза и его подразделений необходимо описать установленный порядок выполнения процессов с учетом требований ISO 9001:2000 (ГОСТ ISO 9001:2001) и установить четкие информационные потоки при взаимодействии участников процессов (рис. 1.10). При документировании учебная деятельность рассматривается как процесс со своим входом и выходом. Границы процесса устанавливаются на основе определения информации, служащей сигналом к его началу и к окончанию. Только в этом случае можно точно описать переходы от одного процесса к другому, установить взаимосвязь и взаимодействие процессов, правильно и четко организовать информационные потоки. Каждый процесс разделяется на подпроцессы, состоящие из микропроцессов (отдельных операций, действий, шагов), имеющих свои вход и выход, и нуждающиеся в документальном подтверждении.

Рис. 1.10. Информационные потоки в системе управления качеством подготовки специалистов в университете, включающем ряд институтов

Общие требования, предъявляемые к изложению и оформлению документации СМК образования:

     • системность – документация должна быть структурированной с указанием четких взаимосвязей между документами (обязательность ссылок на сопутствующие документы);

     • функциональная полнота – документация должна отражать все аспекты деятельности в СМК и содержать исчерпывающую информацию обо всех процессах и процедурах;

     • адекватность – соответствие требованиям ISO серии 9000: 2000;

     • идентифицируемость – каждый лист документации должен быть однозначно отнесен к определенному документу, а документ – к определенной части системы;

     • адресность – каждый документ должен быть адресован конкретным исполнителям;

     • простота – текст документа должен быть краток и точен, однозначен и понятен для исполнителя.

Перечень основной документации, нуждающейся в первоочередной разработке при создании СМК, приведен в табл. 1.1.

Таблица 1.1 Основные документы СМК

Процессный подход хорошо согласуется с организацией работы вуза, различные виды деятельности в котором (учебная, научно-исследовательская, издательская, производственно-коммерческая, финансовая и др.) должны представлять собой взаимосвязанные процессы. Однако когда дело доходит до построения СМК, то связать воедино все эти хотя и взаимодействующие, но разнородные процессы, считая выход одного процесса входом другого, оказывается достаточно сложно и не вполне корректно.

Подобного рода трудности встречаются не только в образовательных учреждениях, поэтому даже у профессионалов в области качества нет единого мнения относительно оптимальности процессного подхода при управлении качеством.

В настоящее время во многих зарубежных странах широкое распространение приобрела динамическая модель совершенствования качества образования, построенная в рамках Европейской системы совершенствования качества (EQUIS – European Quality Improvement System) и ориентированная на подготовку студентов в сфере управления [10]. В этой модели качество трактуется как позитивные изменения в процессах и результатах образования, обусловленные совершенствованием образовательной системы и отражающие новые требования общества. Для реализации динамической модели необходимо накапливать данные о познавательной творческой активности и других учебных достижениях студентов на протяжении всего периода обучения и анализировать их прирост с помощью дескриптивной статистики. Таким образом, в динамическом подходе оценка качества учебных достижений строится на выявлении тех изменений в подготовке обучаемых, которые идентифицируются как улучшение знаний и умений или формирование компетенций (рис. 1.11).

Рис. 1.11. Динамическая модель анализа качества образования

Основные направления анализа, определяющие оценивание динамики изменения качества высшего образования, следующие:

     • уровень инновационности процесса образования и его связи с наукой;

     • степень соответствия содержания образования требованиям профессионального сообщества и интересам личности обучающегося;

     • уровень реализации вузом задач высшего образования.

Динамическая модель включает в себя основные качественные критерии, применяемые различными европейскими ассоциациями для национальной аккредитации учебных заведений. В модели используются одиннадцать областей для анализа изменений показателей качества образования. В Европе она развивается национальными ассоциациями в рамках программ совершенствования качества образования в бизнес-школах. Эти программы используют как инструмент самооценки учебных заведений, и они служат основанием для проведения внешнего аудита, ведущего к аккредитации в рамках EQUIS.

Вне зависимости от выбранного подхода к созданию СМК для функционирования в вузе необходимо решение целого ряда задач, среди которых приоритетными являются следующие:

     • постоянное изучение требований работодателей и рынка труда для повышения конкурентоспособности выпускников, разработка профессиограмм для выпускников вуза по реализуемым направлениям подготовки;

     • систематический анализ тенденций развития в областях знаний, соответствующих компетенции вуза;

     • постоянное изучение конъюнктуры мирового рынка в области образования и науки;

     • систематическая актуализация миссии, целей и политики вуза в соответствии с конъюнктурой отечественного и мирового рынков;

     • тесное взаимодействие с системой среднего образования (школами, гимназиями, лицеями, колледжами);

     • использование образовательных программ, гармонизированных с мировыми нормами и требованиями.

Первые шаги по построению СМК в вузе должны быть направлены на утверждение списков уполномоченных по качеству в подразделениях вуза и Положения о ключевых должностях в области качества. На основании такого положения руководители подразделений могут организовать работу по созданию своих положений о подразделениях и должностных инструкциях сотрудников в соответствии с методической инструкцией системы качества, общими требованиями к построению СМК, положениями о структурном подразделении и т.д.

Важной частью подготовительной работы по созданию СМК является обучение уполномоченных по качеству (менеджеров по качеству) и профессорско-преподавательский состав (ППС) вуза специальной дисциплине, которая обычно называется «Системы менеджмента качества в вузах. Разработка и совершенствование». В рабочую программу такой дисциплины необходимо включить общие представления о СМК образования и процессах, протекающих в деятельности вуза. Она также должна содержать методики документирования процессов, измерения их результативности и эффективности. Необходимы сведения по системе мониторинга качества образования, подходах к оцениванию удовлетворенности качеством результатов образования потребителей образовательных услуг и работодателей. В тематику обучения следует включить вопросы разработки инструментария для оценивания качества результатов образования и подготовки подразделений к сертификации систем качества.

Для функционирования СМК необходимы системы внутреннего и внешнего аудита. Внутренний аудит – это регламентированная внутренними документами организации деятельность по контролю звеньев управления и различных аспектов функционирования организации, осуществляемая представителями специального контрольного органа (аудиторами) в рамках помощи органам управления организации. Главная задача внутренних аудиторов в вузе – обеспечение потребностей администрации учебного заведения в информации по различным аспектам функционирования СМК и совершенствования качества образования. Помимо аудита, для создания и развития СМК в высших учебных заведениях целесообразно создавать системы мониторинга качества образования [8, 12].

Система мониторинга качества образования в вузе должна охватывать все аспекты характеристик качества процесса и результатов образования. Она предназначена не только для накопления данных о качестве образования, но и для проведения различных видов анализа оценок по показателям качества, обеспечивая внутренние потребности учебного заведения и поддерживая оперативный обмен информацией с внешней средой (с работодателями, органами управления образованием, общественностью, родителями студентов и т.д.).

Вузовская система мониторинга качества образования предполагает формирование единых требований к системе доступа, ввода, хранения и представления результатов контроля подготовленности студентов, создание общевузовского банка оценочных средств и специализированной системы управления банком, обеспечение возможности интерактивного обмена информацией с пользователями (администрацией университета, преподавателями и студентами) в рамках полномочий, определяемых персональными уровнями доступа. Интегрированная в единое информационное пространство вуза, система мониторинга качества образования позволит всем участникам образовательного процесса повысить эффективность своей деятельности и обеспечит непрерывность процессов совершенствования качества образования.

Основные функциональные задачи, решаемые с помощью системы мониторинга качества образования, следующие:

     • развитие системы менеджмента качества вузовского образования;

     • информационное обеспечение контроля и аттестации студентов;

     • информационное обеспечение системы принятия управленческих решений на различных уровнях;

     • сбор и хранение педагогических тестовых материалов для подготовки и проведения текущего, рубежного контроля и аттестации;

     • выдача информации пользователям;

     • построение шкал результатов оценивания;

     • авторизация доступа к информации пользователей на базе многоуровневой системы информационной безопасности;

     • анализ тенденций и прогнозирование динамики изменения качества вузовского образования;

     • обеспечение данных о запросах работодателей, формирование базы данных отзывов о выпускниках;

     • обработка и представление обобщенных результатов пользователям, в соответствии с их сценарием доступа.

Для обеспечения доступа пользователей к данным мониторинга в вузе необходимо создать распределенную информационную систему на основе технологии клиент-сервер, которая будет функционировать в рамках локальной информационной сети учебного заведения. В этой системе каждому пользователю отводится свой сценарий доступа, который определяет круг объектов и характеристик, доступ для чтения и модификации информации в соответствии со следующей классификацией:

     • пользователи, имеющие минимум прав доступа для просмотра открытых информационно-справочных ресурсов, таких как публичные годовые отчеты и справочные материалы по работе с информационной системой;

     • студенты (слушатели), имеющие возможность просмотра собственных результатов, в том числе и за предыдущие годы обучения, а также совокупных (средних) результатов по своей группе, курсу, институту и университету; получения примерных вариантов тестов по изучаемым дисциплинам для самоподготовки;

     • преподаватели, имеющие возможность контроля учебных достижений студентов в своих группах, доступа к банку тестовых заданий, ввода результатов контроля;

     • работники учебно-методических отделов (деканатов) институтов (факультетов), имеющие возможность контроля результатов оценивания учебных достижений студентов;

     • работники учебно-методического управления, контролирующие деятельность вузовских подразделений и преподавателей, а также имеющие доступ для ввода и коррекции информации об организационной структуре подразделений;