Текст книги "Как использовать анализ данных о добавленной стоимости для улучшения обучения школьников: руководство для школ и лидеров школьных округов"

Предисловие Дугласа Б. Ривза

Эта актуальная книга выходит в свет в самый подходящий момент: именно сейчас она окажет большую пользу преподавателям и заведующим учебным процессом. Несмотря на то что анализ данных о добавленной стоимости применяется уже более 20 лет, его повсеместное использование начинается только теперь. При этом существует множество форм анализа, к которым можно применить понятие добавленной стоимости, и эти формы значительно отличаются друг от друга с точки зрения используемых оценок, аналитических инструментов и путей их применения (или неприменения) в сфере образования – для оценки преподавателей и тех, кто управляет учебным процессом.

Даже самая лучшая система оценки окажется бесполезной, если учителя и школьные руководители не используют ее для совершенствования методов работы. И именно практическое применение анализа данных о добавленной стоимости легло в основу этой книги.

Пробираясь через лабиринты премудростей

Чтобы разработать надежные и достоверные методы оценивания учеников, от разработчиков тестов и психометристов требуется изрядная доля энтузиазма. Проведение анализа данных о добавленной стоимости может включать чрезвычайно сложные математические расчеты, например матрицы вариаций-ковариаций. Но преподавателям и завучам, чтобы успешно применять в своих классах результаты анализа добавленной стоимости, необязательно становиться психометристами или экспертами по статистическим методам. Нам не нужно разрабатывать и собирать компьютеры, чтобы ежедневно пользоваться ими для решения наших профессиональных задач, и точно так же от нас не требуется заниматься аналитическими расчетами, чтобы применять их результаты в нашей работе.

От порицании к анализу

Уже широко известно, что анализ данных о добавленной стоимости показывает глубинное влияние качества преподавания на результаты учебы. Однако часто при его обсуждении образуется замкнутый круг: чтобы получать более высокие баллы, нужно быть лучшим учителем, а чтобы быть лучшим учителем, необходимо получать более высокие баллы. Причем при рассмотрении добавленной стоимости практически не существует инструментов, позволяющих выявить, какие именно особенности работы отличают лучших преподавателей от всех остальных. Когда исследование опирается на процентильный анализ, в верхний квинтиль по определению попадает ровно 20 % всей выборки, т. е. лишь одна пятая учителей может оказаться в числе лучших. И при этом, естественно, 49,9 % всех учителей оказываются неудачниками – их показатели находятся ниже среднего уровня. К сожалению, такой анализ, будучи, бесспорно, интересным с исследовательской точки зрения, вряд ли вызовет энтузиазм среди педагогов и школьных администраторов. Вот почему эта работа Кеннеди, Питерс и Томаса имеет такое большое значение. Если не ограничиваться лишь изучением данных об успеваемости, а рассматривать также и ведущие к успехам в учебе профессиональные практики, то фокус дискуссии сместится от банального наказания за неудовлетворительную работу к возможности анализировать и выбирать наиболее эффективные методы преподавания, а с точки зрения учителя – от оборонительной тактики к осмысленному профессиональному развитию. Многочисленные свидетельства педагогов и школьных администраторов доказывают, что анализ данных о добавленной стоимости может применяться так, чтобы не подрывать уважение к учителям и не провоцировать поток жалоб и судебных исков. Правильное использование этого анализа лишь улучшает педагогическую практику и укрепляет авторитет руководителей. важно отметить, что процесс анализа задействует все элементы системы, в том числе различные факторы на уровне класса, школы и округа, влияющие на добавленную стоимость, получаемую учащимися. Качество преподавания чрезвычайно важно, но некоторые характеристики и факторы системы могут препятствовать эффективному преподаванию, и именно поэтому данная книга охватывает рассмотрение системы в целом и описывает ее влияние на преподавание и обучение.

От точечного управления к исследованиям

Ценность глав 7 и 8 – в глубоких исследованиях и рефлексии. Важнейшие идеи, содержащиеся в этой книге, могут лечь в основу целенаправленного процесса исследования причин научения и природы эффективного преподавания. Это не система инструкций, в которой приглашенный специалист говорит вам: «Примите две таблетки и позвоните мне утром». Приведенные в книге инструменты и последовательности действий послужат педагогам руководством для проведения исследований и совершения открытий. Кого-то из читателей такой подход может разочаровать: «Просто укажите нам, что делать!» – раздраженно скажут они. Но на таком пути уже были разбазарены миллиарды долларов и упущены тысячи возможностей: политики и методисты постоянно предлагали педагогам различные рецепты, не давая им времени на то, чтобы понять, что они делают, и осознать причины и следствия своих действий. Вот почему «приживаемость» даже самых многообещающих оперативных мер в образовании оказывается очень низкой, а срок жизни большинства педагогических инноваций обычно не превышает нескольких лет. многолетняя гонка за новшествами превратилась в аналог популярного игрового автомата «Убей крота», когда методисты и политики сферы образования бросаются устранять постоянно возникающие тут и там проблемы, не преуспевая в их решении и не видя им конца и края. Как пишут Кеннеди, Питерс и Томас: «К сожалению, результатом стремления улучшить все и вся оказывается отсутствие значимых улучшений в чем бы то ни было» (см. с. 111). Концентрация всякий раз на конкретной задаче вместо попытки решить сразу все проблемы позволяет учителям сфокусироваться на потребностях конкретных учеников и на определенных педагогических практиках, следить за результатами и принимать при необходимости оперативные меры.

Прозрачность и контролируемость – основа научающей системы: пять предостережений для руководителей сферы образования

Первое – поскольку работа Кеннеди, Питерс и Томаса очень хороша, со своей стороны не могу не высказать те же самые соображения, что были со всей беспристрастностью обозначены авторами. А именно, хочется сформулировать пять предостережений для руководителей сферы образования, а также для определяющих образовательную политику экспертов и чиновников, собирающихся внедрять анализ данных о добавленной стоимости. Первое – без специализированного обучения эта система может оказаться не просто бесполезной, а вредоносной. Технология добавленной стоимости в образовании много раз была скомпрометирована неправильным использованием. Когда педагоги и администраторы оказываются погребены под грудой данных, которых они не понимают, они не могут использовать их для принятия правильных решений. Если учителя не понимают информации об оценивании их работы и не доверяют ей, преподавательский состав охватывает чувство бессилия и отчаяния, на преодоление которого могут уйти годы. Велик соблазн обеспечить государственное финансирование систем оценки добавленной стоимости в школах и штатах, испытывающих финансовые затруднения, и при этом не предоставить учителям времени и ресурсов для того, чтобы научиться грамотно использовать эти системы. Затем, когда финансовые потоки неизбежно иссякнут, критики скажут: «Мы же говорили, что тратить на образование еще больше денег – бессмысленно». Купить космический корабль, не обучив космонавтов обращаться с ним, – сомнительная стратегия. И следует учесть, что обучение – это продолжительный процесс: одного вводного семинара недостаточно. Анализ данных о добавленной стоимости должен стать «образом жизни» – привычкой, а не просто еще одной новой инициативой.

Второе – прозрачность и контролируемость может быть средством научения или инструментом грубой силы – но не тем и другим одновременно. Кеннеди, Питерс и Томас предлагают обратить внимание на глубинные причины отчетных результатов и на качество преподавания. Политики часто прибегают к такому лозунгу-угрозе: «Мы заставим учителей отвечать за получаемые ими результаты!». Я бы предложил сменить этот лозунг на другой: «мы заставим учителей, администраторов, методистов и чиновников сферы образования отвечать за то, как они реагируют на свои отчетные данные». Я работал с педагогами и администраторами по всему миру, и никогда не встречал тех, кто хотел бы быть неуспешным в своей работе, но постоянно встречал тех, кто не знает, как добиться успеха. И им никогда не приобрести необходимых для успеха знаний в условиях постоянных угроз.

Третье – результаты самого качественного анализа данных о добавленной стоимости окажутся бесполезными, если тесты не соответствуют задаче. Например, подавляющее большинство тестирований внутри штата имеют в своем составе только задания, связанные со стандартами для данного уровня обучения, в то время как суть анализа данных о добавленной стоимости состоит в том, что он помогает учителям увидеть прогресс учеников, находящихся как на уровне стандартов, так и выше или ниже. Поэтому, чтобы более полно использовать потенциал анализа данных о добавленной стоимости, необходимо проводить тестирование чаще и включать в него большее количество составляющих, чем сегодня. И до тех пор, пока штаты и округа не решат эту серьезнейшую проблему, этим школам и округам придется прибегать к другим методам измерения успехов учеников – особенно тех из них, кто опережает своих сверстников, – чтобы избежать парадоксальной ситуации, при которой учитель, все 100 % учеников которого отвечают стандартам штата и демонстрируют хорошие результаты тестов, попадает в низшие квинтили и считается неэффективным, потому что на шкале измерений просто больше нет места.

Четвертое – суть анализа данных о добавленной стоимости состоит в сравнении результатов одного и того же ученика. Это утверждение гораздо более актуально для стабильных пригородных сообществ, чем для городских школ с высокой текучестью. Переменчивость состава учащихся характерна и для школ с высоким уровнем бедности – ведь семьи часто переезжают под влиянием множества факторов, в том числе из-за стоимости аренды жилья, разводов и безработицы. Ужасным непредвиденным следствием применения анализа отчетов по добавленной стоимости может стать появление у учителей экономического стимула для того, чтобы постоянным ученикам уделять больше внимания, чем переходящим из школы в школу. Некоторые из систем анализа данных о добавленной стоимости справляются с этой проблемой, возмещая обоснованными оценками пробелы тестирования, но в целом нестабильность состава учеников значительно затрудняет педагогам анализ глубинных причин получаемых результатов.

И наконец, пятое – руководители должны следить за тем, чтобы анализ данных о добавленной стоимости не подменял здравый смысл. Центром эффективного преподавания остается ежедневная последовательная работа по обучению и оцениванию учеников. этот каждодневный труд – планирование и проведение уроков, стремление удовлетворять учебные потребности учеников, создание условий для их роста и, при необходимости, исправление ошибок – должен быть объектом пристального внимания руководителей сферы образования на всех уровнях. Как утверждают авторы, анализ данных о добавленной стоимости может предоставить мощную информационную поддержку в ежедневной работе педагога. Но даже самый сложный анализ никогда не заменит необходимости внедрения и контроля эффективных педагогических методик.

Нахант, Массачусетс

* * *

Д-р Ривз – основатель Центра лидерства и научения (www. LeadandLearn.com), автор более 30 книг по лидерству и эффективности организаций.

Введение

США находятся в состоянии активного болезненного перехода от индустриальной экономики к экономике, основанной на знаниях. Большинству из нас хорошо известно, что новая экономика требует от людей совершенно иных навыков, знаний и особенностей характера, чем требовала индустриальная эпоха. Но, похоже, не все из нас действительно готовы к переменам. Мы видим, что институт образования находится прямо в эпицентре этой, так сказать, штормующей проблемы. Людям необходимо перевооружаться, но те, кто в ответе за это перевооружение – педагоги, – пока сами пытаются понять, как им перевооружить самих себя. И сегодня самыми острыми для работников сферы образования становятся вопросы «С чего начать?», «Как сконцентрировать внимание на улучшениях?» и «Как мы должны изменить лицо образовательной системы, чтобы изменить лицо экономики?». Это трудные вопросы, требующие продуманных, применимых на практике ответов.

Один из возможных ответов содержится в сравнительно недавней инновации в сфере образования: анализе данных о добавленной стоимости. Проведя тщательный статистический анализ результатов тестирования за продолжительное время, можно с большой степенью надежности оценить вклад округа, школы и даже конкретного учителя в академические достижения учащихся. Впервые у педагогов появилась достаточно надежная мера продуктивности. Такое достижение кажется незначительным, но это вовсе не так. Поскольку мера продуктивности связывает процессы образования с их результатами, она принципиально важна для любого обдуманного системного импрувмента. Вот почему анализ данных о добавленной стоимости – один из сильнейших рычагов, способный помочь педагогам сдвинуться с мертвой точки. Но что такое анализ данных о добавленной стоимости? Как его можно использовать для совершенствования сферы образования? Как он поможет педагогам усиливать свои преимущества и решать проблемы? Как анализ данных о добавленной стоимости поможет большему количеству учителей помогать большему количеству учеников?

Эта книга была написана для того, чтобы ответить на эти и другие важные вопросы относительно добавленной стоимости. Она не о тестировании и не о статистическом моделировании. И не о том, как использовать анализ данных о добавленной стоимости для оценки учителей и распределения заработной платы в соответствии с этой оценкой. Книга эта о том, как улучшить научение учеников. она написана для педагогов и других работников сферы образования, стремящихся повысить уровень образования, которое ученикам необходимо и которого они заслуживают.

В чем уникальность книги

Мы написали эту книгу, потому что подобной литературы для педагогов до сих пор не было. сегодня доступны материалы о потенциальных последствиях анализа данных о добавленной стоимости, о связанных с ним методологиях или об использовании его в целях оценки работы учителей. До сих пор в стороне оставался вопрос об особой значимости полной информации о добавленной стоимости для информационного подкрепления и дизайна образовательного импрувмента. мы верим в педагогов и в их способность к изменению самих себя. мы также верим, что информация о добавленной стоимости – это именно тот инструмент, который поможет начать критически важное обсуждение, чтобы такая трансформация произошла.

Эта книга дает нам возможность устранить пропасть между обладанием информацией о добавленной стоимости и ее использованием [McCaffrey, Hamilton, 2007]. Возможно, внеся ясность в само понятие анализа данных о добавленной стоимости, а затем предложив конкретные, основанные на опыте других педагогов инструкции по его использованию, мы сможем сократить пробел между «знать» и «делать». Мы используем примеры из жизни – истории успеха – потому что реальные примеры всегда были одним из мощнейших инструментов образования [Rossiter, 2002].

Кроме того, мы собираемся помочь педагогам поразмышлять над тем, что они могут предпринять для улучшения качества всех научающих процессов, проходящих в их школе. Работая с учителями из разных уголков страны, мы на опыте убедились, что анализ данных о добавленной стоимости может быть использован для улучшения научения детей – для развития этого процесса как вширь, так и вглубь. Мы своими глазами видели, как учителя перестраивают свою работу, получив доступ к данным о добавленной стоимости, а также получив возможность изучать эти данные и предпринимать на их основе конкретные действия. Мы видели, как, сформировав правильную культуру образовательного процесса и создав необходимые для изучения и использования данных организационные структуры, руководители школ добивались совершенно недосягаемых ранее успехов. Мы видели, как школьные округа повышали свои результаты до беспрецедентного уровня, внедрив в процесс школьного импрувмента информацию о добавленной стоимости. Во многих случаях повышалась вовлеченность учеников, сокращалось число обращений к начальству, а личная эффективность учителей взлетала до небес. Эти примеры дают так необходимый нам сегодня стимул к тому, чтобы испытать что-то новое и отличающееся от привычных методов работы. В этой книге вы познакомитесь с Кейти и Хизер – учителями, использовавшими информацию о добавленной стоимости для того, чтобы обогатить процесс научения всех своих учеников. Вы узнаете историю Кими – руководителя, чья школа значительно улучшила свои результаты, тщательно анализируя информацию о добавленной стоимости и реагируя на нее. Вы также прочтете о Тине и Бобби – директорах, которые осуществили в своих школах импрувмент высочайшего уровня.

И наконец, еще одна, может быть главная, причина, по которой мы взялись за написание этой книги, состоит в том, чтобы дать читателю возможность по-новому взглянуть на образовательный импрувмент. Импрувмент не должен быть лишь уделом тех, чьи показатели далеки от желаемых. Он также не должен проводиться внешними экспертами. Импрувмент должен стать повседневной работой, определяющей профессию педагога. Хорошая новость в том, что постоянно улучшать процессы преподавания не сложнее, чем улучшать любую другую сферу жизни. Все дело в простых и понятных процедурах, постоянных обсуждениях и экспериментах. Все дело в приобретении знаний и в том, чтобы делиться этими знаниями и распространять опыт успешных школ. Ценность данных, и особенно данных о добавленной стоимости, состоит в том, что они могут помочь вам найти неоткрытые до сего дня острова совершенства.

Независимо от того, является ли анализ данных о добавленной стоимости новой для вас темой, или вы стремитесь найти лучшее применение имеющейся у вас информации о добавленной стоимости, эта книга поможет вам понять, какие улучшения вам нужны, и как их осуществить.

Краткое содержание книги

Чтобы задать читателю ясное направление, мы построили повествование на практическом пятиэтапном цикле импрувмента, представленном на рис. В.1. Руководствуясь своим многолетним опытом работы с учителями и директорами школ, мы разработали этот цикл достаточно простым, чтобы оказывать смысловую поддержку, но достаточно сложным, чтобы отразить реальные составляющие процесса импрувмента в рамках класса, школы и округа. Изображенный ниже цикличный процесс непохож на другие циклы улучшений, многие годы применявшиеся в сферах образования и бизнеса. Мы выработали нашу схему на базе классического непрерывного цикла улучшения У. Эдвардса Деминга «Планируй – Выполняй – Изучай – Действуй», получившего распространение в 1950-х годах. Цикл улучшений на основании добавленной стоимости состоит из следующих этапов.

Шаг I: Погружение в анализ данных о добавленной стоимости.

Шаг II: Оценка результатов для выявления сильных сторон и вызовов.

Шаг III: Выявление глубинных причин.

Шаг IV: Разработка плана по импрувменту.

Шаг V: Действие, контроль, подстройка.

Рис. В.1. Цикл импрувмента на основании анализа данных о добавленной стоимости

Источник: © 2011, Battelle for Kids.

Шаг I: Погружение в анализ данных о добавленной стоимости

Первый этап цикла – погружение в анализ данных о добавленной стоимости – описан в первых трех главах книги, нет ничего магического в том, чтобы начать этот анализ, нужно лишь полностью погрузиться в него, целенаправленно и с энтузиазмом.

Главу 1 мы начнем с определения анализа данных о добавленной стоимости, разберемся, в чем его отличие от данных по успеваемости. это различие принципиально важно для понимания того, как толковать результаты анализа данных о добавленной стоимости. Кроме того, важно понимать роль, которую анализ данных о добавленной стоимости играет в системе сбалансированного оценивания. В этой главе также затрагивается ряд вопросов применения анализа данных о добавленной стоимости и приводятся результаты некоторых исследований, проведенных на базе этого показателя.

Глава 2 посвящена тому, как создавать условия для успешного внедрения и применения анализа данных о добавленной стоимости, в том числе тому, как формировать образовательную культуру, основой которой являются эти данные; как обеспечивать профессиональное развитие и как получить доступ к отчетам по добавленной стоимости. Из этой главы вы также узнаете, как некоторые из наших клиентов-партнеров смогли «погрузиться» в свои отчеты по добавленной стоимости.

Эта глава содержит практические инструменты, которые помогут вам и вашим коллегам начать процесс внедрения анализа данных о добавленной стоимости в свою практическую деятельность.

В главе 3 основное внимание сфокусировано на системном импрувменте в образовании и на том, почему анализ данных о добавленной стоимости является важным отправным пунктом для начала процесса импрувмента в округе, школе и классе. Мы познакомим вас со структурой импрувмента в образовании, которую мы назвали BFK·Фокусом. эту структуру можно представить как последовательное продвижение через три воронки анализа, соответствующие трем уровням структуры школьного образования, что позволяет педагогам ставить цели, опирающиеся на отчетные данные (см. рис. 3.1). На протяжении всей книги вы будете систематически проходить через все три воронки, соответствующие каждому из уровней вашей организации.

Шаг II: Оценка результатов для выявления сильных сторон образовательного процесса и вызовов

Главы 4, 5 и 6 посвящены второму этапу цикла – оценке результатов для выявления сильных сторон и вызовов. В этих главах вы научитесь читать отчеты по добавленной стоимости на уровне округа, школы и класса, составлять матрицу для оценки результатов этих отчетов и анализировать дезагрегированные данные, чтобы выявлять сильные стороны и вызовы для вашего округа, школы или класса.

Шаги III и IV: Выявление глубинных причин полученных результатов и Разработка плана по импрувменту

Третий и четвертый этапы цикла импрувмента на основе анализа данных о добавленной стоимости – выявление глубинных причин отчетных результатов и разработка плана по импрувменту – описаны в главе 7. Основная задача этой главы – описать процесс поиска глубинных причин, лежащих в основе достигнутого успеха и выявленного вызова. Мы собираемся последовательно обучить вас анализу глубинных причин, результатом которого станет появление практичного плана импрувмента.

Шаг V: Действие, контроль, подстройка

Глава 8 завершает полный цикл импрувмента школьного образования на основе отчетных данных о добавленной стоимости. На этом этапе – действие, контроль, подстройка – вы узнаете, как приступить к реализации вашего плана импрувмента, действуя на основании информации о добавленной стоимости. Также вы научитесь контролировать реализацию этого плана и при необходимости менять его, оценивать успешность вашего плана импрувмента, а затем начинать все заново, опираясь на новые данные. В этой главе мы поделимся с вами историями учителей, школ и округов, которые совершили переход от получения данных к их анализу, планированию и действию. Эти истории доказывают, что импрувмент – результат вдумчивого руководства, последовательных действий и постоянного совершенствования.