Текст книги "Как использовать анализ данных о добавленной стоимости для улучшения обучения школьников: руководство для школ и лидеров школьных округов"

Тезис 2
Социально-экономический статус

В школах по всей стране встречаются классы, подобные тем, в которых учатся Янира и Элли. До недавних пор мы делали выводы о том, учат ли в классах, школах и школьных округах тому, что следует знать ученикам, только на основании данных об успеваемости. В чем проблема этого подхода? Чтобы это понять, давайте взглянем на показатели успеваемости штата Огайо. График разброса, представленный на рис. 1.1, показывает взаимосвязь между социально-экономическим статусом и успеваемостью на примере штата Огайо. Каждая точка на графике представляет одно школьное учреждение. Школы размещены на графике в соответствии со своим социально-экономическим статусом, который определяется количеством дотируемых государством обедов в этих школах (вдоль абсциссы), и в соответствии с успеваемостью (вдоль ординаты). Что же мы видим на этом графике? Есть ли связь между успеваемостью учеников и социально-экономическим статусом? Сильна или слаба эта взаимосвязь?

График разброса демонстрирует высокую зависимость между показателями успеваемости и социально-экономическим статусом. В целом, чем больше в школе доля учеников из малоимущих семей, тем ниже оказываются показатели успеваемости. Верно и обратное: меньшая доля представителей бедных слоев населения в школе означает, что показатели успеваемости в этой школе будут в среднем выше. Естественно, есть и исключения, но в целом корреляция между успеваемостью и социально-экономическим статусом достаточно высока.

Существует тесная взаимосвязь между социально-экономическим статусом и успеваемостью.

Рис. 1.1. Успеваемость и социально-экономический статус

Источник: Данные Департамента образования штата Огайо (2009), адаптированные для наст. изд.

Почему взаимозависимость социально-экономического статуса и успеваемости в школе заслуживает более внимательного изучения? Как показывают примеры Яниры и Элли, которые вполне укладываются в картину, представленную на рис. 1.1, место жительства ученика часто определяет, сколько баллов он (она) наберет при тестировании на успеваемость. Если взглянуть на график успеваемости Яниры и Элли за 5-й класс, то они могут выглядеть, как это представлено на рис. 1.2.

Именно так представляется успеваемость учащихся по всей стране: Элли учится удовлетворительно, Янира – нет. Далее в этой главе мы посмотрим на их результаты с другой точки зрения. Но для начала полезно дать определение успеваемости и рассмотреть ее исторически сложившуюся важную роль в системе образования.

Данные по успеваемости – это показатель академической состоятельности учащегося в фиксированный момент времени. В соответствии с законом «Ни одного отстающего ребенка»[4]4
  No Child Left Behind Act (NCLB) – закон принят конгрессом США в 2001 г., поддерживает реформу образования, предполагающую внедрение стандартов и установление измеримых целей, которые призваны улучшить индивидуальные результаты обучения учащихся. – Примеч. пер.


[Закрыть] в каждом штате должно проводиться ежегодное тестирование по чтению и математике учащихся с 3-го по 8-й классы. Результаты тестов успеваемости показывают преподавателям уровень знаний и навыков их учеников относительно установленных стандартов. Каждый год результаты этих тестов сообщаются родителям и общественности. Нередко тенденции в успеваемости отображаются в виде графиков, построенных на основе результатов тестов за несколько лет. Например, ежегодные результаты тестов по чтению в 4-х классах за три года подряд могут продемонстрировать, что удовлетворяющие стандартам оценки получили 75, 80 и 82 % учеников соответственно. Эти сведения дают нам информацию об уровне усвоения навыков чтения четвероклассниками за несколько лет – каждый год это разные группы учеников, – но что она говорит нам о прогрессе одних и тех же учащихся за те же годы?

Рис. 1.2. Элли и Янира: успеваемость за 5-й класс

Источник: © 2011, Battelle for Kids.

Ежегодные отчеты о результатах тестирования не принимают во внимание различия между одними и теми же когортами учеников. Поэтому отчеты о динамике изменения результатов тестирования аналогичны графикам сравнения яблок с апельсинами и ананасами.

Поскольку каждая когорта учеников в определенный год обучения имеет свой средний уровень знаний и навыков, данные тестов не слишком полезны для оценки качества используемой образовательной программы. Программа может быть очень действенной для учеников, соответствующих уровню класса, но не подходить тем, кто отстает от этого уровня, не освоив нужных навыков в предыдущих классах. Поэтому в зависимости от текущего состава класса – от знаний и навыков учеников на начало года – одна и та же программа обучения может оказаться как эффективной, так и неэффективной.

Показатели успеваемости в различных формах используются уже много десятилетий. В большинстве штатов США почти повсеместно эти данные являются первичными для школьной отчетности. Иначе говоря, вклад школы в развитие школьника оценивается по его отметкам на итоговых квалификационных экзаменах. Повысившееся за последнее десятилетие внимание к стандартам оценки качества образования в школьных учреждениях увеличило и интерес к показателям успеваемости (результатам экзаменов). Вклад школ в успеваемость учеников оценивается через общие для всех школ каждого штата системы отчетности, а также нормативы надлежащего ежегодного прогресса (AYP).

Баллы успеваемости имеют свою ценность. Они показывают уровень усвоения учеником информации, который выражается в форме утвержденных штатом нормативов знаний по предметам. Экзамены, проводимые на уровне штатов, дают учащимся возможность «показать себя», и высокие баллы открывают путь к дальнейшему образованию и успешному трудоустройству. Однако у системы, оценивающей лишь успеваемость, есть серьезные недостатки. Самая большая потеря – это невозможность учесть один из важнейших факторов, влияющих на результаты экзаменов, а именно – социально-экономический статус. Его влияние на оценки мы видели на графике разброса успеваемости, представленном выше.

В знаковой работе «Исследование равноправия в образовании», опубликованной в 1966 г. американским социологом Джеймсом С. Коулманом [Coleman, 1966], проанализирона успеваемость 600 тыс. детей из 4 тыс. школ. В 1999 г., оценивая влияние этого исследования спустя более 30 лет после его публикации, писатель Дэвид Дж. Хофф отмечает: «Вместо того чтобы доказать, что качество школ является важнейшим фактором академической успеваемости учащихся – чего ждали от исследования его спонсоры, – отчет, написанный социологом Джеймсом С. Коулманом из Университета Джонса Хопкинса, показал, что самый точный прогноз относительно успехов в учебе можно сделать на основании семейного окружения и социально-экономического статуса учеников школы» [Hoff, 1999, p. 33].

Это исследование, получившее известность как «Отчет Коулмана», привело к ряду стратегических государственных решений, опирающихся на идею о том, что социально-экономические факторы оказывают значительное влияние на успехи в учебе или их отсутствие. Еще одним важным результатом отчета Коулмана стало мнение некоторых преподавателей о том, что их действия в классе не имеют большого значения, ведь Коулман утверждает, что семья и социально-экономические факторы сильнее влияют на успехи учеников, чем качество школьного образования.

Некоторые учителя считают, что не их вина, если ребенок в нужное время не учился учиться, и такого рода убеждения и сегодня не чужды нашей образовательной культуре. По этой причине сегодня отчет Коулмана «повсеместно считается самым важным исследованием XX в. в сфере образования» [Ibid.].

В 2002 г. (через 34 года после выхода Отчета Коулмана) был принят закон «Ни одного отстающего ребенка» (No Child Left Behind Act – NCLB), придавший новый смысл понятию отчетности в образовании. Закон NCLB предписывал каждому штату установить стандарты знаний по предметам, если таковые еще не установлены, а каждому ребенку к 2014 г. следовало достичь удовлетворительного уровня успеваемости.

Закон NCLB открыл стране глаза на пробелы в образовании, однако несмотря на разумное зерно, содержащееся в требованиях установить стандарты знаний по предметам, этот закон никак не способствовал тому, чтобы помочь всем ученикам достигнуть удовлетворительного уровня успеваемости. Эксперты по анализу данных о добавленной стоимости д-р Уильям Сандерс и д-р Джун Риверс отмечают, что внимание к успеваемости, предписанное законом NCLB, «ведет к победе в битве, но к поражению в войне» [Rivers, Sanders, 2009, p. 45]. Исследователь Тед Хершберг пишет, что «в своей нынешней формулировке закон NCLB вряд ли приведет к необходимым переменам… Но если штаты примут новую статистическую методологию, известную как оценка добавленной стоимости, которая позволяет оценить вклад обучения в успеваемость учащихся, они обеспечат преподавателей мощным диагностическим инструментом, который позволит усовершенствовать методы обучения и заложит фундамент для преобразования наших школ» [Hershberg, 2004, p. 5].

Итак, мы установили, что социально-экономический статус влияет на результаты обучения, а внимание к одной лишь успеваемости не будет способствовать росту, необходимому для достижения учениками удовлетворительного уровня этой успеваемости. Мы определили понятие успеваемости и оценили важность роли, которую это понятие играет в формировании текущей системы отчетности школ. Тем не менее классы, подобные классу Яниры, во всех школах страны носят ярлык неудачников. это значит, что нам стоит перейти к изучению другой точки зрения на эффективность преподавания, а именно – к анализу данных о добавленной стоимости.

Тезис 3
Анализ данных о добавленной стоимости: справедливая система оценки

Рассмотрим еще один график разброса.

На рис. 1.3 отражена взаимосвязь социально-экономического статуса и прироста добавленной стоимости. На ординате ноль соответствует отсутствию разницы между ожидаемыми и полученными оценками учеников. Иными словами, точки, расположенные вблизи нулевой отметки, означают средний – он же приемлемый, или близкий к ожидаемому, – годовой рост. Отрицательные значения прироста добавленной стоимости, т. е. точки, расположенные ниже нулевого уровня, означают годовой рост, оказавшийся ниже ожидаемого. Положительные значения прироста добавленной стоимости – все, что оказалось выше нулевого уровня, – представляют прогресс, превысивший ожидания. Так что же мы видим? Какова взаимосвязь прогресса и социально-экономического статуса?

Рис. 1.3. Прогресс и социально-экономический статус

Источник: Данные Департамента образования штата Огайо (2009), адаптированные для наст. изд.

Из этого графика видно, что прирост добавленной стоимости практически не зависит от социально-экономического статуса. Иначе говоря, ученики из бедных семей также способны добиться прироста добавленной стоимости, как и дети из более состоятельных семей. Есть школы с высокой долей детей из малообеспеченных семей, которые демонстрируют впечатляющий рост с точки зрения анализа добавленной стоимости, а есть такие же школы, в которых этого роста не наблюдается. В левой части графика можно увидеть, что отдельным школам с низким уровнем бедности удалось достичь выдающихся результатов, но другие школы из этой категории продемонстрировали результаты гораздо ниже ожидаемых в один и тот же год.

Какие выводы можно сделать и какими вопросами нам стоит задаться после изучения этих графиков? Во-первых, эти графики демонстрируют, что все, что мы делаем в качестве преподавателей, имеет значение. Мы не можем влиять на финансовую ситуацию в семьях наших учеников, но мы можем повлиять на то, что с ними происходит, когда они приходят в школу. Обратите внимание, что наши выводы явно расходятся с выводами Отчета Коулмана. Анализ данных о добавленной стоимости устанавливает правила игры, одинаковые для всех. При том что успеваемость зависит от социально-экономического статуса, прирост добавленной стоимости с ней практически не коррелирует. Эти выводы сделаны на основе изучения данных о прогрессе не только школ штата Огайо, но и школ в Теннесси и на Восточном побережье Соединенных Штатов [Hershberg, 2004]. Следовательно, не будет ошибкой утверждать, что анализ данных о добавленной стоимости представляет собой гораздо более справедливую систему оценки того, что происходит в классах, школах и целых школьных округах.

Анализ данных о добавленной стоимости устанавливает правила игры, одинаковые для всех.

Здесь также имеются политические и исследовательские последствия. Что делают школы, которые добиваются значительного прогресса, а также остальные школы, оказавшиеся на графике выше нулевого уровня? можем ли мы изучить те практические действия, которые предпринимают учителя этих школ, и внедрить их практики в других образовательных учреждениях? Что именно не работает в тех школах, которым за год не удалось добиться ожидаемых результатов? Возможно, некоторые методы и действия преподавателей необходимо исключить или заменить более эффективными практиками? Преподаватели, исследователи и законодатели используют информацию о добавленной стоимости, чтобы начать отвечать на эти вопросы.

Тезис 4
«Двойная сила»: прогресс и успеваемость

Анализ данных о добавленной стоимости не заменяет традиционных замеров успеваемости, он, скорее, дополняет их. Показатели успеваемости и данные о добавленной стоимости, изученные в совокупности, позволяют увидеть состояние ученика в контексте стандартов знаний по предметам, а также понять, насколько действенна текущая программа, чтобы обеспечить повышение уровня успеваемости каждого учащегося. В следующих главах мы научим вас выявлять паттерны в информации о добавленной стоимости и объясним, как их использовать.

Добавленная стоимость – единственный показатель влияния методов преподавания на успеваемость ученика.

Анализ данных о добавленной стоимости – это важный источник информации: он помогает понять, кто больше выигрывает от текущей образовательной программы – отстающие, средние или наиболее успешные ученики. Получив информацию о добавленной стоимости, преподавательский состав может обнаружить, что текущая программа 6-го класса по математике хороша для учеников, соответствующих уровню 6-го класса или превосходящих его, но совершенно не работает для отстающих учащихся. Обладая такой информацией, преподаватели могут пристальнее взглянуть на свои практики и принять решение об их изменении. Они могут добавить элементы, которые повысят эффективность программы для отстающих учеников, и (или) отбросить старые методы, которые оказались неэффективными. Как отметил один из преподавателей, «добавленная стоимость – единственный показатель, который позволяет оценить влияние методов преподавания на успеваемость ученика».

Анализ данных о добавленной стоимости дает нам более полную и точную картину прогресса учеников из года в год, в том числе позволяет оценить прогресс конкретного ученика или группы учеников за определенный период времени. Вместе информация об успеваемости и о прогрессе каждого ученика представляет собой важную комбинацию показателей, позволяющую выявить возможности улучшений внутри каждой школы. Мы зовем эту комбинацию «двойная сила» (рис. 1.4).

Рис. 1.4. «Двойная сила»

Источник: © 2011, Battelle for Kids.

Успеваемость измеряется перформансом учеников, который они осуществляют в конкретный момент времени и который сопоставляется со стандартами. Прогресс же измеряется тем ростом, который совершает ученик за период времени. Чтобы правильно оценивать и поощрять усилия учащихся, нужны оба показателя – и успеваемость, и прогресс. Каждый показатель дает важную информацию, но полную картину обеспечивает лишь их комбинация. Измеряя оба показателя и дополняя их другими источниками информации, учителя, школы и школьные округа формируют более устойчивое и более полное видение своего вклада в обучение школьников.

Но действительно ли отчеты по добавленной стоимости могут сообщить нам что-то, чего мы не узнаем из данных об успеваемости? Рассмотрим еще один пример сравнения успехов Элли и Яниры (рис. 1.5). Оценки Элли стабильно оказываются выше удовлетворительного уровня успеваемости. В 3-м классе ее оценка по математике соответствовала 96-му процентилю, в 4-м – 88-му, а в 5-м – 80-му. Несмотря на то что все оценки были выше минимальных требований, мы видим, что ее оценки ухудшались из года в год. Когда мы смотрели только на оценки Элли в 5-м классе, нам казалось, что она, ее преподаватель и ее школа вполне успешны. Что могла бы предпринять преподаватель Элли, если бы в ее распоряжении оказались данные о динамике оценок девочки?

Рис. 1.5. Элли и Янира: динамика изменений

Источник: © 2011, Battelle for Kids.

Вернемся к Янире, чья оценка по математике в 3-м классе соответствовала 13-му процентилю, в 4-м – 27-му, а в 5-м – 49-му. Янира делает большие успехи, и при этом она по-прежнему не соответствует нормативам, установленным для каждого из годов обучения. Находясь ниже удовлетворительного уровня успеваемости, Янира все равно демонстрирует прогресс. Раньше Янира казалась отстающей, но если мы посмотрим на динамику ее результатов, мы увидим, что ее уровень очень быстро повышается. Могли бы учителя Яниры развивать и усиливать свои способы помощи и совершенствования знаний, если бы у них была информация о прогрессе ученицы? Если бы родителям и другим членам сообщества были бы доступны данные о прогрессе, а не только об успеваемости Яниры и ее одноклассников – как это сообщество воспринимало бы успехи школы, в которой учится Янира?

Если мы экстраполируем результаты успеваемости Элли и Яниры на остальных учеников их школ, мы, возможно, придем к выводу, что элли, ее учитель и начальная школа Bethany заслуживают поощрения. А Янира, ее преподаватель и вся начальная школа Alamos должны быть признаны отстающими и, возможно, их следует подвергнуть санкциям. Однако, если мы посмотрим на прогресс, то мы увидим иную картину. Успех Яниры, ее учителя и школы с точки зрения роста успеваемости должен быть отмечен и поощрен. При этом мы увидим необходимость вмешаться в деятельность школы Элли, чтобы предотвратить дальнейшее ухудшение результатов Элли и подобных ей учеников, которые не добиваются ожидаемого прогресса.

На рис. 1.6 изображена структура, взятая с некоторыми изменениями из работы д-ра Дугласа Ривза «Учебная структура для преподавателей» [Reeves, 2006]. В ней учитываются как прогресс, так и данные успеваемости в масштабе школ и школьных округов.

Эта простая матрица сопоставляет показатели успеваемости и прогресса, в понятной форме демонстрируя реальные успехи школ и учебных программ. одновременный анализ данных о добавленной стоимости и успеваемости дает возможность быстро определить, в какую ячейку матрицы попадает та или иная школа. Каждая ячейка соответствует совершенно особой школьной среде. К какой ячейке принадлежит ваша школа – ее ученики лидируют, учатся, успешны или отстают? Почему это происходит? В следующих главах мы подробно рассмотрим аналогичную матрицу, чтобы дать вам инструмент для выявления сильных и слабых сторон ваших школ и образовательных систем, а также вызовов и возможностей, с которыми они имеют дело.

Рис. 1.6. Матрица прогресса и успеваемости

Источник: Адаптировано из: [Reeves, 2006, Fig. 1.1. The Leadership for Learning Framework]. © 2006 by Association for Supervision and Curriculum Development.

Особенно важно также добиваться того, чтобы успеваемость учащихся соответствовала установленным стандартам, но не менее важно для преподавателей обеспечивать ежегодный академический прогресс учеников и полностью задействовать их потенциал роста – независимо от уровня их успеваемости. в конце концов наш моральный долг как преподавателей состоит в том, чтобы открыть всем учащимся доступ к учебным программам, позволяющим добиться максимальных результатов в обучении независимо от начального уровня каждого учащегося.

Тезис 5
Анализ данных о добавленной стоимости – часть сбалансированной системы оценивания

Анализ данных о добавленной стоимости играет ключевую роль в построении сбалансированной системы оценивания, которая учитывает и помогает улучшить как показатели успеваемости, так и динамику ее роста. Обычно преподаватели имеют полный или частичный доступ к следующим данным: к результатам экзаменов на уровне штата, информации о добавленной стоимости, всеобщим промежуточным[5]5
  Всеобщие промежуточные оценки – система оценок в масштабе штата или школьного округа. Такая промежуточная оценка успеваемости получается путем расчета на основании текущих оценок учеников либо производится по результатам специальных тестов. Тестирование или расчеты проводятся в установленные для каждой дисциплины интервалы – ежеквартально, каждые шесть недель или по окончании каждого блока учебной программы. – Примеч. пер.


[Закрыть] или ежеквартальным оценкам, суммарным результатам оценок для каждого класса, а также результатам промежуточного контроля внутри класса. На учителей и руководителей школ возлагается ответственность по обработке всех этих данных и принятию обоснованных и выполнимых решений, ведущих к прогрессу школьников. Поскольку анализ данных о добавленной стоимости позволяет получить агрегированную информацию, он является полезным инструментом для ежегодного выявления успехов и вызовов. На рис. 1.7 схематично изображена сбалансированная система оценивания. Она представляет собой адаптационный цикл преподавания, в котором на протяжении учебного года прогресс учеников оценивается на основании промежуточных и итоговых показателей. Назначение сбалансированной оценки состоит в том, чтобы дать преподавателям обратную связь, необходимую им для оказания помощи ученикам в достижении максимального прогресса в обучении.

Рис. 1.7. Цикл сбалансированного оценивания

Источник: © 2011, Battelle for Kids.

В этой модели преподаватели призваны реагировать на промежуточную информацию об оценках, которую они должны регулярно собирать и использовать для совершенствования своих педагогических методов. В цикле сбалансированной оценки формативный и итоговый контроль является необходимым источником информации для отслеживания прогресса в ходе учебного года и измерения прогресса по истечении установленного временного интервала. Взаимосвязь этих форм контроля мы подробнее рассмотрим в главе 8.