Текст книги "Комплексная гуманитарная экспертиза"

3.2. Экспертиза международных и национальных проектов

Остановимся далее на примерах деятельности крупных экспертных организаций. К числу крупных организаций экспертов в образовании можно отнести, например, Службу планирования и экспертизы Министерства образования США – Department of Education’s Planning and Evaluation Service (PES). Ею осуществляется экспертиза образовательных проектов и программ, проводимых Министерством образования США как внутри страны, так и в международном аспекте. Деятельность данной организации включает в себя:

• независимую экспертизу основных федеральных программ в области образования;

• координацию стратегического планирования и осуществления различных программ в образовании;

• координацию участия Министерства в международных мероприятиях в сфере образования;

• помощь Министерству в определении и согласовании программных целей разных проектов и разных уровней/стадий одного проекта;

• определение показателей успеха различных образовательных проектов, реформ и программ, определение эффективных мер и практик, которые могут быть выбраны на основе опыта и рекомендованы для дальнейшего развития, поддержки, рекомендации и распространения;

• предоставление обоснованных бюджетных решений для тех или иных образовательных программ и проектов;

• информационная поддержка Министерства образования, сбор и распространение информации по планированию и экспертизе в образовании.

Экспертиза проектов, программ и работы других служб Министерства образования также является функцией означенной Службы. Посредством такой экспертизы определяется эффективность образовательных программ, проектов и нововведений, степень их доступности для всех, оправданность их осуществления (их действенность).

Посредством экспертизы измеряется и показывается продвижение (если оно есть) в осуществлении целей, сформулированных и установленных при планировании тех или иных образовательных проектов. Многие из экспертных работ PES являются обязательными (определены таковыми со стороны Конгресса). Эта часть экспертных работ предоставляет аналитическую информацию политикам. Политики – важная часть аудитории PES, в которую входят также организаторы федеральных образовательных программ, получатели грантов на проекты (исполнители программ на локальном и государственном уровнях), педагоги, родители, члены общин (местные активисты).

Большие споры, в которые включена и PES, вызывает само определение понятия «экспертиза/эвалюация в образовании», поскольку от его концептуального наполнения зависит очень многое в конкретной деятельности экспертов, в направленности, результатах, влиянии экспертиз и т. п. При разговорах о гуманитарной экспертизе вообще, и о гуманитарной экспертизе в образовании в частности, предпочитают использовать термин «эвалюация», оставляя понятие «эксперт» лишь за конкретным лицом, осуществляющим оценку. Любое применение любого профессионального взгляда и знания в любой области к решению какого-то вопроса может быть названо «экспертизой». Поэтому, вероятно, этот термин избегают применять при разговоре на специальные, профессионально-экспертные сюжеты.

Эвалюация/экспертиза призвана, с точки зрения экспертов PES, определять ценность экспертируемого явления (процесса и т. д.), размер/границы его применения, судить, следовательно, о его значимости и привлекательности его опыта для распространения. Определяются эффективность тех или иных акций, их действенность (не только результативность, но и «жизненность»), то есть возможность получения ожидаемых желательных результатов с помощью того, что оценивается. Эксперты отвечают на вопросы, что́ такая-то программа вносит в образовательную систему, какова ее результативность по отношению к каждому ее участнику (то есть ученику), кто участвует и какие образовательные услуги предоставляются, как результативность программы варьирует от участника к участнику, насколько хорошо организован проект и как он может быть улучшен. Иногда по результатам экспертизы требуется не продолжение экспертируемой программы (проекта) в том же виде и не прекращение данной образовательной инновации, но так называемая «реавторизация», то есть кардинальный пересмотр проекта с заменой (расширением или переориентацией в ту или иную сторону, что обосновывается в процессе экспертизы) агентств (институтов, центров), прорабатывающих и осуществляющих данный проект, участвующих в проекте образовательных учреждений и т. д.

Интересна кадровая политика Министерства образования США по отношению к тому, кто должен входит в команду экспертов, работающих над оценкой образовательных проектов национального масштаба. Руководство PES считает, что оптимальный кадровый состав PES должен включать в себя помимо педагогов, психологов, социологов также и специалистов в социальной работе, экономистов, статистиков. В любом случае внутренняя взаимообучаемость и постоянное повышение квалификации, обучение на рабочем месте, знакомство с передовым опытом считаются в этой службе обязательными.

Крупным образовательным проектом, оказавшим большое влияние на становление практики оценочных исследований, стала программа «Хед Старт», предложенная президентом Линдоном Джонсоном в январе 1965 г. Программа предполагала проведение учебных занятий по месту жительства для детей дошкольного возраста из малоимущих семей, чтобы лучше подготовить их к школе. Первоначально на обучение 100 тыс. детей было выделено 17 млн долл. Широкая реклама привела к резкому спросу на программу по всей стране, после чего Министерство экономического развития выделило дополнительно 103 млн долл. на обучение еще 560 тыс. детей. Поддержка программы «Хед Старт» президентом привела к ее дальнейшему продлению, а в 1968 г. общий объем финансирования достиг 330 млн долл. Сильным толчком для совершенствования методологии оценочных исследований стало обсуждение результатов и методологии данного исследования (William, Evans, 1969).

3.3. Краткая характеристика периодических изданий по проблемам экспертизы в образовании и дискуссий в них по методологическим проблемам

PES наряду с Ассоциацией американских экспертов и Европейским обществом оценивания (European Evaluation Society) активно участвует в издании журналов по проблемам экспертизы. Среди периодических изданий по проблемам экспертизы есть и журналы, либо целиком посвященные экспертизе в образовании, либо такие, на страницах которых значительное место постоянно уделяется экспертизе образования и экспертизе в образовании. Прежде всего стоит назвать следующие: American Journal of Evaluation; Assessment and Evaluation in Higher Education; Educational Evaluation and Policy Analysis; Evaluation and Program Planing: An International Journal; Studies in Educational Evaluation; Zeitschrift für Evaluation; The Evaluation Exchange; Studies in Educational Evaluation; Evaluation Practice; Evaluation Comment: The Journal of Educational Evaluation; Practical Assessment, Research & Evaluation (электронный журнал).

На страницах данных изданий постоянно ведутся дискуссии по методологическим и методическим проблемам экспертизы. Основные методологические сложности экспертизы образовательных проектов кроются, с точки зрения западных (американских) экспертов, в самом предмете изучения и экспертизы. Воздействие экспертируемых инновационных проектов на школы в целом может быть одно, на определенные уровни обучения в этих школах – другое, а на отдельных учеников и их группы – третье. Многоуровневость результатов образовательных проектов безусловно создает проблемы для экспертов. Трудно измерить и оценить индивидуальную значимость проекта, но также нелегко вывести и его общую значимость, поскольку сопоставление школ между собой также чрезвычайно затруднительно, так как имеется много варьирующих эффект проекта факторов. Однако подобные трудности не означают, что система образования не обязана подвергать экспертизе программы, которые в данный момент реализуются. Во многих публикациях подчеркивается, что необходимо постоянно совершенствовать процесс экспертной эвалюации.

В настоящее время почти каждая организация, которая финансирует, ведет, развивает образовательные программы, обращается к экспертизе. Это происходит на любом уровне: локальном, государственном, международном. К экспертизе обращаются как фонды, так и добровольные либо государственные организации. Идея и требование сертификации (подотчетности, ответственности, аудита) образовательной деятельности и ее продукта от любого действующего в образовании лица породили большую полемику по вопросам экспертизы образовательных систем, учреждений, проектов. Программам и проектам помимо разных видов сертификации экспертиза требуется также для подтверждения обоснованности их существования, правильности расходования средств, достижения поставленных целей.

В последние годы утвердилось мнение о плодотворности такой экспертизы в образовании, которая опирается на ту же теорию и общую методологию, что и экспертируемый проект. Ранее эксперты обычно не рассматривали базовую теорию и методологию проекта, не опирались на них в экспертизе. В этом случае нередко получалось, что эксперты и авторы проекта использовали несогласованные словари (Chen, Rossi, 1983; Bickman, 1987; Chen, 1990; Lipsey, 1993); дело изменилось после выхода работы К. Вайс (Weiss, 1997; см.: Crew, Anderson, 2003; Donaldson, Cooler, 2003). Однако до сих пор нет согласия по поводу того, что такое «теория», хотя все соглашаются, что при переходе к «теории» проблематизируется сама экспертиза конкретного проекта и происходит переход к дискуссии на ином предметном поле, не имеющем отношения к задаче конкретной экспертизы. Что такое методология образовательной инновации (учреждения, проекта, программы)? То ли это «приземленная» теория социальных наук, то ли последовательность логических и/или практических шагов, необходимых для исполнения программы, то ли это план программной деятельности без учета ролей участников программы?

К. Вайс (Weiss, 2003/2004) считает более оправданным определение теории как логической последовательности этапов проекта. Эксперт может прослеживать прохождение программы по этапам (ступеням, фазам), составляющим теоретическую модель всего проекта. Если уже на первых ступенях программа реализуется неудовлетворительно, то экспертиза может приостановить проект. Прохождение программы через определенные этапы и экспертиза достижений очередного этапа есть хорошая основа для продолжения работы. Опирающаяся на такую теорию программы экспертиза в сфере образования дает возможность эксперту понимать и объяснять аудитории, почему и как, собственно, данная программа работает. В основе каждого проекта лежит своя теоретическая схема, которую можно использовать как алгоритм не только в процессе его ежедневного функционирования, но и при его экспертизе.

В отличие от К. Вайс, разрабатывающей экспертизу отдельных этапов (фаз), М. Пэттон из университета Миннеаполиса подчеркивает важность экспертизы процесса, которая и сама может стать, помимо всего прочего, эффективным обучающим средством. М. Пэттон утверждает, что в развитии экспертизы главное достижение последнего десятилетия – акцент на самом процессе мышления, осуществления умозаключений (Patton, 1997). Подобные рассуждения этого и других экспертов на страницах периодики позволяют предположить, что происходит некоторое смещение, трансформация или, скорее, расширение основных целей экспертизы образования. Если раньше в круг ее основных задач входил прежде всего поиск информации, сопоставление, анализ найденного и формулировка выводов (заключения), то теперь речь идет еще и о влиянии экспертизы на образ мыслей тех, чья деятельность подвергается оцениванию. Вероятно, это объясняется тем, что не так просто заменить людей, стоявших у истоков того или иного образовательного проекта, и не загубить этим дело, но возможно попробовать изменить направленность мышления «основателей».

Еще более тонкая вещь – взаимное оценивание тех, кто работает в различных образовательных программах. Чем более личность в образовательном сообществе статусна, тем труднее внедрять и осуществлять проекты по взаимному оцениванию. Можно сказать, что в известном смысле обучение экспертному мышлению в образовательных учреждениях может приносить больший эффект, чем конкретные экспертизы образовательных учреждений. Эксперты Миннеаполисского университета, активные сторонники такой идеи, подчеркивают, что ее осуществление, по сути, превращает заказчиков и вообще участников того или иного образовательного проекта как бы и в собственных экспертов тоже, потому что повышает в них способность интерпретировать и оценивать данные, учитывать противоречия и непоследовательности, формулировать ценности, проверять предположения, делать выводы и принимать оптимальные и адекватные ситуации решения (Patton, 1997). С легкой руки известного исследователя метафор Д. Серля и писателя Д. Лоджа появляется термин «думать экспертно» (Lodge, 2001). Еще Ханна Арендт связывала фигуру эксперта с феноменом критического мышления, которое она считала фундаментом демократического устройства общества (Arendt, 1968). Достигнутая к рубежу тысячелетий публичность экспертиз, широкое их обсуждение (одних журналов по проблемам экспертизы в образовании, скажем, в США более десятка), открытие многих центров по обучению навыкам эксперта свидетельствуют о действительном стремлении обучать не только экспертов, но и ту среду, в которой они действуют, обучать потребителей экспертизы.

Сама суть экспертизы в образовании, границы и направления ее использования являются предметом многолетних обсуждений, начавшихся с публикации на рубеже 1960-х и 1970-х гг. работы Х. Арендт «Между прошлым и будущим: восемь упражнений в политологии». Одно из направлений таких методологических обсуждений было связано с пониманием характера получаемой информации и взаимодействия с ней эксперта в сфере образования (рассматривалась экспертиза как начального и среднего, так и высшего звена образовательных систем, а также системы непрерывного образования – Knox, 1980; Bennett, 1986). Помимо точки зрения о нейтральности информации и отстраненности от нее эксперта, сложилась точка зрения и о различных вариантах взаимодействия этих двух сторон процесса экспертизы. Например, одной из важных характеристик находимой экспертом информации специалистами Всемирного банка была названа ее фрагментарность: неполнота внутри себя и фрагментарность по отношению ко всему процессу той или иной образовательной деятельности, выбранная часть которой оценивается, а также и ее результатов, которые тоже проявляются неодномоментно и имеют тенденцию к развитию и эволюции (Rist, 2003/2004). Р. Рист выделяет два фактора, меняющие сферу применения экспертизы в образовании. Первый – усиление необходимости для государства показывать свою эффективность. Второй – распространение информационных технологий, позволяющих быстро и бесплатно собирать и анализировать информацию, что снижает роль и значимость каждого отдельного эксперта (если эта значимость – добавим мы – не подкреплена властью или авторитетом организованного сообщества). Отсутствие информации перестало быть основанием для обращения к экспертам: зачастую необходимая информация уже содержится в различных базах данных, в том числе составляемых на основе разного рода мониторингов и т. п. Сектор образования подобное явление затронуло пока в небольшой степени, поскольку в нем есть важная сфера уникального персонального опыта обучения, сильно варьирующего от одного человека к другому, однако и в образовании эта тенденция существует. Прежде всего, это такие «классические» уже явления, как программированное обучение, стандарты образования и т. п.

Концепции индивидуальной и деиндивидуализированной работы эксперта в образовании оказываются основаниями полемики внутри и вокруг экспертного сообщества. С мнением «деиндивидуалиста» Р. Риста не вполне согласен, например, содиректор Центра взаимного обучения в г. Филадельфия Дж. Спилка. Согласно его точке зрения, как раз в последние годы политики при принятии решения в сфере образования стали больше прислушиваться к мнению экспертов. Они увидели смысл в экспертных отчетах и все чаще ждут и даже требуют от экспертов указаний на то, какая из осуществляемых или планируемых образовательных программ (проектов) скорее всего будет успешна. Получив ответ на данный вопрос, они делают указанную программу государственной политикой. В целом политики, утверждает Спилка, становятся все более критичны (поскольку – требовательны) к экспертам, ожидая от них демонстрации реальных выгод или преимуществ того или иного экспертируемого проекта (Spilka, 2003/2004).

Говоря о смысле своей работы, эксперты в области образования подчеркивают, что с помощью экспертов заказчики, потребители сопоставляют ожидания с реальностью, обращая основное внимание на экспертизу текущих и возможных результатов. «Экспектационистский» подход, соотносящий реальную программу с ее ожидаемым по проекту результатом и с тем процессом, который шел бы (или идет) вне осуществляемого проекта, стал основой многих экспертиз в области образования (Walker, Grossman, 1999). Такой подход присутствует как в «филантропически развитых» обществах – то есть экономически развитых и уделяющих большое внимание образованию, так и в обществах с ограниченными ресурсами.

Члены профессиональных экспертных ассоциаций разных стран постоянно обращают внимание на то, что и в сфере образования эксперт выступает в известной мере агентом так называемых «эффективных организаций», которые «отказываются упрощать реальность», стремясь учесть реальные тенденции, результаты и т. п. и «совладать» с ними. Профессор Мичиганского университета К. Вайк называет такие учебные заведения «высоконадежными организациями», они «гибки и чувствительны» к процессу осуществления своей деятельности, не изменяя существа этой деятельности (Weick, Coutu, 2003). Эксперт есть для любой организации или любого проекта – внешнее лицо, осуществляющее как бы взгляд со стороны на то, что делается, как оно делается, кем делается, в какую сторону движется и т. д. Подчеркивая важность экспертизы в образовании, методологи экспертизы пишут, что соединение внутреннего и внешнего (экспертного) взглядов на осуществляющуюся деятельность в образовании может служить по сути препятствием для принятия решений в системе образования в духе «наивного оптимизма», что особенно характерно для сферы образования. Термин «наивный/обманывающийся оптимизм» был применен Д. Канеманом к сфере экономики, но он вполне, если даже не более, подходит, как нам представляется, и к сфере образования (Lovallo, Kahneman, 2003).

Активно дискутируются также конкретные проблемы экспертиз образовательных проектов и выбора стратегий генерализации выводов до уровней принятия решений. Например, одна из основных сложностей экспертизы образовательных проектов заключается, по мнению Г. Блума и его соавторов, профессиональных экспертов в образовании из Manpower Demonstration Research Corporation (Корпорации по исследованиям демонстрации человеческих возможностей, Нью-Йорк), в наличии «эффектов когорты» (Bloom, Ham, Melton et al., 2001). В число этих эффектов прежде всего входят следующие:

1. Один и тот же учитель ведет себя в школе из года в год по-разному, в зависимости от множества факторов, в том числе в зависимости от поведения класса.

2. Небольшое количество учеников может «задавать тон» всему классу, поэтому трудно просчитать воздействие инновации на каждого.

3. Условия замеров во время обследований могут быть разными.

Эффекты когорты могут быть малы по своим абсолютным значениям, но все же и в этом случае они слишком велики, чтобы их игнорировать. При небольшом увеличении эффектов когорты происходит серьезное возрастание необъяснимых вариаций в замерах. Отсюда вытекает необходимость, характерная для любой экспертизы в образовании, в четкой разработанности способов измерения, их сравнимости и измеримости. Бо́льшие, нежели стандартное, отклонения от так называемой базовой линии, экстраполируемой в моделируемое «контрольное будущее» на основе прошлых замеров, сделанных в данном учреждении до начала осуществления экспертируемого проекта (программы), показывают воздействие проекта (программы) на ту или иную образовательную систему. Поэтому очень большие сложности представляет сопоставление измерений, сделанных в разных школах.

Можно говорить о трех обсуждаемых в дискуссиях основных способах генерализации оценки результатов подвергаемого экспертизе проекта, полученных по разным школам. По сути, это три концепции построения экспертных выводов или три принципа/стратегии оценки результатов, получаемых на основе изучения нескольких школ. В их основе лежит сведение найденных результатов экспертируемого образовательного проекта, осуществляющегося в нескольких учебных заведениях, в единую генерализующую концепцию. Суть данных подходов звучит следующим образом:

1. Результаты инновационного проекта могут рассматриваться как сходные для всех школ.

2. Результаты инновационного проекта неодинаковы для всех школ, могут варьироваться от школы к школе. Выводы, таким образом, можно делать только по учреждениям, выбранным для экспертизы хода инновационного проекта в школах.

3. Результаты воздействия инновационного проекта, конечно, варьируются, но можно выводить среднестатистические показатели и считать их приемлемыми для более широкой трактовки результатов образовательного проекта, проходящего экспертизу.

Применение каждого из этих способов зависит не только от философско-методологической позиции, но и от того, что́ измеряется и оценивается. Если вариативность ошибок в измерениях вообще мала и измеряется константный показатель, то может применяться первый способ. Однако такая ситуация возникает весьма редко. Стратегия оценки каждой школы, проводимой отдельно от других (стратегия № 2), ликвидирует ошибки генерализации. Общие ошибки экспертного заключения в таком случае пропорциональны ошибкам в оценках результатов инновационного проекта по выбранным для исследования школам. Третья стратегия несет в себе ошибки второй, к которым добавляются ошибки, проистекающие из погрешностей в оценке степени вариативности реакции конкретных школ на экспертируемый проект. Следует, конечно, отдавать отчет в том, что и вторая и третья стратегии подхода к генерализации результатов экспертизы предпочтительнее первой.

Как же подходить к выбору принципов (стратегий) оценки полученных при экспертизе результатов и к их генерализации? Решая данный вопрос, западные эксперты предлагают, в частности, учитывать следующие факторы: требуемую широту генерализации; необходимую степень определенности (реальности) предположений, требуемых в данной экспертизе для генерализующих выводов (соотношение в экспертных предположениях конкретного и абстрактного и т. д.); значение/значимость статистических методов в данной экспертизе; размер и состав (композиция) выборки школ, на основе которой проводится экспертиза.

Г. Блум, А. Гинзбург, Р. Пейг, Р. Такаи, Ю. Хикок и другие считают, что, хотя прослеживание в экспертизе различных проектов постоянных и одинаковых факторов и результатов приводит к наименьшим ошибкам, требование гомогенности этих постоянных факторов для школьной среды излишне «деспотично» и не соответствует разнообразию реальности, разнообразию ограничений и возможностей, которые получают разные школы от проведения того или иного инновационного образовательного проекта (Sanders, Horn, 1994; Bloom, 1995, 1999; Raudenbush, Willms, 1995; Ham, Doolittle, Holton, 2000; Bloom, Ham, Melton et al., 2001; Bloom, Paige, Hicock et al., 2002).

Вторая стратегия рассмотрения конкретных школ и конкретного влияния на них образовательной реформы может показать воздействие инновации во всей вариативности ее последствий и результатов. Такая стратегия экспертизы результатов проекта более реалистична. В процессе ее осуществления измеряется воздействие инновации на конкретное учебное заведение в условиях одновременного понимания его своеобразия и отсутствия генерализующей сопоставительной интенции. Частый вопрос, который задается при следовании данной стратегии оценки найденных результатов экспертизы школ, подвергавшихся инновационному проекту, – каким было среднее воздействие инновации на школы, обследованные в процессе проведения данной экспертизы? И вот на этот вопрос данная стратегия, хорошо подходящая для конкретно-научного исследования, не вполне может ответить, такой вопрос, скорее, для стратегии № 3.

Третья стратегия больше, нежели вторая, ориентирована не на науку и не на решение судеб отдельного учебного заведения, но на общество в целом, на вопросы, имеющие отношение к национальной или локальной образовательной политике. Вопрос, на который она отвечает, звучит так: каким должно быть то минимальное воздействие инновационного проекта на школы, которое позволит принять решение о распространении проекта в более широком масштабе?

Специалисты отдают предпочтение разным стратегиям генерализации и общей оценки полученных в процессе экспертизы результатов (Lipsey, 1990; Bryk, Raudenbush, 1992; Cooper, Hedges, 1994; Murray, Short, 1995; Meyer, 1997; Bryk, Thum, Easton et al., 1998; Finn, Achilles, 1999; Nye, Hedges, Konstantopoulos, 1999; Olejnik, Algina, 2000; Oakes, Feldman, 2001). К настоящему моменту, пожалуй, большая их часть считает неприменимой первую стратегию, исходящую из позиции одинаковости результатов инновации во всех образовательных учреждениях, где она осуществляется. Однако происходящий выбор между второй и третьей стратегиями выявляет немало скрытых проблем. Вторая стратегия, опирающаяся на тщательно спланированную выборку экспертируемых школ, предполагает постановку несколько более узких вопросов, чем обычно ставятся заказчиком (если речь не идет о судьбе отдельного учреждения). Статистический подсчет на основе принятия обследованных школ как выборки приводит к молчаливому дрейфу в сторону первой стратегии, унифицирующей все образовательное пространство. Эвристический подход третьей стратегии требует на каждом этапе генерализации полного понимания, почему были выбраны данные школы, почему в них стала апробироваться инновация, как и в каких условиях они ее применили, каковы могут быть пределы обобщения на основе данной выбранной группы школ. По сути, данная стратегия может быть следующим этапом по отношению ко второй, поскольку опирается на статистические данные по выборке. В процессе ее осуществления достигается понимание, что и почему выбрано, как результаты обследования могут быть расширены и насколько (для принятия достаточно обоснованных решений на достаточно проверенном материале).

Одним из перспективных инструментальных экспертных методов может быть признана методика проведения экспертизы в среднем образовании (автор Говард Блюм). Она основана на применении в экспертизе образовательных проектов так называемого анализа прерванных временных рядов. Этот метод был выработан сначала при анализе действенности различных программ вне сферы образования, а затем применен к оценке образовательных инициатив (Bloom, Paige, Hicock et al., 2002). Суть данного подхода в следующем.

1. Создается модель того, как бы все шло в данном учреждении (секторе, регионе и т. п.) без той или иной инновационной реформы. Построение данной модели базируется на тенденциях развития того или иного учреждения, региона, сферы в образовании и т. д. Замеры берутся за предшествующие моменту исследования 3–5 лет. Проективная модель «что было бы без» создается обычно на такое же время вперед от момента начала образовательной инновации.

2. Изменения, связанные с разницей между проективной моделью и реальностью, относятся на счет результата реформы/инновации.

Таким образом, суть данного подхода к экспертизе в образовании – в измерении отклонения от прошлого развития ситуации и в выявлении того, насколько это изменение связано с оцениваемой инновацией. Как минимум берутся различные когорты учащихся из одних и тех же классов (одного и того же года обучения, например, из третьих классов) по разным школам: чем больше школ участвует, тем более точны показатели, различия от «базовой линии», небольшие в своих вариациях, показывают не случайные отклонения, но влияние экспертируемых инновационных программ. Однако для надежности экспертизы желательно проведение экспериментальных замеров в возможно большем количестве классов. Многомерные наблюдения дают возможность лучше предсказывать будущие результаты, нежели наблюдения за каким-то одним фактором.

Подобный подход применим в том случае, если прослеживается относительно стабильная ситуация в предыдущие годы, без резких взлетов-падений, без большого разброса средних значений и т. п. Стабильность характеристик включает в себя и стабильность характеристик школьного состава учащихся.

Применение анализа прерванных временных рядов в образовательной экспертизе было опробовано в конце 1990 – начале 2000-х гг. в изучении успеваемости по чтению и математике учеников третьего года обучения в восьми начальных школах семи американских штатов. Были выбраны школы, участвующие с середины 1990-х гг. в проекте «Accelerated Schools», которые согласились участвовать в экспертизе, имели высокий процент учащихся с проблемами в обучении, представляли широкий спектр вариантов урбанистической среды (разные по типу городские поселения), имели валидную и унифицированную документацию по тестированию учащихся на протяжении пяти лет до начала экспериментального проекта и на протяжении пяти лет его проведения в жизнь, не осуществляли на протяжении десяти измеряемых лет других экспериментальных или инновационных проектов и не претерпевали каких-то больших катаклизмов и разрывов в образовательном процессе. Таким образом, были найдены школы с относительно стабильной ситуацией, в которых проективная базовая линия, построенная на основе результатов замеров первых пяти лет, показывает отсутствие взлетов и падений, то есть достаточно пряма и горизонтальна, и ее можно экстраполировать и на последующие годы. С такой линией и сравнивались различия, проявлявшиеся в достижениях школьников. При учете возможных ошибок, эффектов когорт и т. п. получались значимые (в том числе статистически) расхождения, которые могли возникнуть на основе участия школы в эксперименте и которые могли служить показателем (и доказательством) успеха или неуспеха именно экспертируемого образовательного проекта. Если не получается ровной относительно горизонтальной базовой линии средних значений успехов школьников до начала новой реформы, то данный подход не вполне применим или даже не применим вовсе, поскольку нет возможностей оценивать результаты именно данного инициативного проекта в отрыве от других важных факторов.