Текст книги "Тирания показателей"

I. Постановка проблемы

1. Краткое описание проблемы

В нашем обществе существует культурный шаблон, который, проникая во все большее число институтов, стал в последние десятилетия общепринятым. В зависимости от вкуса его могут называть «мемом», «эпистемой», «дискурсом», «парадигмой» «самоподкрепляющейся риторической системой»[13]13
  Термин использован Брюсом Чарлтоном: Bruce G. Charlton, “Audit, Accountability, Quality and All That: The Growth of Managerial Technologies in UK Universities”, в книге: Stephen Prickett and Patricia Erskine-Hill (ed.), Education! Education! Education! Managerial Ethics and the Law of Unintended Consequences (Thorverton, England, 2002).


[Закрыть] или попросту модой. Приходя вместе со своим собственным словарным запасом и стереотипами, он влияет на то, как люди говорят о мире, а значит, и на то, как они представляют мир и действуют в нем[14]14
  Fabrizio Ferraro, Jeffrey Pfeffer, and Robert L. Sutton, “Economics Language and Assumptions: How Theories Can Become Self-Fulfilling”, Academy of Management Review 30, no. 1 (2005), pp. 8–24.


[Закрыть]. Для удобства будем называть этот шаблон зацикленностью на количественных показателях.

В основе такой зацикленности лежит взаимосвязь между измерением количественных показателей и совершенствованием. Великому физику XIX в. лорду Кельвину приписывают (ошибочно) такое высказывание: «То, что невозможно измерить, невозможно усовершенствовать». В 1986 г. американский гуру менеджмента Том Питерс избрал девиз: «Делается то, что можно измерить» – и этот девиз стал краеугольным камнем веры в количественные показатели[15]15
  Tom Peters, “What Gets Measured Gets Done” (1986), http://tompeters.com/columns/what-gets-measured-gets-done/.


[Закрыть]. Со временем некоторые пришли к выводу, что «все, что поддается измерению, можно усовершенствовать»[16]16
  Последней формулировкой я обязан профессору Полу Колльеру.


[Закрыть].

Когда сторонники количественных показателей отстаивают «отчетность» (accountability по-английски), они умалчивают о том, что у этого слова два значения. С одной стороны, оно означает ответственность, а с другой – «возможность подсчета». Приверженцы «отчетности» обычно подразумевают, что только подсчет позволяет сделать институты действительно ответственными. Результаты деятельности, таким образом, отождествляются с тем, что можно оценить с помощью стандартных измерений. Когда сторонники количественных показателей требуют «прозрачности», они зачастую имеют в виду, что честность – это раскрытие максимально возможного объема информации. Отсюда запросы все большего количества документов, все большего количества заявлений о миссии, все большего количества «целевых показателей»[17]17
  Charlton, “Audit, Accountability, Quality and All That”, pp. 18–22.


[Закрыть].

Вот главные составляющие зацикленности на количественных показателях:

■ уверенность в том, что возможно и желательно заменить суждение, основанное на личном опыте и знаниях, численными индикаторами результативности на основе стандартизированных данных (количественные показатели);

■ уверенность в том, что обнародование таких количественных показателей (прозрачность) гарантирует реальное выполнение институтами своих задач (отчетность);

■ уверенность в том, что наилучший способ мотивирования персонала организаций – это вознаграждение и наказание за измеренную результативность; вознаграждение может быть денежным (плата за результаты) или репутационным (рейтинги).

Зацикленность на количественных показателях связана с устойчивостью перечисленных убеждений, несмотря на негативные последствия их претворения в жизнь[18]18
  В числе полезных попыток обобщить эти отрицательные последствия – статьи Колина Тэлбота: Colin Talbot, “Performance Management”, pp. 491–517 в книге: Ferlie, Laurence E. Lynn, Jr., and Christopher Pollitt (eds.), The Oxford Hand-book of Public Management (New York, 2005), pp. 502–4; и Майкла Пауэра: Michael Power, “The Theory of the Audit Explosion”, pp. 326–44, в той же книге, см. особенно p. 335.


[Закрыть]. Это происходит потому, что не все важное поддается измерению, а многое из того, что поддается измерению, – неважно. (Или, как говорится в известном изречении, «не все, что можно подсчитать, имеет значение, и не все, что имеет значение, можно подсчитать»[19]19
  William Bruce Cameron, Informal Sociology: A Casual Introduction to Sociological Thinking (New York, 1963).


[Закрыть].) У большинства организаций цели многочисленны, и то, что измеряют и за что вознаграждают, становится центром внимания в ущерб другим важным аспектам. Точно так же у многих видов трудовой деятельности множество граней, и количественная оценка лишь некоторых из них толкает к пренебрежению остальными[20]20
  Bevan and Hood, “What’s Measured Is What Matters”.


[Закрыть]. Когда организации, зацикленные на количественных показателях, осознают это, они просто увеличивают их число. В результате начинается лавинообразный рост объема данных, которые становятся все менее полезными, тогда как их сбор поглощает все больше времени и ресурсов.

Попутно меняется характер трудовой деятельности, и зачастую не в лучшую сторону. Профессионалы возмущаются, когда на них навешивают несвойственные им, с их точки зрения, задачи. Почти неизбежно люди начинают манипулировать показателями результативности разными способами, многие из которых в конечном счете вредят организациям. Они подгоняют данные или берутся только за те задания, которые улучшают показатели результативности. О негативных случаях просто умалчивают. В крайних случаях данные вообще фабрикуются.

Зацикленность на количественных показателях часто приводит к принятию системы вознаграждения в зависимости от результативности, когда людям или организациям предлагают финансовые стимулы за достижение количественных критериев. Это может работать в организациях, единственная цель которых – извлечение прибыли, хотя, как мы увидим, даже там такой подход редко оказывается эффективным. Что уж говорить об организациях с более идейной миссией, таких как школы, университеты, медицинские учреждения. Всякий раз, когда вознаграждение привязывают к измеряемой результативности, зацикленность на количественных показателях подталкивает к подтасовкам.

Поскольку теория мотивации, лежащая в основе вознаграждения в зависимости от результативности, сомнительна, результаты ее применения часто противоречат ожиданиям. Типичная проблема была выявлена и описана в 1975 г. двумя учеными по разные стороны Атлантики независимо друг от друга. На одном континенте ее стали называть «закон Кэмпбелла» (по имени американского социального психолога Дональда Кэмпбелла), который гласит: «Чем шире количественный показатель используется для принятия социальных решений, тем больше он подвержен злоупотреблениям и тем больше пригоден для извращения социальных процессов, которые контролируются с его помощью»[21]21
  Процитировано в книге: Diane Ravitch, The Death and Life of the Great American School System (New York, 2010), p. 160. См. также: Chris Shore, “Audit Culture and Illiberal Governance: Universities and the Culture of Accountability”, Anthropological Theory 8, no. 3 (2008), pp. 278–99; Mary Strathern (ed.), Audit Cultures: Anthropological Studies in Accountability, Ethics and the Academy (London, 2000).


[Закрыть]. На другом она получила название «закон Гудхарта» (по имени британского экономиста-открывателя), который говорит: «Любой количественный показатель, используемый для контроля, ненадежен»[22]22
  Alison Wolf, Does Education Matter? Myths about Education and Economic Growth (London, 2002), p. 246. C. A. E. Goodhart, “Problems of Monetary Management: The UK Experience” (1975), pp. 91–121 in Goodhart, Monetary Theory and Practice (London, 1984).


[Закрыть]. Другими словами, все, что измеримо и за что вознаграждают, становится предметом махинаций. Существует множество вариаций на эту тему.

Попытки заставить людей перестроить работу так, чтобы она соответствовала заданным количественным целям, душат инновации и творчество – ценные качества в большинстве ситуаций. И практически неизбежно они приводят к доминированию краткосрочных целей над долгосрочными.

Когда нет возможности реально решить проблему, сбор и публикация данных о результативности становятся формой демонстрации благих намерений. При отсутствии прогресса показывать нечего, но усилия, связанные со сбором и публикацией данных, приносят моральное удовлетворение. Реальный прогресс подменяется прогрессом в сфере измерений, видимостью успеха. Это наглядно показывает пример «разрыва в уровне успеваемости» в сфере образования.

Поскольку вера в эффективность измерений, похоже, сильнее доказательств того, что они зачастую не работают, зацикленность на количественных показателях приобретает характер культа. Исследования, показывающие неэффективность измерений, либо игнорируются, либо воспринимаются как доказательство необходимости наращивания объема собираемых данных и совершенствования техники измерений. Зацикленность на количественных показателях, претендующая на научность, больше смахивает на религию.

Сказанное не означает, что измерения в принципе бесполезны или от природы вредоносны. Одна из целей этой книги – выяснить, когда показатели результативности действительно полезны и как использовать их без фанатизма и зацикленности.

В следующей главе («Характерные ошибки») приведена классификация наиболее распространенных ошибок использования показателей результативности. Описание этих ошибок и присвоение им обозначений упрощает их упоминание в дальнейшем. Затем, в части II, мы обратимся к истокам зацикленности на количественных показателях и поговорим о распространенности этого явления и его устойчивости, несмотря на негативные эффекты. В дополнение мы рассмотрим более глубокие философские корни порочности зацикленности на количественных показателях. Часть III посвящена анализу конкретных примеров удачного и неудачного применения количественных показателей в разных сферах, включая начальное и среднее школьное образование, высшее образование, медицину, охрану общественного порядка, благотворительность и помощь другим странам. Эти примеры приведены с демонстрационной целью, и их набор нельзя считать исчерпывающим. Другими словами, они не отражают все проявления зацикленности на количественных показателях в каждой из сфер. Это конкретные примеры распространенных ошибок и последствий их появления, а также успешного использования количественных показателей, показывающие, чего можно ожидать в других сферах. За этим разделом следует краткий экскурс в проблему прозрачности, которая в некоторых областях становится врагом результативности. Наконец, в части IV на основании приведенного выше анализа перечисляются негативные последствия зацикленности на количественных показателях и предлагаются рекомендации по использованию измерений без слепой зависимости от них.

2. Характерные ошибки

Стремление ввести количественные показатели результативности зачастую связано с самыми лучшими побуждениями, с надеждой на решение реальных проблем. Как мы увидим, в некоторых случаях это действительно дает результаты или как минимум способствует решению проблем. Однако негативные эффекты, наблюдаемые на протяжении десятилетий, заставляют готовиться к появлению характерных ошибок при распространении такой практики на все новые институты. Перечислим их для облегчения запоминания. Хотя мы и разграничиваем эти ошибки в целях анализа, в реальности они нередко взаимопересекаются.

Начнем с искажения информации.

Измерение того, что легче всего измерить. Людям от природы свойственно упрощать проблемы, сосредотачивая внимание на элементах, которые легче всего измерить[23]23
  Kurt C. Strange and Robert L. Ferrer, “The Paradox of Family Care”, Annals of Family Medicine 7, no. 4 (July/August 2009), pp. 293–99, особенно p. 295.


[Закрыть]. Но то, что легче всего измеряется, редко бывает самым важным, а иногда вообще не имеет значения. Это первый источник проблем количественных показателей.

Измерение простого, когда желаемый результат сложен. Выполнение большинства работ сопряжено с выполнением множества обязанностей, и у большинства организаций множество целей. Фокусирование на измерении результатов, связанных только с одной обязанностью или целью, часто вводит в заблуждение.

Измерение вклада, а не результатов. Нередко объем израсходованного или ресурсов, вкладываемых в проект, измерить легче, чем полученные результаты. Поэтому организации измеряют затраты, а не результаты своей деятельности, или контролируют процесс, а не продукт.

Снижение качества информации из-за стандартизации. Количественная оценка соблазнительна, поскольку организует и упрощает знание. Она дает количественную информацию, которая позволяет легко сравнивать людей и институты[24]24
  Sally Engle Merry, The Seductions of Quantification: Measuring Human Rights, Gender Violence, and Sex Trafficking (Chicago, 2016), pp. 1–33.


[Закрыть]. Но это упрощение может приводить к искажению, так как превращение объектов в сопоставимые зачастую означает их отделение от контекста, истории и смысла[25]25
  Ibid., p. 1.


[Закрыть]. В результате кажется, что информация становится более определенной и достоверной, чем на самом деле: оговорки, двусмысленности и неопределенности отбрасываются, и это все, что делается для представления определенного знания в численной форме[26]26
  Kevin E. Davis, Benedict Kingsbury, and Sally Engle Merry, “Introduction: Global Governance by Indicators”, in Kevin Davis, Angelina Fisher, Benedict Kingsbury, and Sally Engle Merry (eds.), Governance by Indicators: Global Power through Quantification and Rankings (New York, 2012), pp. 9, 18.


[Закрыть].

Закон Кэмпбелла и закон Гудхарта предупреждают о неизбежности попыток игры с количественными показателями, когда ставки высоки. Игра с показателями имеет множество форм.

Снятие сливок. Это происходит, когда исполнители находят простые цели или отдают предпочтение клиентам с менее сложными проблемами, что облегчает достижение целевых показателей, но ведет к отказу от случаев, когда добиться успеха труднее.

Улучшение показателей за счет снижения стандартов. Снижение критериев оценки – один из способов улучшения результатов. Например, такой показатель, как «процент учеников, окончивших среднюю школу», можно повысить за счет снижения строгости выпускных экзаменов, а показатель пунктуальности авиакомпаний – за счет увеличения расчетного времени полета.

Улучшение показателей путем исключения или искажения данных. Эта стратегия предполагает исключение неудобных случаев или такую классификацию, при которой они не учитываются. Полиция может «снижать» уровень преступности, переквалифицируя тяжкие преступления в мелкие правонарушения или вообще не регистрируя сообщения о преступлениях.

Подтасовка. Это небольшой, всего лишь на один шаг, выход за пределы игры с показателями. Частота этого явления растет в прямой зависимости от важности показателей. Как мы увидим, в ответ на закон «Ни одного отстающего ребенка», повысивший важность экзаменационных отметок учащихся, учителя и директора школ во многих городах стали изменять ответы учащихся на тесты.

II. История проблемы

3. Происхождение системы вознаграждения в зависимости от результативности

«Отчетность», «количественные показатели» и «индикаторы результативности» стали культурными мемами. Их использование сулит место в поезде, идущем по пути прогресса, и ни один политик, руководитель госучреждения, ректор университета или директор школы не хочет отстать от этого поезда. Когда количественные показатели становятся полновесной монетой, отказ от их использования грозит банкротством. Представители власти и управляющие фондов настаивают на их применении в качестве критерия оплаты.

Как и почему возникает зацикленность на количественных показателях?

Идея о том, что организации, на которые не распространяются законы свободного рынка, должны работать более эффективно, если им будут платить на основе результативности, впервые озарила политиков еще в викторианской Британии. В 1862 г. Роберт Лоу, либеральный член парламента, курировавший комитет по образованию, предложил новый метод государственного финансирования школ на «основе результатов». Лоу прославился тем, что в 1856 г. провел через парламент закон, ставший эпохальным в истории капитализма. Это был закон об акционерных компаниях, который вместе с принятым годом ранее законом об ограниченной ответственности сформировал новую законодательную базу для компаний с ограниченной ответственностью. От реформирования структуры бизнеса Лоу перешел к реформированию финансируемых государством школ.

Система Лоу строилась на предпосылке о том, что «обязанность государства в области публичного образования заключается… в обучении как можно большего числа людей читать, писать и считать»[27]27
  Цитируется по книге: Matthew Arnold, “The Twice-Revised Code” (1862), in R. H. Super (ed.), The Complete Prose Works of Matthew Arnold (Ann Arbor, Mich., 1960–77), vol. 2, pp. 214–15.


[Закрыть]. Иначе говоря, школы следовало финансировать в зависимости от успешности овладения учениками тремя дисциплинами. В школы ежегодно должны были наведываться инспекторы для проверки знаний учеников в английском и арифметике. За каждого ученика, который не явился на проверку или не смог ответить на заданные вопросы, из государственного финансирования школы вычитали небольшую сумму. Реформа Лоу была направлена отчасти на сокращение расходов, но прежде всего – на привязывание финансирования школ к измеряемым результатам освоения базовых и практических навыков и внедрение в образование рыночных принципов[28]28
  Park Honan, Matthew Arnold: A Life (Cambridge, Mass., 1983), pp. 318–19; R. H. Super’s notes to Arnold, “The Twice-Revised Code”, in Complete Prose Works, vol. 2, p. 349.


[Закрыть].

Против системы Лоу выступил выдающийся культуролог Мэтью Арнольд, по профессии государственный инспектор тех самых школ, реформировать которые намеревался Лоу. Арнольд неоднократно предупреждал о том, что критерии, пригодные для рынка, нельзя распространять на другие сферы жизни. Арнольд осмелился обрушить на политика шквал открытой критики. В эссе, озаглавленном «Дважды пересмотренный кодекс» (The Twice-Revised Code), Арнольд раскритиковал узкую и механистичную концепцию образования, предлагавшуюся кодексом. Способность читать и понимать прочитанное, указывал Арнольд, развивается главным образом не путем выполнения узкоспециализированных заданий по чтению, а благодаря более общей культуре, которую ребенок впитывает в семье и школе, порождающей внутреннее желание читать. Таким образом, целью школы должно быть «общее развитие интеллекта», без которого навыки чтения и письма не появятся[29]29
  Arnold, “The Twice-Revised Сode”, рp. 223–24.


[Закрыть]. Вместо того чтобы отвечать на «стремление низших классов подняться над своим положением», правительство, сетовал Арнольд, собирается финансировать самое элементарное образование[30]30
  Ibid., p. 226.


[Закрыть]. Поскольку многие нуждающиеся ученики неизбежно будут отсутствовать на ежегодных проверках знаний или провалят эти проверки, результатом предлагаемой реформы станет сокращение финансирования школ для бедных. По мнению Арнольда, образование народа приносилось в жертву «сторонникам экономии государственных средств любой ценой»[31]31
  Ibid., p. 243.


[Закрыть].

Инспектируя школы, Арнольд часто видел, что учащиеся запоминают горы фактов и цифр, но не имеют аналитических способностей и совершенно не понимают утонченной прозы или поэзии. Их учили не рассуждать, а зазубривать[32]32
  Fred G. Walcott, The Origins of Culture and Anarchy: Matthew Arnold and Popular Education in England (Toronto, 1970), pp. 7–8.


[Закрыть]. И до, и особенно после введения «платы за результаты» Арнольд критиковал образование за то, что оно «слишком слабо воспитывает и гуманизирует… значительная часть его, которую руководство считает результатом, в действительности усваивается механически»[33]33
  Arnold, “Special Report on Certain Points Connected with Elementary Education in Germany, Switzerland, and France” (1886), in Complete Prose Works, vol. 11, pp. 1, 28.


[Закрыть]. Концепция образования как механического усвоения, ориентированного на получение измеримого умения читать, писать и считать, в последующие десятилетия то ослабевала, то возрождалась и обрела максимальную силу в конце ХХ в.

На каждом последующем взлете этой концепции появлялись свои критики вроде Арнолда, которые указывали на неучитываемые издержки привязки вознаграждения к результатам стандартных измерений.

Признаки зацикленности на количественных показателях отчетливо прослеживаются в американском движении за повышение эффективности школьного образования. Начавшись в 1910-е гг., оно продержалось несколько десятилетий. В 1911 г. Саймон Паттен, влиятельный профессор экономики из Школы бизнеса Уортона, потребовал от школ предоставления свидетельств их вклада в жизнь общества, то есть результатов, которые можно «видеть и измерять»[34]34
  Simon Patten, “An Economic Measure of School Efficiency”, Educational Review 41 (May 1911), pp. 467–69, цитируется в книге: Raymond E. Callahan, Education and the Cult of Efficiency (Chicago, 1962), p. 48.


[Закрыть]. Другие псевдореформаторы пытались привнести в школы плоды движения за эффективность промышленного производства. Начало этому движению дал Фредерик Уинслоу Тейлор – американский инженер, который в 1911 г. ввел термин «научное управление»[35]35
  Frederick W. Taylor, The Principles of Scientific Management (New York, 1911). О Тейлоре и его влиянии на сторонников реформы образования см.: Callahan, Education and the Cult of Efficiency, chap. 2.


[Закрыть]. Тейлор проанализировал процесс производства чугуна на заводах, разбив его на составные части. Он провел хронометраж трудовых движений и определил стандартные уровни производительности на каждом рабочем месте. Рабочие, выполнявшие производственные задания медленнее предписанного, получали более низкую ставку, а те, кто укладывался в норму, – более высокую. Тейлор выступал также за внедрение сложной системы контроля рабочих мест[36]36
  Alfred D. Chandler, Jr., The Visible Hand: The Managerial Revolution in American Business (Cambridge, Mass., 1977), pp. 275–76.


[Закрыть]. Его целью было повышение эффективности за счет стандартизации и ускорения работы при массовом производстве.

Специализация и стандартизация задач, фиксирование и учет всех действий, применение материальных стимулов – таково наследие, переданное Тейлором и его учениками последующим поколениям.

Тейлоризм, в сущности, – это попытка заменить неявные знания рабочих методами массового производства, которые задумывались, разрабатывались и контролировались менеджерами. «При научном управлении, – писал Тейлор, – менеджеры принимают на себя… бремя сбора традиционных знаний, которыми ранее обладали рабочие, а затем классификации, табулирования и сведения этих знаний к правилам, законам и формулам… Таким образом, планирование, которое при старой системе выполняли рабочие, при новой системе должно выполняться руководством в соответствии с законами науки»[37]37
  Taylor, процитировано в: James C. Scott, Seeing Like a State: How Certain Schemes to Improve the Human Condition Have Failed (New Haven, 1998), p. 336.


[Закрыть]. По словам Тейлора, «гарантировать ускорение работы можно только с помощью принудительной стандартизации методов, принудительного внедрения лучших практик и условий труда и принудительного кооперирования. А обязанность принудительного внедрения стандартов и кооперирования лежит исключительно на управляющем персонале» (сохранен курсив оригинала)[38]38
  Frederick W. Taylor, Principles of Scientific Management, процитировано в: David Montgomery, The Fall of the House of Labor (New Haven, 1989), p. 229.


[Закрыть].

Идеи Тейлора о необходимости повышения эффективности через стандартизацию и надзор нашли отражение в снискавшем популярность учебнике «Управление государственными школами» (Public School Administration). Он был написан в 1916 г. деканом педагогического факультета Стэнфордского университета Эллвудом Кабберли[39]39
  Ellwood P. Cubberley, Public School Administration (Boston, 1916), см.: Callahan, Education and the Cult of Efficiency, pp. 95–99.


[Закрыть]. Идея оценки учителей на основании экзаменационных отметок учеников просуществовала не одно десятилетие. Один из исследователей в области образования – Уильям Ланселот попробовал выяснить, какой вклад вносят учителя в образование учеников. Он проверил знания учащихся по математике в начале и в конце учебного года и получил показатель «изменения». Хотя обнаружилось, что одни учителя были эффективнее других, лучшие из них добавляли к знаниям учащихся очень немного[40]40
  Dana Goldstein, The Teacher Wars: A History of America’s Most Embattled Profession (New York, 2014), pp. 86–87.


[Закрыть]. В начале ХХI в. эту концепцию возродили под названием «оценка добавленной стоимости», а затем, при администрации Обамы, под названием «прогресс учащегося»[41]41
  О термине «прогресс учащегося» см.: Chad Aldeman, “The Teacher Evaluation Revamp, in Hindsight”, EducationNext 17, no. 2 (Spring 2017), http://educationnext.org/the-teacher-evaluation-revamp-in-hindsight-obama-administration-reform/.


[Закрыть].

В период между мировыми войнами тейлористские методы организации фабричного производства стали применять в самых разных отраслях промышленности. К 1950-м гг. они стали нормой в таких компаниях, как General Motors, где, по словам социолога Дэниела Белла, управленческая «надстройка, которая организует производство и управляет им… отобрала умственный труд у рабочих; все сконцентрировалось в планово-производственных и конструкторских отделах». Результатом стало усиление отупляющей рутины для рабочих, находящихся на низших ступенях иерархии[42]42
  Richard Sennett, The Corrosion of Character: The Personal Consequences of Work in the New Capitalism (New York, 1998), p. 42.


[Закрыть]. В конце века количественные показатели вытеснили тейлористские методы организации из промышленного производства в сектор торговли.