Текст книги "Ошибки в оценке науки, или как правильно использовать библиометрию"

Научные сети

Возможности библиометрических баз данных отнюдь не ограничиваются простым подсчетом публикаций. Благодаря этим базам можно узнать не только из каких стран происходят соавторы тех или иных статей, но и какова их институциональная принадлежность. А методы сетевого анализа позволяют наглядно представить сети международного сотрудничества. На ил. 12 показана сеть международных коллабораций между исследователями из стран, лидирующих в сфере научного производства, с 2000 по 2005 год. Здесь ясно видно, что Франция поддерживает тесные отношения с ведущими в научном отношении странами, которые окружены более периферийными странами с менее диверсифицированными сетями сотрудничества. Можно было бы также показать связи между разными институциями внутри той или иной страны.

Сравнение сетей сотрудничества в разные периоды показывает, что с течением времени они становятся все более плотными. С 1980-х годов существенно растет не только удельный вес публикаций, написанных в международном соавторстве, но и круг стран, с которыми происходит сотрудничество.

Создание сетей перекрестного цитирования между цитирующими и цитируемыми журналами позволяет выявлять отношения между дисциплинами. Вычисление степени центральности различных узлов сети дает операциональное определение идеям «центра» и «периферии», которые чаще всего используются лишь как метафоры. Определяя изменение центральности той или иной страны или журнала во времени, можно отследить ее траекторию в мировом научном поле.

Библиометрические данные также используются для наблюдения за вновь возникающими исследовательскими полями, такими как нано– или биотехнологии. Корпус текстов для анализа при этом выстраивается на основе ключевых слов, содержащихся в статьях или в названиях публикаций. Данный подход дает возможность исследователям и в особенности компаниям осуществлять научно-технологический мониторинг, позволяющий им быть в курсе последних исследований и открытий в интересующих их сферах.

Ил. 13. Методы анализа тематических связей между публикациями. Слева: библиографическое сопряжение связывает между собой документы А и B через их общие ссылки (c, d, e, f); справа: социтирования связывают друг с другом документы А и В через статьи, которые ссылаются на оба документа (c, d, e, f)

И наконец, с помощью анализа ссылок можно выявить и более концептуальные связи между статьями. Чем более полно совпадают у двух статей списки литературы, тем выше вероятность того, что их объединяет схожая тематика. Данная интуиция положена в основу метода библиографического сопряжения, разработанного в начале 1960-х годов для автоматической классификации документов[53]53
  См.: Michael M. Kessler, “Bibliographic coupling between scientific papers,” in American Documentation, 14, 1963, pp. 10–25.


[Закрыть]. Десять лет спустя Генри Смолл, руководитель научных программ в ISI, изобрел так называемый метод социтирования, устанавливающий связь между двумя документами, которые часто цитируются вместе в других документах-источниках[54]54
  См.: Henry Small, “Co-citation in scientific literature: A new measure of relationship between two documents,” in Journal of the American Society for Information Science, 24, 1973, pp. 265–269.


[Закрыть]. Как показано на ил. 13[55]55
  Этот график в адаптированном виде взят из: Eugene Garfield, “From bibliographic coupling to co-citation analysis via algorithmic historio-ibliography,” см. на сайте http://garfield.library.upenn.edu/papers/drexelbelvergriffith92001.pdf.


[Закрыть], эти два подхода дополняют друг друга; они позволяют создавать концептуальные сети, обнаруживающие достаточно четкие подгруппы. Подобные техники выявления сообществ применяются для вычленения дисциплин в совокупности научного поля и отдельных специальностей в рамках дисциплин[56]56
  См.: Matthew L. Wallace, Yves Gingras et Russell Duhon, “A new approach for detecting scientific specialties from raw cocitation networks,” in Journal of the American Society for Information Science and Technology, 60, 2009, pp. 240–246.


[Закрыть].

В последнее десятилетие много работ было посвящено визуализации системы отношений между дисциплинами[57]57
  См.: Kevin W. Boyack, Richard Klavans, Katy Börner, “Mapping the backbone of science,” in Scientometrics, 64, 2005, pp. 351–374.


[Закрыть]. На большинстве таких изображений сеть отношений между дисциплинами отличается от линейной иерархической последовательности, как это подразумевалось в большей части классификаций наук от Фрэнсиса Бэкона до Огюста Конта. В своей совокупности дисциплины формируют круг, как это предполагал, один из немногих, Жан Пиаже[58]58
  См.: Jean Piaget, “Le système et la classification des sciences,” in Jean Piaget (dir.), Logique et connaissance scientifique (Paris: Gallimard, 1967), pp. 1151–1224.


[Закрыть]. И замкнуть этот круг позволяет математика, устанавливая отношения между физикой, с одной стороны, и (через статистику) с психологией и социальными науками, с другой[59]59
  См. изображения в: Katy Börner, Atlas of science. Visualizing what we know (Cambridge: MIT Press, 2010); а также на веб-сайте: http://scimaps.org/atlas/maps.


[Закрыть].

Примеры эти можно было бы умножать, настолько многочисленны и разнообразны в наше время библиометрические исследования. Но и приведенных выше примеров достаточно для демонстрации того, что библиометрия дает нам информацию о науках, которую невозможно получить иным способом. Она позволяет уйти в исследованиях науки от частных историй, дисциплинарных предпочтений и авторитетных суждений, которые не могут служить серьезным основанием для принятия решений в сфере научно-технической политики. Как недавно подчеркивалось в отчете Совета канадских академий, политические решения, безусловно, не могут основываться исключительно на библиометрических данных, однако последние помогают сделать осведомленный выбор[60]60
  Conseil des académies canadiennes [Совет канадских академий], Éclairer les choix en matière de recherche: indicateurs et décisions (Ottawa: Conseil des académies canadiennes, 2012).


[Закрыть]. А те, кто думает, что без них можно обойтись, рискуют ошибиться в своих расчетах и прогнозах.

О некоторых расхожих мнениях по поводу практик цитирования

Библиометрический анализ опровергает некоторые расхожие представления. Возьмем для примера средний возраст ссылок, содержащихся в пристатейных списках литературы. Часто приходится слышать, что цитируются только статьи менее четырех– пятилетней давности и что быстрый рост числа публикаций только усиливает тенденцию ссылаться на самые свежие результаты. Однако глобальное исследование временнóй динамики среднего (или даже медианного) возраста ссылок показывает, что на самом деле в последние тридцать лет он только увеличивается![61]61
  См.: Vincent Larivière, Éric Archambault, Yves Gingras, “Long-term variations in the aging of scientific literature: from exponential growth to steady-state science (1900–2004),” Journal of the American Society for Information Science and Technology, 59, 2008, pp. 288–296.


[Закрыть] Точно так же несостоятельна идея о том, что бóльшая часть статей никогда не цитируется: в реальности доля нецитируемых статей снижается с течением времени, особенно с 1970-х годов[62]62
  См.: Matthew L. Wallace, Vincent Larivière, Yves Gingras, “Modeling a century of citation distributions,” in Journal of Informetrics, 3, 2009, pp. 296–303.


[Закрыть]. Значение данного показателя, разумеется, зависит от того, какой временной промежуток взят для анализа. Если ограничиваться двухлетним периодом, то удельный вес нецитируемых статей будет выше в социальных науках, чем в медико-биологических. Зато если увеличить этот временной интервал, например до десяти лет, то разрыв между дисциплинами сокращается. Так что прежде чем приниматься за оценивание, в особенности отдельно взятых исследователей, важно хорошо понимать технические характеристики цитирования.

Противники цитационного анализа приводят в качестве аргумента тот факт, что статьи с ошибочными и даже поддельными результатами исследований могут широко цитироваться, тогда как новаторские работы иногда игнорируются. Однако с точки зрения истории и социологии науки это не является проблемой. Напротив, изучая такие ссылки, можно выявить динамику научных споров, а также способы научной коммуникации и распространения знаний. Анализ цитирования также позволяет исследовать пути рецепции той или иной теории, не вынося при этом суждения о ее истинности или ложности, ведь этот аспект скорее относится к прерогативам самого научного сообщества. Рассмотрим для примера случай холодного ядерного синтеза, о котором с большой помпой объявили в 1989 году электрохимики Стэнли Понс и Мартин Флейшман. В исследовании, опубликованном ISI, демонстрируется, что через 10 месяцев после объявления об их революционном «открытии», в соответствии с которым ядерный синтез считался возможным при комнатной температуре в пробирке, 52 % ссылок на их статью носили негативный характер, 27 % – позитивный, а все остальные упоминания были нейтральными. Интересный факт: позитивную оценку давали в основном теоретики, пытавшиеся объяснить этот феномен[63]63
  См.: “Citations track the fate of cold fusion,” in New Scientist, 1713, 21 April 1990.


[Закрыть].

Если статья не цитируется, это просто означает, что ученых не интересует ее тема. Впоследствии ученые могут заинтересоваться данным предметом и начать цитировать давнюю статью. В библиометрии этот феномен известен под названием «спящая красавица» (sleeping beauty)[64]64
  Anthony F. J. van Raan, “Sleeping beauty in science,” in Scientometrics, 59, 2004, pp. 461–466.


[Закрыть]. Так, статья итальянского физика Этторе Майораны по релятивистской теории вращения элементарных частиц, опубликованная в 1937 году, «проспала» до середины 1960-х, когда благодаря ускорителям было открыто большое количество новых частиц. И с тех пор данный вопрос получил актуальность, которой у него не было за тридцать лет до этого, когда единственными известными частицами были электрон и нуклон (протон/нейтрон) со спином ½. Однако следует отметить, что Майорана не был безвестным ученым и другие его публикации часто цитировались[65]65
  См.: Y. Gingras, “La carrière des publications d’Ettore Majorana. Une étude bibliométrique,” in Revue de synthèse, 134, 2013, pp. 75–87.


[Закрыть].

Согласно другому расхожему мнению, важнейшие тексты того или иного ученого могут долгое время оставаться почти не замеченными. Так, в статье, часто приводимой в качестве примера критиками библиометрии, британский биолог Питер Лоуренс утверждает, что самая важная работа XX века очень редко цитировалась в первые десять лет после ее публикации[66]66
  Peter A. Lawrence, “The mismeasurement of science,” in Current Biology, 17, 2007, pp. R584–R585.


[Закрыть]. Поскольку речь шла о статье Уотсона и Крика о структуре ДНК, опубликованной в Nature в 1953 году, это утверждение меня заинтриговало. Надо заметить, что оба исследователя были награждены Нобелевской премией в 1963 году, спустя всего девять лет после своего открытия, что кажется очень коротким сроком. В этой связи представляется маловероятным, чтобы их текст остался незамеченным. Решив внимательнее рассмотреть этот случай, я методично проанализировал все ссылки на эту статью между 1953 и 1970 годами и пришел к выводу, что утверждение Лоуренса – это миф. Источник его – в неправильном использовании библиометрии, когда выводы делаются, основываясь на абсолютном числе ссылок, без учета специфики изучаемой научной области и периода, а также всей совокупности журналов, где встречаются ссылки на данный текст. Статья Уотсона и Крика вовсе не прошла незамеченной, напротив, вплоть до 1970 года она оставалась наиболее часто цитируемой среди текстов, опубликованных в Nature в 1953 году. К примеру, в период с 1953 по 1955 год она цитировалась в 36 раз чаще, чем в среднем другие статьи, вышедшие в Nature в 1953 году. А если вспомнить, что среднее значение этого показателя для журнала Nature сильно превышает его значение для совокупности статей, публикуемых во всех журналах по биологии вместе взятых, то становится ясно, что текст Уотсона и Крика стал широко известен сразу после публикации. В 1956–1958 годах его цитируют в 65 раз чаще, чем в среднем все другие статьи. Иными словами, социологическая догадка была верна: столь фундаментальные статьи не проходят незамеченными в рамках адекватного научного сообщества[67]67
  См.: Y. Gingras, “Revisiting the ‘quiet debut’ of the double helix: a bibliometric and methodological note on the ‘impact’ of scientific publications,” in Journal of the History of Biology, 43, 2010, pp. 159–181.


[Закрыть].

Как показывают эти примеры, к которым можно было бы добавить и другие[68]68
  См.: Y. Gingras, “The collective construction of scientific memory: the Einstein – Poincaré connection and its discontents, 1905–2005,” in History of Science, 46, mars 2008, pp. 75–114; idem, “The transformation of physics from 1900 to 1945,” in Physics in Perspective, 12, 2010, pp. 248–265.


[Закрыть], публикации того или иного ученого и ссылки на ту или иную статью могут изучаться с исторической и социологической точек зрения, и вовсе не обязательно при этом впадать в оценивание и рейтингование[69]69
  См.: Eugene Garfield, “Random thoughts on citationology. Its theory and practice,” in Scientometrics, 43, 1998, pp. 69–76.


[Закрыть].

Влияние ИНЦ на практики цитирования исследователей и журналов

По мнению некоторых специалистов, использование ИНЦ должно было неминуемо оказать влияние на то, как ученые и журналы будут рассматривать цитирование. Например, Гарфилд призывал редакторов журналов и рецензентов статей обращать внимание на то, насколько корректно авторы ссылаются на релевантные теме их исследования работы коллег. С его точки зрения, это позволило бы не проводить заново уже осуществленные исследования[70]70
  См.: Eugene Garfield, “‘Science Citation Index.’ A new dimension in indexing,” in Science, 144, 8 May, 1964, pp. 649–654.


[Закрыть].

Норман Каплан, первый социолог, написавший в середине 1960-х годов статью по практикам цитирования, полагал, что использование ИНЦ приведет к большей рефлексивности, то есть нормы цитирования станут более явными[71]71
  См.: Norman Kaplan, “The norms of citation behavior: prolegomena to the footnote,” in American Documentation, 16, 1965, pp. 179–184.


[Закрыть]. В первых научных журналах середины XVII века цитата имела вид ссылки на автора в самом корпусе текста. Эта практика отвечает негласному долгу признания вклада других членов научного сообщества и приоритета на открытия. Для краткости это можно назвать механизмом наделения символическим признанием. Ссылки также позволяют автору вписать себя в определенную традицию. Долгое время их использование было неформальным и почти не кодифицированным. По мнению Прайса, использование ссылок становится более систематическим с середины XIX века[72]72
  Derek de Solla Price, Little Science, Big Science, op. cit., p. 65.


[Закрыть]. Однако по наблюдению Чарльза Базермана[73]73
  Charles Bazerman, Shaping Written Knowledge (Madison: The University of Wisconsin Press, 1988).


[Закрыть], еще в конце XIX века в американском журнале Physical Review более половины ссылок не были датированы. Но столь слабая кодификация ничуть не мешала рецензентам требовать от авторов упоминания тех или иных работ. Так, в 1760–1770-е годы редколлегия парижской Академии наук часто просила авторов добавить ссылки на предшествующие работы по той же теме. Например, от члена-корреспондента Академии Пьера-Туссена Навьера, подавшего для публикации статью о растворении ртути в кислоте, потребовали «добавить цитаты, как было указано в рецензии». А в 1765 году редколлегия заставила аббата Нолле «сослаться на уже существующие в данной области работы»[74]74
  James E. McClellan III, Specialist Control. The Publications Committee of the Académie Royale des Sciences (Paris), 1700–1793 (Philadelphie: American Philosophical Society, 2003), pp. 33 and 38.


[Закрыть].

Распространение ИНЦ в научном поле изменило эти практики, придав акту цитирования большую осознанность. Они также стали предметом тщательного контроля со стороны рецензентов и журналов, которые постепенно систематизировали оформление этих ссылок (упоминание журнала, года выхода и т. п.). С середины 1970-х годов в научном сообществе стали придавать все большую значимость цитатам как мере качества исследований, и практики цитирования сделались предметом для анализа во многих работах[75]75
  См.: Loet Leydesdorff, “Theories of citation?”, in Scientometrics, 43, 1998, pp. 5–25.


[Закрыть]. Большая их часть сходится на том, что за этими практиками стоят разнообразные мотивы и что отсылки к текстам имеют несколько разных функций. Например, они могут отсылать как к методам, так и к источникам, теориям, фактам и пр. Были предложены разные классификации типов цитирования (утвердительное, отрицательное, нейтральное) и причины, по которым автор ссылается или не ссылается на ту или иную статью[76]76
  См.: Blaise Cronin, The Citation Process. The Role and Significance of Citations in Scientific Communication, Londres, Taylor Graham, 1984.


[Закрыть]. Однако с библиометрической точки зрения важность имеют прежде всего агрегированные характеристики. В этой перспективе сами причины цитирования маловажны, поскольку они могут быть различными у разных людей. В каком-то смысле они нейтрализуют друг друга. В конечном счете важно лишь то, что в рамках той или иной специальности или дисциплины одни тексты цитируются чаще, чем другие. При всем разнообразии практик на самом общем уровне цитирование остается мерой заметности цитируемых работ. Индивидуальное цитирование может носить в том числе чисто риторический характер[77]77
  См.: G. Nigel Gilbert, “Referencing as persuasion,” in Social Studies of Science, 7, 1977, pp. 113–122.


[Закрыть]. Однако тот факт, что исследователь цитирует классическую статью, чтобы показать, как его работы вписываются в легитимную традицию, придающую вес его собственной публикации, лишь подтверждает, что цитируемая статья важна в глазах научного сообщества, по меньшей мере как гарантия качества.

Одним из побочных эффектов распространения ИНЦ, которые приходят на ум, является рост количества самоцитирований. И хотя отсечь их при измерении заметности работ исследователя не составляет труда, оказывается, что, вопреки ожиданиям[78]78
  См.: Joseph Bensman, “The aesthetics and politics of footnoting,” in Politics, Culture and Society, 1, 1988, pp. 443–470; в этом длинном эссе нет ни одной ссылки или конкретных данных, а лишь пространная спекуляция на тему прогрессирующей самореферентности и стратегий цитирования.


[Закрыть], доля самоцитирований остается достаточно стабильной с 1980 года[79]79
  См.: Vincent Larivière, Alesia Zuccala, Éric Archambault, “The declining scientific impact of theses: implications for electronic thesis and dissertation repositories and graduate studies,” in Scientometrics, 74, 2008, pp. 109–121; см. также: Matthew L. Wallace, Vincent Larivière, Yves Gingras, “A small world of citations? The influence of collaboration networks on citation practices,” in PlosOne, 7, 2012, e33339.doi:10.1371/journal.pone.0033339.


[Закрыть]. В целом практика самоцитирования не столь уж проблематична, тем более что у нее есть и легитимная функция: напомнить об уже опубликованных автором работах, на которые опираются его нынешние труды. На самом деле мотивации цитирования собственных и чужих работ в общем-то схожи[80]80
  См.: Susan Bonzi, H. W. Snyder, “Motivations for citation: A comparison of self citations and citations to others,” in Scientometrics, 21, 1991, pp. 245–254; см. также: Béatrice Millard, “Les citations scientifiques: des réseaux de références dans des univers de références. L’exemple d’articles de chimie,” in REDES, Revista hispana para el análisis de redes sociales, 19, 2010, pp. 69–93.


[Закрыть].

Многочисленные критические высказывания в адрес практик цитирования – некоторые обоснованные, другие не очень (как мы только что увидели) – набрали силу внутри академического поля за последние два десятка лет лишь вследствие все более частого использования показателей цитирования для оценки качества научных исследований как на индивидуальном, так и на институциональном уровне. Действительно, критика самоцитирования или ссылок на своих имеет смысл только в свете того, что ссылки стали чем-то вроде валюты, используемой в процессе оценивания исследователей. Поэтому стоит рассмотреть вопрос оценивания более подробно.

Глава III. Оценочный бум

С недавних пор участились разговоры о важности оценки научных исследований, и поэтому может создаться впечатление, что в предыдущие эпохи ученых не оценивали. Необходимо прояснить это недоразумение и напомнить, что возникновение оценочных процедур датируется началом институционализации науки, а их сфера применения впоследствии расширялась по мере появления новых организационных структур. С середины XVII века и до наших дней исследователи всегда подвергались оценке.

Проблема состоит не столько в оценивании как таковом, сколько в расширении его применения. В результате исследователям поступает все больше запросов на оценку их коллег, и некоторые отвечают на эти запросы отказом, не желая отрывать время от собственной работы[81]81
  См.: ESF [Европейский научный фонд], ESF Survey Analysis Report on Peer Review Practices, ESF, March 2011; www.esf.org/fileadmin/Public_documents/Publications/pr_guide_survey.pdf.


[Закрыть]. И хотя некоторые ученые, видимо, считают, что работу мысли оценить невозможно, следует напомнить, что оценивание на разных уровнях уже давно осуществляется в следующих сферах:

1) научные публикации и доклады;

2) запросы на финансирование исследований;

3) преподавание в высшей школе;

4) продвижение по должности;

5) научные центры и департаменты;

6) учебные программы в высшей школе;

7) с конца 1980-х годов в некоторых странах к этому списку прибавилась оценка самих университетов.

Оценка публикаций

Не будет преувеличением сказать, что практика оценки научных трудов восходит к созданному в марте 1665 года журналу Лондонского королевского общества Philosophical Transactions. Его главным редактором был один из двух секретарей этого ученого общества Генри Ольденбург. Это издание представляло собой прототип современного научного журнала: его содержание ограничивалось сферой науки и включало книжные рецензии, оригинальные статьи и перепечатки статей из иностранных источников. Уже в анонсе проекта этого нового издания уточнялось, что его содержание будет «рецензироваться членами Общества»[82]82
  Marie Boas Hall, Henry Oldenburg. Shaping the Royal Society (Oxford: Oxford University Press, 2002), p. 84. Первым научным журналом действительно был Journal des savants, издававшийся Дени де Салло с января 1665 года. Однако три месяца спустя его выпуск был запрещен. Потом он был возобновлен, однако его содержание стало весьма разнородным и касалось всех видов деятельности «литературной республики». Это была скорее литературная газета, нежели реферируемый научный журнал в современном смысле.


[Закрыть]. Сам Исаак Ньютон испытал на себе превратности оценивания, подав в 1672 году свою первую статью в Philosophical Transactions Лондонского королевского общества. Рецензентом был назначен Роберт Хук, не обнаруживший в произведении Ньютона ничего оригинального и даже посчитавший, что заключения автора ошибочны в свете его собственной теории света, опубликованной несколькими годами раньше. Ньютон же имел дерзость не снизойти даже до ее упоминания. Такая оценка, разумеется, ввергла Ньютона в страшный гнев…[83]83
  Idem, ibidem, pp. 167–169.


[Закрыть]

Долгое время оценивание науки ограничивалось оценкой публикаций коллег и соперников в научном поле. Поначалу журналы имели общий профиль и охватывали несколько областей, а позже, в течение XIX века, специализировались и стали отраслевыми. С появлением дисциплинарных журналов связано формирование относительно независимых друг от друга областей, объединяющих исключительно представителей одной дисциплины (химия, математика, физика и т. п.)[84]84
  См.: Y. Gingras, Sociologie des sciences, op. cit., pp. 48–51.


[Закрыть].

До начала XX века оценивание носило достаточно формальный характер: редактор журнала или редколлегия решали, достаточно ли им компетенции, чтобы самим оценить предложенный текст, а если нет, то выбирали среди своего близкого окружения эксперта, способного написать отчет о значимости присланного текста. Доля отказов в публикации в целом была очень незначительной. Даже в Annalen der Physik, ведущем журнале по физике начала XX века, по оценкам Макса Планка, отказы составляли менее 10 %, и сам он предпочитал скорее предложить внести исправления в текст, чем отказывать своим коллегам в публикации[85]85
  См.: Lewis Pyenson, “Physical sense in relativity: Max Planck edits the Annalen der Physik, 1906–1918,” in Annalen der Physik, 17, 2008, pp. 176–189.


[Закрыть].

А вот пример того, как медленно развивался процесс оценивания. В 1936 году Альберт Эйнштейн, привыкший к тому, что его публикации принимались быстро и без возражений, был удивлен тем, что статья, предложенная им в американский Physical Review, прошла оценку анонимного рецензента, написавшего в своем отчете, что великий ученый ошибся в своих расчетах! Эйнштейн ответил, что никогда не давал разрешения редактору показывать кому-либо свой текст до публикации, и не счел целесообразным отвечать на комментарии, показавшиеся ему ошибочными, сообщив редакции журнала, что попросту отзывает свой текст. По всей видимости, он тогда просто не знал, как функционирует этот американский журнал, который тогда более строго следовал процедурам, чем его европейские аналоги. Однако это не помешало ему учесть замечания рецензента и опубликовать на следующий год отредактированную версию своей статьи в другом журнале[86]86
  См. подробнее эту историю в: Daniel Kennefick, “Einstein versus the Physical Review,” in Physics Today, 58, September 2005, pp. 43–48.


[Закрыть].

Оценка исследовательских проектов

Схожий процесс коллегиального оценивания имеет место и при подаче заявок на финансирование исследований. Система грантов институционализировалась в течение XX века в большинстве стран, где стали появляться агентства по финансовой поддержке научных исследований, особенно после Второй мировой войны. Во Франции в 1901 году была создана Касса научных исследований для финансирования индивидуальных исследовательских проектов. Впоследствии такие гранты стали выдаваться как министерствами, так и Национальным центром научных исследований (CNRS). Созданное в 2005 году Национальное агентство исследований (ANR) является продолжением и наиболее ярким выражением этого тренда. В Северной Америке подобные агентства по финансированию науки, независимые от министерств, имеют гораздо более давнюю историю. Канадский Национальный совет научных исследований с 1916 года распределяет гранты среди исследователей, подавших свои научные проекты[87]87
  См.: Y. Gingras, Les Origines de la recherche scientifique au Canada (Montréal: Boréal, 1991).


[Закрыть]. Однако в США ведущая роль в этом процессе перешла к федеральному центру лишь в 1950 году, когда был создан Национальный научный фонд (ННФ)[88]88
  См.: James M. England, A patron for pure science: the National Science Foundation’s formative years, 1945–57 (Washington D. C., NSF, 1982).


[Закрыть]. Оценка проектов, зачастую в форме живого обсуждения в рамках комитетов из 10–20 человек, долгое время оставалась достаточно неформальной и слабо регулируемой – компромисс по вопросу выбора лучших проектов достигался в ходе непосредственного общения. Как показали социологи Джонатан и Стивен Коулы, в этой системе есть значительная доля произвольности и одни и те же проекты могут оцениваться очень по-разному в зависимости от состава комитета[89]89
  Stephen Cole, Jonathan R. Cole, Gary A. Simon, “Chance and consensus in peer review,” in Science, 214, 1981, pp. 881–886.


[Закрыть]. Известно также, что критерии, используемые членами экспертных комиссий, значительно разнятся в зависимости от дисциплины и содержат весомую долю артистического произвола: так, проект, который одному кажется «впечатляющим», «захватывающим» и «оригинальным», другой расценивает как «непоследовательный» и «методологически слабый»[90]90
  См. подробное исследование критериев оценки в: Michèle Lamont, How professors think. Inside the curious world of academic judgment (Cambridge, MA: Harvard University Press, 2009).


[Закрыть].

Для того чтобы упорядочить этот субъективный процесс, постепенно стали вводиться балльные системы оценивания, основанные на подсчете баллов, выставленных каждым членом комиссии, – иначе говоря, коллективное рейтингование. Однако за внешней объективностью этой арифметики суть осталась неизменной, ведь решение поставить галочку в компьютерной программе под оценкой 2,5, а не 4,0 остается абсолютно непрозрачным и не поддающимся анализу. Квантификация вынесенных суждений, перекодирующая «супер!» в цифру 3, а «ничтожество» – в 1,5, ни в коей мере не отменяет фундаментальной субъективности суждения, а лишь скрывает ее за кажущейся объективностью цифры. Однако благодаря этой процедуре становится возможно произвести некоторые арифметические операции с оценками отдельных членов комиссии: вычислив «среднее арифметическое» этих суждений, можно определить «дисперсию» оценок и сфокусировать процесс принятия решения на суждениях, сильно отклоняющихся от этого среднего показателя. Если все участники поставили 2, то консенсус оказывается полным, а суждение окончательным по сравнению с каким-нибудь другим проектом, где средний показатель 4. При этом не имеет значения, если за одной и той же оценкой стоят суждения, вынесенные каждым в соответствии со своими особыми критериями. Итак, здесь по-прежнему действует модель дискуссии, имеющая целью убеждение и достижение компромисса (или по крайней мере большинства голосов) для отбора лучших проектов. А квантификация оценки на самом деле служит лишь упорядочиванию процесса обмена мнениями и более быстрому достижению коллективного решения.

С начала 1970-х годов библиометрию использовали финансирующие науку организации, такие как ННФ, чтобы выяснить, позволяет ли процесс коллегиального оценивания выявлять лучших исследователей. Было показано, что в области химии более 80 % грантов получают исследователи, на которых в предыдущие пять лет ссылались в среднем более 60 раз, и что публикации ученых с четырех лидирующих университетских факультетов, получающих бóльшую часть грантов, цитируются примерно 400 раз за тот же самый период. Эти результаты послужили ответом критикам процесса оценивания, утверждавшим, что он является по сути своей предвзятым[91]91
  См.: Thane Gustafson, “The controversy over peer review,” in Science, 190, 12 December 1975, pp. 1060–1066.


[Закрыть]. С тех пор этой теме было посвящено множество библиометрических исследований как по отдельным факультетам или исследовательским группам, так и по целым университетам, в чем легко убедиться, пролистав подшивки таких журналов, как Scientometrics или Research Evaluation[92]92
  См.: R. N. Kostoff, “Performance measures for government-sponsored research: overview and background,” in Scientometrics, 36 (3), 1996, pp. 281–292; см. также: Fabien Jobard, “Combien publient les politistes. La productivité des politistes du CNRS et leurs supports de publication,” in Revue française de science politique, 60, 2010, pp. 117–133.


[Закрыть].