Текст книги "Ошибки в оценке науки, или как правильно использовать библиометрию"

Библиометрическая оценка науки и исследователей

Как мы показали выше, поначалу библиометрический инструментарий использовался прежде всего для управления журнальными фондами в библиотеках и для исследований динамики развития науки. С конца же 1980-х годов его постепенно начинают применять для оценки исследовательских групп. Такие управленческие технологии, как менеджмент знаний (knowledge management)[31]31
  См.: T. D. Wilson, “The nonsense of ‘knowledge management’,” Information Research, 8, octobre 2002, article no 144, http://InformationR.net/ir/8–1/paper144.html.


[Закрыть] или бенчмаркинг (benchmarking)[32]32
  См.: Isabelle Bruno et Emmanuel Didier, Benchmarking: L’État sous pression statistique (Paris: La Découverte, 2013).


[Закрыть], основанные на конструировании показателей продуктивности, эффективности и пр., перекочевали в 1980-е годы из частных предприятий в государственный сектор, а в 1990-е годы и в университеты. Так библиометрические данные стали инструментом управления научными карьерами, с помощью которого стремились преодолеть ограничения традиционной коллегиальной оценки. Все более утверждалось мнение, что такая оценка слишком субъективна и ее следует дополнить или даже заменить данными, которые считались более объективными. Выходящий с 1991 года журнал Research Evaluation отражает этот менеджерский подход к науке, и в нем публикуются работы по оцениванию, зачастую основанные на библиометрии.

До 2000-х годов большинство библиометрических исследований производилось на уровне крупных единиц (больших лабораторий, университетов, стран). Практически все эксперты в данной сфере скептически относились к применению библиометрических измерений на индивидуальном уровне. Последние интересовали прежде всего менеджеров науки и ученых, которые, с тех пор как доступ к базам данных упростился благодаря интернету, принялись в свободное время заниматься любительской библиометрией. Именно такая характеристика представляется уместной, поскольку, как мы увидим в следующих главах, подобные изыскания не отличаются методологической строгостью.

В заключение этого краткого исторического экскурса можно сказать, что с 1920-х и до конца 1950-х годов библиометрия опиралась на методы ручного подсчета, ограничивалась маленькими выборками и служила прежде всего для помощи в управлении библиотечными фондами журналов. Введение в эксплуатацию информатизированной базы данных ИНЦ в начале 1960-х годов открыло путь для крупномасштабного анализа динамики науки. Эта инновация появилась в период, когда для определения политики в данной области требовалось все больше показателей, которые позволили бы измерять уровень научного развития стран. Это стечение обстоятельств в 1970–1980-е годы дало мощный толчок исследованиям динамики науки на уровне дисциплин и специальностей, а также на страновом и международном уровнях.

После робких начинаний 1980-х только на протяжении 1990-х годов библиометрия получает распространение как инструмент оценки исследователей. Став объектом этих новых количественных методов оценивания, последние вдруг узнали о существовании библиометрии, а посему связывают ее исключительно с процедурами оценки. Некоторые возмущаются таким упрощенным подходом к измерению своей научной деятельности и критикуют ограниченность этих методов, заново открывая таким образом недостатки, давно известные экспертам в этой области. Другие же, не столь критично настроенные, принимаются изобретать показатели и, комбинируя более-менее произвольным образом библиометрические данные, разрабатывают формулы для выявления лучших исследователей. Злоупотребления оценочной библиометрии бросают тень на всю совокупность методов, которые между тем являются незаменимыми при анализе глобальной динамики науки.

Глава II. Динамика наук сквозь призму библиометрии

Как мы показали в предыдущей главе, настоящий подъем библиометрии связан с получением доступа к базам данных, позволившим автоматизировать анализ на макроуровне. Вплоть до 2004 года, когда фирма Elsevier запустила на рынок альтернативную базу данных, Scopus, Институт научной информации (ISI), созданный Юджином Гарфилдом, оставался монополистом в сфере библиометрической статистики. Поэтому большинство работ по наукометрии основываются на базах данных ISI. Однако в последние несколько лет стало появляться все больше исследований, использующих данные Scopus[33]33
  См.: Éric Archambault, David Campbell, Yves Gingras & Vincent Larivière, “Comparing bibliometric statistics obtained from the Web of Science and Scopus,” in Journal of the American Society for Information Science and Technology, 60, 2009, pp. 1320–1326.


[Закрыть].

Из чего состоит индекс цитирования

Для начала напомним, какова структура Индекса научного цитирования, публикуемого Институтом научной информации (ISI) с 1963 года. В 1973 году к Science Citation Index (SCI) добавляется Social Science Citation Index (SSCI), а с 1978 года – Arts and Humanities Citation Index (AHCI). До распространения интернета они были доступны лишь в университетских библиотеках, получавших их по подписке в виде толстых томов, похожих на телефонные справочники, а затем, с 1980-х годов, в виде компакт-дисков. Разумеется, бумажный носитель нисколько не приспособлен для крупномасштабного анализа, и тома Индекса использовались в основном просто для библиографических поисков. И наконец, напрямую у ISI можно было получить всю совокупность данных в электронной форме.

На ил. 2 показано типичное содержание страницы из индекса цитирования в бумажном формате. На ней видны отсылки к статьям Эйнштейна за 1959, 1960 и 1961 годы. В настоящее время бумажная версия не выпускается, и все три базы данных объединены на платформе Web of Science, содержащей около 12 000 журналов по всей совокупности дисциплин. Они доступны в интернете по абонементу университетских библиотек, подписанных на услуги Thomson Reuters, фирмы, которая приобрела Институт научной информации в 1993 году.

В базе данных содержится не полный текст статей, а совокупность связанных с ними метаданных. В ней можно найти название статьи, журнала, где она опубликована, фамилии всех авторов, их институциональный адрес, тип документа (статья, письмо, обзор, книжная рецензия и пр.) и полный библиографический список (ил. 3). Именно эта информация о ссылках и придает ИНЦ его специфический и (долгое время) уникальный характер. Поскольку в пристатейные списки литературы иногда попадают патенты, это дает возможность анализировать и ссылки на патенты[34]34
  См.: Keith Pavitt, “Patent statistics as indicators of innovative activities: possibilities and problems,” in Scientometrics, 7, 1985, pp. 77–99.


[Закрыть]. В свою очередь, базы данных по патентам, также содержащие ссылки на статьи, с 1980-х годов стали использоваться для анализа связей между научными исследованиями и техническими инновациями[35]35
  См.: Francis Narin, Dominic Olivastro, “Linkage between patents and papers: An interim EPO/US comparison,” in Scientometrics, 41, 1998, pp. 51–59.


[Закрыть].

Ил. 2. Выдержка из первого ИНЦ (источник: Eugene Garfield, American Documentation. July 1963, p. 196)

После перевода в электронную форму эта информация организуется в виде базы данных, позволяющей производить поиск по разным параметрам (автор, страна, институция, журнал и т. п.).

В бумажную эпоху поиск в ИНЦ был возможен лишь по фамилии первого автора, несмотря на то что у большинства публикаций уже тогда было более одного автора. Первые пользователи, социологи науки, подмечали это ограничение и предлагали включать также другие фамилии или по крайней мере фамилию последнего автора, который в больших исследовательских коллективах, типичных для «Большой науки», часто является руководителем. Однако Гарфилд, осознавая затратность подобного изменения в базе данных, в ответ напомнил, что ИНЦ – это прежде всего инструмент библиографического поиска, а не измерения эффективности исследователей[36]36
  См. переписку между Гарфилдом и социологом Гарриет Цукерман (Harriet Zuckerman) в: P. Wouters, “The citation culture,” op. cit., p. 102.


[Закрыть]. В связи с усовершенствованием компьютерной техники современные библиометрические базы данных позволяют найти упоминания всех соавторов той или иной публикации.

Ил. 3. Типичный вид метаданных статьи в индексе цитирования

Инструмент для историков и социологов науки

С самого начала ИНЦ воспринимался как важный ресурс для историков и социологов науки. Еще до публикации первой версии в 1963 году Гарфилд заручился поддержкой отца социологии науки, Роберта К. Мертона, а также историка науки, ратовавшего за продвижение библиометрии, Дерека де Солла Прайса. Сам Гарфилд серьезно интересовался историей науки и в течение всей своей карьеры работал над совершенствованием программ, предназначенных для автоматической визуализации сетей цитирования между статьями[37]37
  Eugene Garfield, Irving H. Sher & Richard J. Torpie, “The use of citation data in writing the history of science,” in Institute for Scientific Information, décembre 1964; Eugene Garfield, “From the science of science to scientometrics: visualizing the history of science with HistCite software,” in Journal of Informetrics, 3, 2009, pp. 173–179.


[Закрыть]. Благодаря интересу к истории науки со стороны Гарфилда директор исследовательской службы в ISI Генри Смолл, сам по образованию историк науки, в 1981 году взял на себя руководство созданием индекса цитирования по физике за период с 1920 по 1929 год при финансовой поддержке Национального научного фонда. Это был период развития квантовой физики, что позволило детально изучить научную революцию с точки зрения библиометрии[38]38
  Henry Small, Physics Citation Index, 1920–1929, Philadelphie, ISI, 2 vols, 1981; “Recapturing physics in the 1920s through citation analysis,” in Czechoslovak Journal of Physics, 36, 1986, pp. 142–147.


[Закрыть]. Этот интерес к историческому использованию ИНЦ в результате привел к созданию ретроспективной базы данных, включившей ведущие научные журналы с 1900 года в сфере социальных и естественных наук[39]39
  http://wokinfo.com/products_tools/backfiles/coss/, http://wokinfo.com/products_tools/backfiles/cos/.


[Закрыть].

Ил. 4a. Динамика среднего числа ссылок, содержащихся в статьях, по крупным дисциплинарным направлениям, 1900 – начало 2010-х годов (источник: WoS)

Ил. 4б. Динамика среднего числа ссылок (цитат), полученных статьей через два года после ее публикации, по крупным дисциплинарным направлениям, 1900 – начало 2010-х годов (источник: WoS)

По мере накопления исследований по библиометрии были обнаружены характеристики публикаций и ссылок, которые необходимо учитывать при конструировании показателей, позволяющих адекватно описывать динамику науки на разных уровнях. Так, среднее количество ссылок на одного автора в значительной мере зависит от размера дисциплин и специальностей. Например, в математике исследователей гораздо меньше, чем в медицине. В целом, при прочих равных условиях среднее количество ссылок на ту или иную статью зависит от размеров содержащихся в статьях библиографий, то есть от числа статей в этих библиографиях. Чем выше это число, тем больше у автора шансов, что его процитируют. Среднее число ссылок в статьях по всем дисциплинарным направлениям со временем существенно возросло, что отражает резкий рост числа исследователей и публикуемых статей (ил. 4a). Иначе говоря, рост среднего числа ссылок на одну статью, как показано на ил. 4б, является простым следствием демографических изменений в науке. Из этого следует, что абсолютное число ссылок мало что означает само по себе и что сравнения между разными научными областями по этому показателю некорректны. Его всегда нужно рассматривать в контексте дисциплины, к которой принадлежит исследователь, и за определенный период.

Помимо этого, уже первые исследования показали, что процент самоцитирования в целом невелик (8 %), что ссылки на собственные публикации в журналах составляют примерно 20 % от их общего числа и что распределение цитирования отличается высокой концентрацией[40]40
  См.: Eugene Garfield & Irving H. Sher, “New factors in the evaluation of scientific literature through citation indexing,” in American Documentation, 14, 1963, pp. 195–201.


[Закрыть]. И наконец, как показывает ил. 5, неравномерно распределены не только ссылки, но также сами публикации и гранты, получаемые исследователями[41]41
  См.: Vincent Larivière, Benoît Macaluso, Éric Archambault & Yves Gingras, “Which scientific elites? On the concentration of research funds, publications and citations,” in Research Evaluation, 19, 2010, pp. 45–53.


[Закрыть]. Речь идет о распределениях типа Парето, подчиняющихся так называемому правилу 20/80: на 20 % исследователей приходится, в общем и целом, 80 % цитат и грантов. У публикаций концентрация несколько ниже: на 20 % исследователей приходится не более 60 % статей.

Ил. 5. Распределение грантов, публикаций и ссылок среди квебекских исследователей (источник: OST)

С середины 1960-х годов ведется поиск корреляций между числом ссылок и различными переменными, характеризующими исследователей, с тем чтобы выявить детерминанты производительности ученых и влияния научных исследований. Так, в исследовании, опубликованном в 1966 году, установлено, что нет корреляции между коэффициентом интеллекта исследователей (IQ) и числом ссылок на их работы! Зато это число коррелирует с местом университета, в котором они защитили диссертацию, на шкале престижа, установленной экспертами[42]42
  См.: Alan E. Bayer & John K. Folger, “Some correlates of a citation measure of productivity in science,” in Sociology of Education, 39, 1966, pp. 381–390.


[Закрыть]. Используя свой первый индекс (за 1961 год), Гарфилд выявил, что лауреаты Нобелевской премии за 1962 и 1963 годы цитируются в тридцать раз чаще, чем в среднем работы их коллег[43]43
  Eugene Garfield, Irving H. Sher, “New tools for improving and evaluating the effectiveness of research,” in M. C. Yovits, D. M. Gilford, R. H. Wilcox, E. Staveley and H. D. Lemer (dir.), Research Program Effectiveness, Proceedings of the Conference Sponsored by the Office of Naval Research Washington, D. C., July 27–29, 1965 (New York: Gordon and Breach, 1966), pp. 135–146. Текст доступен в интернете: http://www.garfield.library.upenn.edu/papers/onrpaper.html.


[Закрыть]. Другие исследования впоследствии подтвердили, что существует связь между уровнем цитируемости, производительностью, заслугами и степенью признания исследователей[44]44
  Jonathan R. Cole, Stephen Cole, Social Stratification in Science (Chicago: University of Chicago Press, 1973).


[Закрыть].

Ил. 6. Сферы применения библиометрии

Базы данных Web of Science уникальны тем, что охватывают длительный временной промежуток и включают, хотя и в неравной мере, все области знаний. Они позволяют всесторонне изучать социальные и когнитивные трансформации различных научных дисциплин на всем протяжении XX века. Некоторые исследователи прибегают к ним для анализа развития наук под определенным – историческим, социологическим, экономическими или политическим – углом (ил. 6). Рассмотрим несколько примеров.

Уровни измерения

В своем простейшем виде библиометрия занимается подсчетом документов. Документы могут анализироваться на разных уровнях агрегирования по таким параметрам, как фамилия автора, его институциональная принадлежность, включая название организации (кафедра, университет, лаборатория), регион и страну, в которой она располагается. В плане содержания можно также ассоциировать документ с той или иной дисциплиной или специальностью. Простые вычислительные операции позволяют составить первое представление о сравнительном развитии различных областей науки в разных организациях и странах, а также помогают понять различные аспекты структуры и динамики наук.

Еще задолго до создания в начале 1960-х годов Индекса научного цитирования некоторые ученые стали анализировать количественную динамику публикаций в своих дисциплинах. В 1935 году, изучая кривую роста числа публикаций, посвященных фиксации азота растениями, ученые-агрономы вывели простую, но впоследствии востребованную математическую модель: логистическая кривая, характеризующаяся резким ростом с последующим насыщением[45]45
  См.: Perry W. Wilson et Edwin B. Fred, “The growth curve of a scientific literature,” in Scientific Monthly, 41, 1935, pp. 240–250.


[Закрыть]. Другой пример использования библиометрии относится к институциональному уровню: сотрудники исследовательской лаборатории компании «Дженерал электрик» в Нью-Йорке показали, что анализ публикаций является полезным методом для идентификации самых активных центров в той или иной научной области[46]46
  См.: Jack H. Westbrook, “Identifying significant research,” in Science, 132, 28 October, 1960, pp. 1229–1234.


[Закрыть], а также для оценки уровня фундаментальных научных исследований в научно-производственных лабораториях[47]47
  J. C. Fisher, “Basic research in industry,” in Science, 129, 19 June, 1959, pp. 1653–1657.


[Закрыть].

Хотя эти примеры ограничены по своему охвату, они продемонстрировали пользу такого рода количественного анализа науки, который теперь благодаря библиометрическим базам данных стало возможно применять к совокупности научных дисциплин в глобальном масштабе[48]48
  См.: G. Nigel Gilbert, “Measuring the growth of science. A review of indicators of scientific growth,” in Scientometrics, 1, 1978, pp. 9–34.


[Закрыть]. Анализ временной динамики научного производства, учитывающий особенности разных баз данных, в рамках одной страны, региона или институции в самом деле дает важную информацию, которую невозможно получить другими путями. Поиск по ключевым словам (адрес, институция, термин) также позволяет оценить тренды развития отдельных научных областей (спад или, напротив, рост) более точно, чем это мог бы сделать даже самый маститый исследователь. Ни один человек не мог бы иметь всеобъемлющее видение науки в отсутствие библиометрических данных, которые также позволяют конструировать показатели, отражающие динамику отдельных научных областей. Так, например, как показано на ил. 7, базы данных наглядно демонстрируют небывалый рост китайской научной продукции начиная со второй половины 1990-х годов (ниже мы более подробно проанализируем эту продукцию по разным научным областям – химия, нанотехнологии, математика и пр.). Благодаря такого рода данным легко заметить и быстрое падение научного производства в России после распада СССР в начале 1990-х годов, а также его новый подъем в 2000-е годы. Полученные таким образом серии данных по разным странам можно соотносить с другими переменными. Так, было доказано, что общее число публикаций в данной стране (так же как и число патентов[49]49
  См.: Francis Narin, “Patent bibliometrics,” in Scientometrics, 30, 1994, pp. 147–155.


[Закрыть]) напрямую связано с ее валовым внутренним продуктом, то есть научное развитие практически невозможно отделить от экономического[50]50
  См.: P. W. Hart, J. T. Sommerfeld, “Relationship between growth in gross domestic product (GDP) and growth in the chemical engineering literature in five different countries,” Scientometrics, 42, 1998, pp. 299–311.


[Закрыть].

Ил. 7. Динамика числа публикаций в странах БРИК, 1972 – начало 2010-х годов (источник: WoS)

Различия между дисциплинами

Используя разнообразную информацию, которая содержится в публикациях, библиометрия позволяет эмпирически оценить трансформации научных практик на протяжении XX века, а также различия между дисциплинами.

В академическом мире естественные науки часто противопоставляются социальным и гуманитарным. А между тем библиометрический анализ характеристик цитирования выявляет наличие скорее четырех, а не двух групп наук. Биомедицина отличается в этом отношении от остальных естественных наук. А социальные науки, с одной стороны, и гуманитарные дисциплины, с другой, которые традиционно объединялись в одну группу, также различаются по принятым в них практикам цитирования, берущим начало в разных традициях. В целом можно заметить, что около трех четвертей ссылок в статьях по гуманитарным дисциплинам приходится на книги, а не на журналы. Этот процент мало менялся за последние тридцать лет[51]51
  См.: Vincent Larivière, Éric Archambault, Yves Gingras, Étienne Vignola – Gagné, “The lace of serials in referencing practices: comparing natural sciences and engineering with social sciences and humanities,” in Journal of the American Society for Information Science and Technology, 57, June 2006, pp. 997–1004.


[Закрыть]. Зато в экономике доля ссылок на книги снизилась за тот же период с 55 до 30 %. Эта тенденция объясняется тем, что экономисты имитируют поведение коллег из естественных наук. Например, в химии или физике более 80 % ссылок приходится на статьи.

Результаты библиометрических исследований часто носят описательный характер, однако они важны тем, что ясно показывают вариативность публикационных практик во времени и в зависимости от дисциплины. Исходя из этого, представляются опасными попытки навязать единую модель научной практики, берущую за образец публикацию статей в специализированных журналах. Так, например, все более часто встречающееся во Франции использование термина «публикующийся» для характеристики производительности исследователей вовсе не нейтрально. Вопреки очевидности, «публикующийся» обозначает не просто публикующегося исследователя, а исследователя, который публикует определенное количество текстов в год в определенных журналах. Иначе говоря, «публикующийся» публикуется в определенном формате и ни в каком ином. Участие в коллективных сборниках, распространенное и значимое в социальных науках явление, таким образом, обесценивается просто потому, что ему, в отличие от журнальных публикаций, нельзя присвоить импактфактор. Таким образом, порядок вещей оказывается перевернут: практики подстраиваются под критерии, тогда как должно быть ровно наоборот. «Непубликующимся» называют не того исследователя, который не публикует свои работы, но того, который просто не соответствует навязанным критериям публикационной активности, согласно которым наивысшей ценностью обладают статьи в журналах, попавших в библиометрические базы данных. К слову, в социальных науках выбор в пользу книги или статьи также обуславливается такими социологическими переменными, как место учебы и работы. В США, например, социологи из частных университетов ставят акцент на публикации книг, тогда как их коллеги из государственных университетов публикуют прежде всего статьи[52]52
  См.: Elisabeth S. Clemens, Walter W. Powell, Kris McIlwaine, Dina Okamoto, “Careers in print: books, journals, and scholarly reputations,” in American Journal of Sociology, 101, 1995, pp. 433–494.


[Закрыть].

Ил. 8. Среднее число авторов на статью по дисциплинам, 1900 – начало 2010-х годов (источник: WoS)

Итак, библиометрический анализ обнаруживает различия между социальными науками и гуманитарными дисциплинами в том, что касается практик цитирования. Это знание необходимо для того, чтобы противостоять навязыванию не адаптированных к этим специальностям критериев.

Коллективизация и интернационализация науки

По таким показателям, как среднее число авторов на статью (ил. 8) и удельный вес статей с двумя и более авторами (ил. 9), можно судить о процессах коллективизации науки на протяжении всего XX века. Среди естественных наук, к примеру, быстрее других дисциплин командной стала химия, тогда как математика долго оставалась дисциплиной индивидуалистической. Но даже математика не осталась в стороне от подъема коллективной работы, и в настоящий момент более половины статей имеют двух или более авторов (ил. 10). Каждую дисциплину можно, в свою очередь, разложить на специальности с различающимися практиками сотрудничества, причем обычно исследователи-эмпирики собираются в более крупные команды, чем теоретики. Однако общей тенденцией остается растущая коллективизация науки.

Ил. 9. Временнáя динамика удельного веса статей с двумя и более авторами по крупным дисциплинарным направлениям, 1900 – начало 2010-х годов (источник: WoS)

Ил. 10. Временнáя динамика удельного веса статей с двумя и более авторами в химии, математике и физике, 1900 – начало 2010-х годов (источник: WoS)

Ил. 11. Удельный вес статей, написанных соавторами из разных стран, по крупным дисциплинарным направлениям, 1980 – начало 2010-х годов (источник: WoS)

Науке всегда было свойственно стремление к преодолению границ, однако после Второй мировой войны наблюдается настоящий подъем международного сотрудничества. Библиометрические данные позволяют проследить эту динамику с конца 1970-х годов, когда базы данных WoS стали систематически включать в описание статей полный адрес авторов. На ил. 11 показан рост международного сотрудничества по трем крупным дисциплинарным направлениям с 1980 года. Удельный вес статей, написанных соавторами из разных стран, регулярно рос, причем в естественных науках в начале 1990-х годов наблюдался ускоренный рост. Практики международных коллабораций получили распространение и в социальных науках, где ускорение их роста пришлось на начало 2000-х годов.

Ил. 12. Сеть международного научного сотрудничества между 50 самыми производительными странами (2000–2005). Размер точек пропорционален числу статей, опубликованных в международном соавторстве. Для наглядности линии на рисунке отображаются, если минимальное число совместных статей равно 500

Относительную стабильность в этом отношении сохраняли гуманитарные дисциплины: в этих областях знания у абсолютного большинства статей только один автор (ил. 9). Поэтому не имеет смысла использовать данный показатель для описания динамики гуманитарных областей. Зато распространенность международного соавторства в естественных науках придает этому показателю высокую значимость, поскольку он позволяет измерить степень интернационализации науки. С его помощью можно также констатировать, что эта тенденция гораздо более давняя, чем нынешняя риторика интернационализации науки, и что она обусловлена внутренней динамикой научных дисциплин, хотя, конечно, ее могут поощрять и специальные программы в сфере научной политики.