Текст книги "Совершенствование оценки эффективности деятельности подведомственных Правительству Российской Федерации образовательных и научных учреждений"

Европейские директивы и стандарты отражают утверждение министров в Берлинском коммюнике, что, согласно принципам автономии учебных заведений, основную ответственность по обеспечению качества высшего образования несет каждое заведение в отдельности, что обеспечивает базу для подотчетности академической системы внутри государственной системы качества. Следовательно, в данных стандартах и директивах предусматривается соответствующий баланс между созданием и развитием внутренних культур качества и той ролью, которую могут играть процедуры внешней оценки качества.

С точки зрения методики проведения самообследования вузов интересен опыт европейских стран по формированию аналитических показателей оценки своего интеллектуального капитала. Указанная оценка может быть как самостоятельным процессом в ходе стратегического управления в университете, так и первой фазой (самообследованием) в ходе внешней оценки (аккредитации) вуза.

К одному из наиболее значимых проектов в области разработки системы показателей управления интеллектуальным капиталом университетов в странах Евросоюза относится проект RICARDIS 2006 – Reporting Intellectual Capital (RICARDIS report). Его результат – руководство по составлению отчета об интеллектуальном капитале университета с детализацией подходов и измерителей (показателей) интеллектуального капитала университета. Показатели оценки интеллектуального капитала университета предложено классифицировать в разрезе трех его элементов: человеческий, структурный и реляционный (отношений) капитал. Для каждого компонента интеллектуального капитала предлагаются аналитические показатели, состав которых может быть уточнен и конкретизирован с учетом стоящих перед конкретным университетом целей и задач. Внутри каждой из этих групп показатели сгруппированы в соответствии со стратегическими целями развития университета (табл. 1).

Таблица 1

Показатели оценки интеллектуального капитала университета[5]5
  В руководстве RICARDIS предложена двухуровневая типизация индикаторов: F – финансовые и NF – нефинансовые.


[Закрыть]

Данный подход рассматривается как крайне важный, поскольку он позволяет увязать систему показателей со стратегическими целями и миссией университета.

В соответствии с руководством RICARDIS стандартизация показателей интеллектуального капитала университета, с одной стороны, является чрезвычайно важным вопросом, но, с другой – весьма тонким.

Европейский комитет предложил три уровня стандартизации показателей:

1) показатели базового уровня;

2) показатели специализированного уровня (область знаний и деятельности);

3) показатели конкретного университета.

Показатели базового уровня используются всеми организациями и университетами.

Показатели специализированного уровня (зависят от профиля и преподаваемых областей знаний и деятельности) используются организациями и университетами, специализирующимися в определенной области.

Показатели конкретного университета – дополнительные специфические показатели данного университета.

Вместе с тем огромные различия в сфере научных исследований и получаемых результатах создают опасность механического сравнения интеллектуального капитала университетов по агрегированным показателям. Не существует единого подхода Евросоюза, по которому предлагалось бы группировать показатели университетов различных сфер деятельности. Было предложено лишь выделение шести областей науки, по которым можно группировать специализацию университетов[6]6
  Fields of Science and Technology. Source: OECD, in Frascati 2002, p. 67.


[Закрыть]:

1) естественные науки;

2) инженерные и технологические науки;

3) медицина;

4) сельское хозяйство;

5) социальные науки (включая экономику);

6) гуманитарные науки.

С учетом анализа представленных областей знаний в деятельности университетов Европы были выделены общие и специализированные университеты, с учетом чего показатели интеллектуального капитала (второго и третьего уровней) могут отличаться. К университетам общего характера относятся университеты с широким спектром областей знаний, по которым выдаются дипломы. В специализированных университетах значительная часть дипломов выдается по одной или нескольким взаимосвязанным областям знаний.

В качестве примера формирования аналитических показателей, используемых в практике управления деятельностью конкретного университета, можно привести опыт Эдинбургского университета (табл. 2). Показатели оценки деятельности используются в Эдинбургском университете (Шотландия) для обеспечения целей высшего управления в части контроля за достижением поставленных целей и задач как на стратегическом, так и операционном уровне. Данные показатели используются для анализа динамики достигнутых результатов, а также для сравнения с другими университетами.

Таблица 2

Показатели оценки интеллектуального капитала Эдинбургского университета

1.2. Международный опыт рейтинговой оценки вузов

Наибольшую популярность на сегодняшний день в образовательной и научной сфере получили системы оценки эффективности на основе рейтингов[7]7
  Рейтинг (to rate – англ. – оценивать) – числовой показатель, характеризующий предпочтение одного оцениваемого объекта перед другим; условный интегральный показатель, базирующийся на совокупности отдельных признаков.


[Закрыть] вузов. Идея рейтинга восходит к известному французскому математику эпохи Великой французской революции Кондорсе (Condorcet), на основе которой он пытался построить теорию справедливых выборов – рейтинг политиков, программ, партий[8]8
  Гончаренко Л. П., Пономарев М. А. Разработка методики рейтинга студентов (выпускников) ВУЗа как средство стимулирования сотрудничества ВУЗов и коммерческих организаций // Экономический анализ: теория и практика. 2009. № 3.


[Закрыть].

Рейтинги призваны служить для вузов стимулом к достижению высокого уровня качества образования и исследований и быть полезными инструментами для упреждения и выявления возникающих проблем, а также для планирования стратегических и тактических мер на институциональном и национальном уровнях.

Научно обоснованная система рейтинговой оценки вузов является элементом стратегического управления системой национального высшего образования, помогая выжить сильным вузам и способствуя закрытию слабых. Исходя из результатов рейтингования, можно направлять федеральные финансовые источники в сферу образования, осуществлять государственное финансирование вузов в виде госзаказов, регулировать стоимость и, следовательно, цену обучения студентов.

Рейтинги вузов способны выполнять и серьезную ориентационную функцию для абитуриентов, преподавателей, работодателей и др.

Согласно положениям Берлинских принципов ранжирования высших учебных заведений (Берлин, май 2006 г.), сформулированным Международной экспертной группой, рейтинги должны быть одним из подходов к оценке высшего образования на входе, к контролю внутренних текущих процессов, а также к оценке высшего образования на выходе, они могут обеспечить сравнение и лучшее понимание высшего образования, но они не должны быть главными методами оценки.

Анализ специальной литературы и интернет-источников позволяет выделить следующие виды рейтингов высших учебных заведений по составу показателей:

1) рейтинги вычисления единого итогового балла для ранжирования вуза в целом (например, рейтинги, составляемые Министерством образования и науки Российской Федерации, журналом «Перспективы» Респуб лики Польша);

2) рейтинги вузов по конкретным дисциплинам, программам обучения или предметам, отражающие качество учебных программ любого уровня (публикуются Центром по развитию высшего образования совместно с журналом «Stern» в Германии, «Financial Times» в Великобритании);

3) комбинированные подходы – единый рейтинг, в рамках которого составляется также рейтинг по отдельным дисциплинам[9]9
  Карелина И. Г. Современные модели оценки качества образования в России и за рубежом: аналитический обзор. Воронеж: Воронежский государственный университет, 2006. – 181 с.


[Закрыть] (например, комбинированный подход используется в рейтинге «Рекрут» (Япония), где в рейтинг по каждому показателю включаются только 50 лучших вузов).

Исходя из специфики составителей, а также масштабов охвата респондентов рейтинги делятся на национальные и международные (глобальные).

К наиболее известным национальным рейтингам можно отнести:

– рейтинги газет Times, Daily Telegraph, Financial Times Великобритании;

– рейтинг специальностей Германии (разработчик – Центр по развитию высшего образования совместно с Национальным фондом оценки товаров и услуг, журналом Stern);

– рейтинги вузов в Китае (ранжированием вузов занимаются следующие организации: NETBIG competences (China) Limited; Институт менеджмента провинции Гуаньдун; Научно-исследовательский центр оценки науки Китая, университет Вухань; Ассоциация выпускников китайских университетов; Шанхайский институт педагогических наук; Центр по развитию академических степеней и аспирантского образования Китая);

– рейтинги вузов в Японии;

– рейтинг университетов в Канаде Universities Rankings (проводится журналом «Maclean’s Weekly Newsmagazine»);

– рейтинг вузов в Польше Table of Universities (разработчики рейтинга – организация «Перспектива» и газета «Ржечь Посполита»).

К наиболее известным и значимым международным (глобальным) рейтингам университетов относятся:

1) академический рейтинг университетов мира – ARWU (Academic Ranking of World Universities – Шанхайский рейтинг)[10]10
  URL: http://www.shanghairanking.com.


[Закрыть];

2) рейтинг университетов мира Таймс – THE (The Times Higher Education World University Rankings)[11]11
  URL: http://www.timeshighereducation.co.uk/world-university-rankin gs/2012-13/world-ranking.


[Закрыть];

3) всемирный рейтинг университетов – QS (QS World University Rankings)[12]12
  URL: http://www.topuniversities.com/university-rankings/world-unive rsity-rankings/2012.


[Закрыть].

Академический рейтинг университетов мира (ARWU) – международный рейтинг, публикуемый Институтом высшего образования при Шанхайском университете (Китай) начиная с 2003 г., охватывающий 500 университетов.

В качестве критериев оценки вузов здесь приняты следующие показатели (табл. 3):

1) наличие и количество выпускников – нобелевских лауреатов и обладателей медалей и призов (10 %);

2) наличие и количество преподавателей – нобелевских лауреатов и обладателей медалей и призов (20 %);

3) самые цитируемые ученые по 20 основным категориям предметов (20 %);

4) результаты научных исследований – публикации в Nature (20 %);

5) публикации по естественнонаучным и социальным дисциплинам (Science Citation Index-expanded, Social Science Citation Index) (20 %);

6) характеристика академического уровня по сравнению с размером вуза (10 %).

Таблица 3

Индикаторы и веса ARWU

Рейтинг университетов мира Таймс (THE), впервые опубликованный в 2004 г., включает 200 лучших университетов мира. Данный рейтинг составляется влиятельным в сфере образования приложением британской газеты Times – Times Higher Education – при участии информационной группы Thomson Reuters и службы изучения общественного мнения Ipsos Media.

Рейтинги Times Higher Education лучших университетов по всему миру составляются по 13 отдельным показателям, необходимых для сбора полного спектра деятельности университета, от преподавания до исследовательской деятельности. Эти 13 показателей разделяют на 5 категорий (табл. 4):

1) международные отношения – сотрудники и студенты (7,5 %);

2) исследования – объем, результаты и репутация (в размере 30 %);

3) цитирование – уровень ссылаемости (30 %);

4) промышленные результаты – инновации (2,5 %);

5) обучение – изучение окружающей среды (в размере 30 %).

Всемирный рейтинг университетов (QS) от Quacquarelli Symonds – британский ТОП-200 – составляется в результате оценки шести показателей (табл. 5):

1) академическая репутация (40 %);

2) отношение работодателей к выпускникам вуза (10 %);

Таблица 4

Индикаторы и веса THE

3) уровень цитируемости публикаций сотрудников университета (20 %);

4) соотношение числа студентов и преподавателей (20 %);

5) доля в вузе иностранных студентов (5 %);

6) доля в вузе иностранных преподавателей (5 %).

Таблица 5

Индикаторы и веса QS

Как следует из представленных материалов, критерии выбора и ранжирования университетов в трех рейтинговых системах различаются, но основные подходы у них сходны. К числу сходных показателей относятся следующие:

1) количество научных статей в специализированных периодических изданиях;

2) количество наиболее цитируемых ученых в разных областях науки;

3) количество лауреатов Нобелевских премий среди персонала и выпускников;

4) количественные характеристики научных исследований и инноваций;

5) данные репутационных опросов среди работодателей;

6) средние показатели качества образования на количество преподавателей и студентов;

7) показатели интернационализации (сколько зарубежных студентов и преподавателей учится/работает в вузе).

В то же время следует отметить, что в ряде работ зарубежных исследователей многие из наиболее распространенных показателей оценки эффективности, используемых, в том числе, при составлении рейтингов, подвергаются обоснованной критике[13]13
  Philippe Cyrennea, Alan Chan (2012) High school grades and university performance: A case study. Economics of Education Review 31. Р. 524–542; Amanda H. Goodall (2009) Highly cited leaders and the performance of research universities. Research Policy 38. P. 1079–1092; Wen-Min Lu (2012) Intellectual capital and university performance in Taiwan. Economic Modelling 29. P. 1081–1089; Oswald A. J. (2007) An examination of the reliability of prestigious scholarly journals: evidence and implications for decision-makers. Economica 74. P. 21–31; Avkiran, N. K. (2000) Investigating technical and scale effciencies of Australian Universities through data envelopment analysis. Socio-Economic Planning Sciences 35 (1). P. 57–80.


[Закрыть].

Главными недостатками рейтингов признаны стремление сконцентрироваться на результатах прошлой деятельности вузов и акцент на количественных показателях оценки (которые предположительно характеризуют качество).

Так, оценки репутации на основе опросов критикуются за их субъективизм и высокую степень зависимости от ретроспективной эффективности. Показатель, свидетельствующий о высоких баллах при получении итоговой квалификации в результате обучения, может не свидетельствовать об эффективности образовательного процесса, а быть результатом высоких требований к уровню подготовки при поступлении в учебное заведение. Помимо этого, различные присваиваемые квалификации могут предполагать различную сложность выпускных испытаний, что также сказывается на уровне указанного индикатора эффективности.

Также в числе недостатков рейтингов назван, как ни парадоксально, чрезмерный акцент именно на исследовательских показателях. Дело в том, что в интересах развития своей территории, региона и страны качественное обучение новым специальностям и, главное, компетенциям актуализируется само по себе, безотносительно к исследовательским показателям. Так, например, частой критике со стороны специалистов подвергаются так называемые типичные индикаторы эффективности научной деятельности, такие как количество публикаций, цитируемость публикаций, импакт-факторы журналов.

Практические рекомендации по рейтингам и отчетности в высшем образовании разрабатываются соответствующими комиссиями ЮНЕСКО. Так, на глобальном форуме ЮНЕСКО в Париже (май 2011 г.) университетские рейтинги оценивались в контексте инструментов отчетности, которые необходимо активнее использовать для поддержания качества высшего образования и его развития. Изучались те инструменты отчетности, которые акцентируются на разнообразии критериев и экспертных оценок. Речь шла об оценке качества, бенчмаркинге, оценке итогов обучения, аккредитации, лицензировании и иных формах оценки.

Общая тенденция в отношении к рейтингам состоит в стремлении создать новую, многомерную и максимально объективную систему оценки вклада университетов в экономический рост конкретных стран и мира в целом. Успех подобных реформ сделает невозможной ситуацию, когда университеты конкретной страны не входят в список лучших университетов мира, хотя сама страна обгоняет по показателям развития национальной инновационной системы те государства, вузы которых находятся на самой вершине традиционных мировых рейтингов. К примеру, сейчас в список 50 лучших университетов по рейтингам THE и ARWU не входят вузы стран Скандинавии. В обоих рейтингах лидерство принадлежит американским и британским университетам. Однако на данный момент национальные инновационные системы скандинавских стран по большинству качественных показателей фактически опережают и США, и Великобританию.

Все более активно призывают к качественным межуниверситетским сравнениям взамен традиционных рейтингов университеты ведущих стран Азии. По их мнению, критерии мировых университетских рейтингов недостаточно надежны и университеты слишком разнятся между собой, что не позволяет проводить корректные сравнения. Об этом, например, было заявлено на конференции по высшему образованию стран Азиатско-Тихоокеанского региона (ноябрь 2010 г.). Рейтинги должны быть более «чувствительными» к анализу предметных зон, поскольку некоторые университеты сильны по одним дисциплинам и посредственны – по другим.

По мнению Национального агентства научно-технологического развития Таиланда, рейтинги вузов должны стать более похожими на рейтинги кредитных агентств и банков. Последние, как известно, учитывают, прежде всего, качество работы, а не формальное положение в рейтинговой таблице. Агентство предлагает группировать университеты в определенном диапазоне качества обучения и исследований. Таким образом, они будут расположены в рамках единого кластера, что характеризует качественный подход взамен количественного.

В качестве аналога Исследовательский фонд Таиланда (финансирующий высшее образование страны) выбрал действующую в Великобритании с 1986 года систему, в соответствии с которой выделены 5 категорий качества вузов:

1) уровень мирового класса;

2) уровень международного совершенства;

3) уровень международного признания;

4) уровень национального признания;

5) уровень неклассифицированных вузов.

1.3. Зарубежная практика специальной оценки научных организаций и научных исследований

В Европейском союзе действует система государственной оценки научных организаций (euroCRIS). При оценке используются три группы показателей:

1) публикации: статья в журнале, профессиональная книга, раздел в профессиональной книге, доклад в материалах конференции. Учет ведется по базам данных: Scopus, Web of Sciens, Conference Proceedings Citation Index, Science nebo Social Science & Humanities;

2) прикладные результаты: патенты; полезные модели, промышленные конструкции; опытная установка, проверенная технология, сорт, порода; прототип, функциональные образцы; результаты реализации поставщиком; сертифицированные методологии и процедуры, специальные карты; программное обеспечение; отчет о секретных исследованиях;

3) прочие результаты: аудиовизуальная продукция и электронные документы; организация выставки; организация семинара; организация конференции; иные результаты, которые не подпадают под определение типов результатов оценки, например, заявка на патент, небольшая книга и т. д.

За каждый результат начисляются определенные баллы. Затем общее финансирование организации делится на суммарный балл, что дает некоторую оценку эффективности.

Ограниченность количества показателей, конечно, дает весьма приблизительную оценку. Здесь опять-таки нет учета важности научного направления, инновационной эффективности, оценки процессов, оценки социального значения и многих других важных элементов.

Из европейского опыта нам интересен, пожалуй, принцип наказания научной организации за неверные данные, представленные для оценки. За единичное грубое нарушение правил оценки организация полностью лишается базового финансирования на очередной финансовый год. Под грубым нарушением понимается, например, следующее: организация вместо числа полученных патентов указала число поданных заявок на патенты.

С точки зрения цели настоящего исследования наибольший интерес представляют разработанные и применяемые во многих странах Системы финансирования исследований на основе оценки эффективности – Performance-based research funding systems (PBRFs). Изучению и обобщению информации о Системах финансирования исследований на основе оценки эффективности и об их особенностях посвящена отдельная публикация ОЭСР «Performance-based Funding for Public Research in Tertiary Education Institutions»[14]14
  OECD, 2010. Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings. OECD Publishing.


[Закрыть].

Впервые прообраз подобной системы был внедрен в 1986 году в Великобритании и носил название Research Assessment Exercise (RAE). С тех пор система совершенствовалась и распространялась. По данным ОЭСР, в начале 2010 года ее применяли 14 стран (табл. 6). Ряд стран либо пока не внедрил подобные системы, либо использует собственные, которые в настоящий момент перерабатываются с учетом содержания Систем финансирования исследований на основе оценки эффективности – PBRFs. К таким странам относятся Франция, Германия, Япония, Корея, Нидерланды, ЮАР.

Таблица 6

Национальные системы финансирования исследований на основе оценки эффективности для университетов[15]15
  Diana Hicks (2012) Performance-based university research funding systems. Research Policy, 41. P. 251–261.


[Закрыть]

В системах PBRFs эффективность исследовательской деятельности и ее результатов определяется на основе трех категорий индикаторов:

1) индикаторы первого порядка нацелены непосредственно на определение качественной эффективности исследований и сосредоточены на измерении входа, процессов, структуры и/или результатов;

2) индикаторы второго порядка включают индексы, отражающие простые измерения эффекта (например, импакт-фактор журналов и индекс Хирша);

3) индикаторы третьего порядка нацелены на оценку и представление рейтинга подразделений, например, группами экспертов.

Индикаторы первого порядка в системах финансирования исследований на основе оценки эффективности включают входящие индикаторы, индикаторы процессов, структуры и результатов.

Входящие индикаторы связаны с возможностями университета привлечь внешнее финансирование и характеризуют его конкурентные позиции на рынке финансирования (табл. 7). Эти индикаторы связаны с репутацией организации и качеством и значимостью планируемых исследований.

Таблица 7

Входящие индикаторы Систем финансирования исследований на основе оценки эффективности – PBRFs

Индикаторы процессов сосредоточены на оценке внутренних мероприятий и действий, таких как проведение семинаров и конференций, приглашения международных признанных ученых и академических деятелей, участие в зарубежных конференциях и других (табл. 8).

Таблица 8

Индикаторы процессов Систем финансирования исследований на основе оценки эффективности – PBRFs

Индикаторы структуры могут быть сосредоточены на внутренних аспектах, таких как доля академических работников, занятых в исследованиях или исследовательской инфраструктуре, или на внешних аспектах, таких как сотрудничество, репутация и уважение в среде коллег (табл. 9). Возможности для сравнения значений структурных индикаторов для разных дисциплин и областей исследования ограничены вследствие различий в средствах и методах сотрудничества.

Таблица 9

Индикаторы структуры Систем финансирования исследований на основе оценки эффективности – PBRFs

Важные результирующие индикаторы в части выходных индикаторов представлены в табл. 10, а в части индикаторов эффекта – в табл. 11.

Таблица 10

Индикаторы результатов Систем финансирования исследований на основе оценки эффективности – PBRFs

Результаты на выходе могут быть измерены на основе числа публикаций, небиблиографических итогов деятельности, выпуска докторов философии (PhD) и различных видов общественных мероприятий. Публикации важны для развития исследований, но характеристики публикаций отличаются в разных областях исследований и дисциплинах. Обычно при оценке публикационной активности акцент делается на рецензируемых публикациях, поскольку рецензирование предполагает обеспечение определенного уровня качества. В таких областях, как общественные и гуманитарные науки, различие между долей национальных и международных публикаций может быть существенным. Часто статьи в журнале группируются, исходя из ранжирования журналов (по рейтингам журналов). В некоторых научных областях есть устоявшаяся система рейтингования журналов, но в некоторых такие системы ограничены. Эффект также может быть измерен индикаторами, связанными с количеством цитирований, премиями и наградами, возможностями по трудоустройству выпускников PhD, коммерциализацией результатов исследований и оценкой их конечным потребителем.

Таблица 11

Индикаторы эффекта Систем финансирования исследований на основе оценки эффективности – PBRFs

Количество цитирований – индикатор эффекта, который учитывает частоту публикаций и частоту, с которой опубликованные материалы процитированы другими исследователями. Так как исследователи цитируют друг друга по множеству причин, то дискуссионным остается вопрос о том, что фактически измеряет количество цитирований. Предполагается, что исследователи цитируют друг друга, поскольку основываются на идеях и результатах других исследователей, и количество цитирований является характеристикой качества. Но насколько значительно такое качественное измерение? Повод для цитирования также может быть неоднозначным. Не всегда ссылка на работу другого исследователя используется в качестве поддержки собственной точки зрения исследователя. Ссылка может использоваться и для того, чтобы не согласиться с точкой зрения другого автора или показать общее понимание предметной области. Измерение качества исследований без использования количества цитирований осложняется тем, что информация для этого больше имеет отношение к коммуникационным структурам и профессиональным сообществам.

В академическом сообществе продолжается обсуждение возможности использования и неправильного употребления статистики цитирования. В 2008 году Объединенный комитет количественной оценки исследований (Joint IMU/ICIAM/IMS[16]16
  IMU = International Mathematical Union, ICIAM = International Council of Industrial and Applied Mathematics, IMS = Institute of Mathematical Statistics.


[Закрыть] Committee on Quantitative Assessment of Research) опуб ликовал отчет об ограничениях статистики цитирования и рекомендациях по ее использованию. Предпосылкой для создания отчета стало наблюдение того, что для большей прозрачности и ответственности в академическом мире создана культура чисел. Комитет в своем отчете отметил, что лица, принимающие решения, при отсутствии возможности измерить качество (конечная цель) заменяют качество числами, которые они могут измерить. Эта тенденция призывает дать комментарий тех, кто профессионально имеет дело с числами – математиков и статистиков[17]17
  Adler R., Ewing J. and Taylor P. (2008) Citation Statistics. Joint Committee on Quantitative Assessment of Research.


[Закрыть].

Отчет был прокомментирован другими экспертами, которые признают распространенное неправильное употребление данных о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых[18]18
  Lehmann S., Lautrup B. E. and Jackson A. (2009) Comment: Citation Statistics. Statistical Science, vol. 24, no 1, pp. 17–20.


[Закрыть].

Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных и критериев, на основе которых материалы включаются и исключаются из подсчетов, находятся пока на недостаточном уровне. Из-за различий в степени покрытия базами данных поиски в различных системах часто дают разные результаты. Кроме того, базы данных могут быть склонны к ошибке, и степень покрытия меняется в зависимости от области исследований. Для получения, обработки и интерпретации информации о цитировании из баз данных от специалиста требуется владение комбинацией библиометрических и академических навыков в определенной области исследования.

Поскольку и количество публикаций, и степень цитируемости значительно разнятся в зависимости от областей исследований, то возможности для проведения сравнений очень ограничены. Существует рекомендация сравнивать «подобное с подобным». Так, для анализа цитируемости на предмет оценки успешности университетского исследования данные должны быть нормализованы, например, путем соотнесения среднего числа цитирований статьи с мировым средним значением по конкретной области исследований. Такой подход позволяет учесть различную степень воздействия отдельных исследовательских направлений.

В количественной оценке цитирования работ по социальным и гуманитарным наукам существуют специфические проблемы. В этих предметных областях статьи в журналах могут отражать лишь отдельные аспекты проводимых исследований, что сказывается на уровне их цитирования[19]19
  Hicks D. (2006) The Dangers of Partial Bibliometric Evaluation in the Social Sciences. Economia Politica, XXIII, no 2, pp. 145–162.


[Закрыть].

Индикаторы трансфера знаний и коммерциализации результатов исследований в последние годы приобрели особую значимость, поскольку исследования и политики в области инноваций стали более интегрированными. Эти индикаторы могут базироваться на измерении количества лицензий и стартапов, но могут также быть связаны с проведением совместных исследований, консультационной деятельностью, а также с возможностями трудоустройства выпускников со степенью PhD и удовлетворенностью работодателей уровнем подготовки выпускников.

Индикаторы второго уровня. В результате выявленных методологических проблем с оценкой цитируемости были разработаны несколько индексов, которые доступны в большинстве баз данных. Но к их использованию в качестве индикаторов необходимо относиться с большой осторожностью, что не всегда имеет место на практике.

Основными индексами являются импакт-фактор журнала и индекс Хирша. Импакт-фактор журнала – показатель, дающий характеристику среднему числу цитирований статей, опубликованных в данном журнале в пределах определенного срока. Однако существуют значительные различия в числе цитирований статей по отдельным темам. И даже в журналах с высокими импакт-факторами некоторые статьи либо имеют мало, либо не имеют цитирований. Поэтому импакт-фактор не должен механически использоваться для оценки эффективности деятельности исследователей или исследовательских групп.

Индекс Хирша показывает число статей, опубликованных исследователями, у которых есть число цитирований, равное или выше, чем количество статей. Значение индекса Хирша на уровне 20 говорит о том, что исследователь имеет 20 публикаций, каждая из которых была процитирована, по крайней мере, 20 раз. Индекс Хирша был разработан с учетом ограничений других показателей цитируемости. Например, у менее значимого исследователя может быть высокое общее количество цитирований, поскольку он опубликовал «прорывную» статью совместно с другими исследователями. Тем не менее, достичь высокого значения индекса Хирша возможно, имея непрерывный поток публикаций в течение ряда лет. Это означает, что применение индекса Хирша к исследовательской деятельности имеет смысл после 12–15 лет проведения исследований. Кроме того, индекс Хирша зависит от количества лет занятости исследовательской работой, области исследований и сотрудничества в академической сфере. Поэтому индекс Хирша в полной мере не решает проблему сравнительных оценок.

Индикаторы третьего уровня. Индикаторы третьего уровня основаны на экспертных оценках эффективности деятельности отдельных подразделений. Такая оценка проводится с привлечением признанных исследователей в отдельных областях знаний. Экспертная оценка может быть определена как коллегиальная профессиональная модель оценки. Основная идея состоит в том, что признанные представители профессионального сообщества могут оценить деятельность других участников и результаты их исследований на основе качественных профессиональных критериев.

Таким образом, набор индикаторов для оценки эффективности научных исследований продолжает расширяться и совершенствоваться. Многие из используемых индикаторов являются неоднозначными, имеющими как положительные характеристики, так и ограничения. Поэтому их применение для оценки вызывает дискуссии и обсуждения в профессиональной среде. При этом предлагаемые новые индикаторы лишены недостатков старых, но имеют свои слабые стороны.