Текст книги "Науковедческие исследования. 2013"

Одной из наиболее интересных особенностей «SciVal Spotlight» является возможность подробного анализа сложившихся научных связей по данным о совместных публикациях. Эта возможность позволяет более объективно оценивать необходимость развития сотрудничества с конкретными научными организациями, определять перспективные для установления связей научные направления, оценивать эффективность уже имеющихся оформленных договоров о научно-техническом сотрудничестве.

А что показывает «InCites»? В первую очередь мы видим сводные данные по всем публикациям и их цитированию, перечни самых пишущих, самых цитируемых авторов и самых продуктивных научных направлений: в виде диаграмм представлена динамика количества публикаций и их цитирований, в виде списков – перечни авторов с указанием количества опубликованных статей, цитирований, перечни по областям знаний с указанием количества статей [5].

Легко можно сравнить публикационную активность в разных областях знаний, причем данные уже рассчитаны с учетом разных уровней цитирования в разных областях и нормированы к мировому уровню в соответствующей научной области. Поэтому сравнение естественных и гуманитарных областей, например, представляется весьма корректным.

Рис. 3. Скриншоты данных «SciVal Spotlight» для СПбГУ за 2009–2011 гг.

Рис. 4. Матричное представление данных о публикациях СПбГУ в «SciVal Spotlight», 2008 и 2011 гг.

Очень удобен «InCites», когда надо сравнить показатели научной активности разных организаций в целом и по отдельным областям знаний, например при выборе партнеров для сотрудничества. Большая база данных по научным организациям разных стран позволяет это сделать с легкостью. При решении вопроса о стратегическом сотрудничестве с какими-либо организациями важно, чтобы это сотрудничество было взаимовыгодно. При помощи сравнения публикационной активности и цитирования, визуального представления их расчетных относительных показателей можно определить, чем нам интересны конкретные организации и чем мы их можем заинтересовать со своей стороны.

Сравнение, например, общих показателей цитируемости СПбГУ и большинства зарубежных университетов оказывается, как правило, не в нашу пользу (рис. 5). Однако когда мы смотрим аналогичные показатели по областям знаний, рассчитанные уже с учетом среднемировых уровней цитируемости в конкретных научных направлениях, картина совсем другая. Если нам, например, выгодно сотрудничество с университетами Израиля в области биохимии, то мы им можем быть интересны в области экологии и окружающей среды (рис. 6).

Рис. 5. Сравнение показателей цитирования статей СПбГУ и израильских университетов по отношению к среднемировому уровню

Рис. 6. Сравнение относительных показателей цитирования статей СПбГУ и израильских университетов в области экологии (А), биологии и биохимии (В)

Одна из самых интересных на сегодняшний день особенностей «InCites» – возможность проанализировать, как будут изменяться наукометрические показатели при составлении научной группы из разных ученых, работающих в сходной области.

Одним из самых продуктивных авторов СПбГУ является специалист в области математической физики А.В. Цыганов, что можно определить, в частности, в «SciVal Spotlight» (табл. 2)

Таблица 2

Представление в «InCites» сводной информации о публикациях А.В. Цыганова за 2002–2013 гг.

Если мы проанализируем показатели публикаций с добавлением сторонних для СПбГУ авторов, работающих в сходной области, то увидим значительное улучшение показателей цитирования в ядерной физике, которая была далеко не основным направлением (табл. 3).

Наиболее наглядно это проявляется при сравнении визуальных представлений тех же самых данных, являющихся характерной и узнаваемой особенностью «InCites». Диаграммы показывают долю процитированных статей. Рисунки отображают положение статей по отношению к средним показателям: по журналам, в которых они опубликованы, по области знаний. В них также содержится информация, отображающая, попадают ли работы авторов в число наиболее цитируемых работ. Характерной особенностью «InCites» является наглядное визуальное представление всех метрик, облегчающее их понимание [5]

Таблица 3

Представление в «InCites» сводной информации о публикациях группы авторов (А.В. Цыганов, С.С. Афонин, Дж. Негро) за 2002–2013 гг.

На экране пользователь видит как численные данные по количеству опубликованных статей, их цитированию первого и второго поколения, индекс Хирша, среднее цитирование и др., так и диаграммы, показывающие наглядно показатели конкретного автора (группы авторов, организации) по сравнению со среднемировыми показателями. На диаграммах показаны отношение количества статей, процитированных хотя бы один раз, к общему количеству статей авторов в «Web of Science»; среднее значение уровня цитирования статей по сравнению с мировым уровнем. На графике показано, на какую долю отличается количество статей данного вуза или автора, попавших в 1, 5, 10% и т.д. самых цитируемых статей, по сравнению со среднемировым уровнем. «Category actual / expected cites» показывает среднее значение отношения реального цитирования статей к ожидаемому цитированию, рассчитанному по каждой области знаний, по каждому году и типу публикаций отдельно. «Journal actual / expected cites» показывает среднее значение отношения реального цитирования статей в конкретных журналах к ожидаемому цитированию статей в этих журналах.

Такой анализ может оказаться крайне полезным при приглашении на работу в университет специалистов из других организаций, при подготовке заявок на гранты (например, при формировании заявок на гранты правительства для приглашения ведущих ученых в вузы по постановлению 220).

Новой особенностью «InCites», появившейся летом 2011 г., является возможность ознакомления со сводной информацией об организации, которая формируется в процессе составления рейтинга университетов «Times higher education», методологию которого с 2009 г. разрабатывает компания «Thomson Reuters». Эта опция дает возможность сравнивать не только наукометрические показатели университетов, но и другие, важные для развития вузов параметры – уровень образовательной деятельности, интернационализацию, финансирование, мнения академического сообщества и др.

В целом можно отметить следующие достоинства и недостатки использования описанных современных инструментов наукометрии (табл. 4).

Таблица 4

Достоинства и недостатки современных инструментов наукометрии

Итак, оба рассмотренных инструмента очень полезны для планирования и анализа научной деятельности как в организации, так и на уровне города или страны. Выбор аналитического инструмента зависит от поставленной цели. Для стратегического планирования развития научной деятельности в организации и выбора направлений финансирования удобнее использовать «SciVal Spotlight». Для сравнения с другими конкретными организациями или отслеживания активности отдельных ученых, групп ученых или направлений наук предпочтительнее выбрать «InCites». Для всестороннего развития в сотрудничестве с мировым академическим сообществом оптимально использование комплекса аналитических инструментов.

Таким образом, использование методов наукометрии (библиометрии) является весьма полезным и удобным инструментом для планирования и оценки научной деятельности как в области стратегии организации научных исследований, так и в отношении текущего ее осуществления. Однако имеющиеся объективные недостатки не позволяют использовать только наукометрические показатели для оценки деятельности научного учреждения или вуза и принятия каких-либо административных решений на основании этих показателей.

В целом из всего вышесказанного можно сделать следующие выводы.

1. Использование наукометрических данных для сравнения научной продуктивности и эффективности научной деятельности вполне оправдано, но не может являться единственным критерием, на основе которого принимаются административные решения.

2. Для внедрения наукометрических способов оценки научной деятельности необходимо централизованное решение об обеспечении доступа вузов к платным наукометрическим ресурсам или использование исключительно свободных источников. В случае с РИНЦ это может оказаться вполне возможным, однако требуются значительные затраты на доработку и наполнение этого ресурса.

Литература

1. Карпенко О.М., Бершадская М.Д., Вознесенская Ю.А. Международные рейтинги университетов: Результаты и перспективы // Социология образования. – М., 2007. – № 12. – С. 49–63.

2. Конкурсная документация по проведению открытого конкурса на право заключения государственных контрактов на выполнение поисковых научно-исследовательских работ для государственных нужд в рамках федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009–2013 годы (мероприятия 1.2.1–1.2.2). – Режим доступа: http://zakupki.gov.ru/pgz/public/action/orders/info/common_info/show?notification Id=1250360

3. Методические указания по заполнению Приложения 3 к конкурсной документации на проведение открытого публичного конкурса на получение грантов Правительства Российской Федерации для государственной поддержки научных исследований, проводимых под руководством ведущих ученых в российских образовательных учреждениях высшего профессионального образования. – Режим доступа: http://www.p220.ru/contest/2010/contest_doc/

4. Москалева О.В. «SciVal» для планирования научной деятельности в вузе: Материалы научно-практической конференции «Региональное лидерство в науке и инновациях». – Томск, 2012. – 26 апр. – Режим доступа: http://elsevierscience.ru/ events/tomsk2012/schedule/

5. Москалева О.В. Опыт использования инструмента «InCites» в СПбГУ. Материалы XVI Международной конференции «SCIENCE ONLINE: электронные информационные ресурсы для науки и образования», 19–26 мая 2012 г. Ла-Пинеда, Испания. – Режим доступа: http://elibrary.ru/projects/conference/spain2012/presentations/incites1.pdf

6. Писляков В.В. Библиометрия: Основные методы и индикаторы. Материалы научно-практического семинара «Оценка результативности научно-исследовательской деятельности». – Казань, 2011. – 20 окт. – Режим доступа: http://elsevierscience.ru/events/kazan2011/schedule/

7. Приказ Министерства образования и науки от 29 июля 2009 г. № 276 «О перечне показателей, критериях и периодичности оценки эффективности реализации программ развития университетов, в отношении которых установлена категория “национальный исследовательский университет”». – Режим доступа: http://old.mon.gov.ru/files/materials/5561/276.pdf

8. Приказ Рособразования от 28 ноября 2008 г. № 1770. – Режим доступа: http://www.edu.ru/db/mo/Data/d_08/a1770.html

9. ARWU. Ranking methodology. – Mode of access: http://www.arwu.org/ ARWUMethodology2010.jsp

10. Falagas M.E., Kouranos V.D., Arencibia-Jorge R., Karageorgopoulos D.E. Comparison of SCImago journal rank indicator with journal impact factor // The journal of the Federation of American societies for experimental biology. – 2008. – Vol. 22. – P. 2623–2628.

11. Hirsch J.E. An index to quantify an individual’s scientific research output // Proceeding for National academy of science. – Wash., 2005. – Vol. 102, N 46. – P. 16569–16572.

12. Moed H.F. Measuring contextual citation impact of scientific journals. – 2009 – Mode of access: http://arxiv.org/abs/0911.2632

13. Pratt S. World university rankings subject tables: Robust, transparent and sophisticated. – 2010. – Mode of access: http://www.timeshighereducation.co.uk/world-university-rankings/2010-2011/analysis-methodology.html

14. QS World university rankings methodology. – Mode of access: http://www.iu.qs.com/university-rankings/world-university-rankings/

15. SCImago journal & country rank. – Mode of access: http://www.scimagojr.com

G-индекс в системе оценки научной деятельности1212
  Настоящая статья подготовлена при финансовой поддержке Российского фонда фундаментальных исследований (гранд № 10-06-00056).


[Закрыть]

О.В. Михайлов

Ключевые слова: цитируемость, g-индекс, научная деятельность.

Keywords: citation, g-index, scientific activity.

Аннотация: Дано описание нового параметра личной цитируемости исследователя, введенного в оборот в 2006 г., – g-индекса. Кратко освещены данные, касающиеся оценки цитируемости профессорско-преподавательского состава среднестатистического российского университета с использованием g-индекса. Показано, что при существующей ныне ситуации подавляющее большинство сотрудников университетов имеют близкие и притом весьма низкие значения этого показателя цитируемости (1–3), так что этот параметр малопригоден для их дифференциации. Тем не менее отмечено, что он может быть использован для решения вопросов о присуждении тех или иных «знаков отличия» ученого (премий, медалей, грантов и др.).

Abstract: The description of new parameter of personal citation of researcher put into circulation in 2006 – g-index, has been given. The data of citation evaluation of professor-teaching body of average statistic Russian university with using g-index have been briefly elucidated. It has been shown that at situation existing now the overwhelming majority of teachers of the given university has similar and moreover extremely low values of this citation parameter (1–3), so this parameter is not well suitable for their differentiation. It has been noted nevertheless that it may be used in making decision about awarding scientist (prizes, medals, grants etc.).

В нашей предыдущей статье [2] была проанализирована целесообразность использования для оценки научной деятельности отечественных исследователей такого специфического параметра цитируемости их работ, как индекс Хирша, или h-индекс. Напомним в связи с этим, что данный параметр был введен в научный оборот в 2005 г. работавшим в то время в университете г. Сан-Диего (штат Калифорния) американским физиком Х. Хиршем (J. Hirsch), имя которого отражено в названии индекса. Информация об этом впервые была представлена в его статье [5]. Этот индекс весьма прост по своему определению. Как писал сам Х. Хирш в указанной статье, исследователь «имеет индекс h, если h из его N статей цитируются как минимум h раз каждая, в то время как оставшиеся (N – h) статей цитируются не более чем h раз каждая». Перефразируя Хирша, можно сказать, что если у исследователя имеется n опубликованных статей, каждая из которых процитирована кем-либо не менее чем n раз (независимо от того, кто, где и когда их процитировал), то его личный h-индекс равен n. При определении индекса Хирша, равно как и при определении суммарной цитируемости исследователя, не делается различий между цитированием и самоцитированием. H-индекс – это, как нетрудно заметить, всегда целое положительное число (чем он и удобен). Для любого исследователя он не может превышать общего числа опубликованных им статей. И хотя прямой корреляции между h-индексом исследователя и общим числом ссылок на его работы не существует, этот параметр на удивление быстро стал очень популярным как у специалистов по наукометрическому анализу, так и среди исследователей самых различных отраслей науки.

Популярность его настолько высока, что ныне, спустя лишь семь с небольшим лет с момента своего появления на свет, он считается едва ли не основным показателем научной активности и авторитетности любого конкретного исследователя, оттеснив на второй план все аналогичные параметры, посредством которых оценивается научная деятельность (в частности, общую цитируемость того же исследователя). А так называемая «хиршеметрия» (т.е. определение индекса и его улучшение) в настоящее время занимает и волнует умы очень многих серьезных исследователей, претендующих на научный авторитет и хоть какую-то известность в научной среде [4]. И похоже, не только их, но и тех чиновников (даже далеких от науки), которые берутся оценивать научную деятельность как отдельных ученых, так и тех научных учреждений, в которых эти ученые работают.

На фоне упомянутой выше высочайшей популярности h-индекса, однако, остался почти незамеченным другой весьма интересный количественный показатель цитируемости, предложенный лишь немного позднее, а именно в 2006 г., Л. Эггом (L. Egg) – так называемый g-индекс. По аналогии с h-индексом Хирша его следовало бы, исходя из фамилии его создателя, назвать e-индексом, но в литературе почему-то привился именно только что указанный термин. Он определяется как наибольшее значение n, для которого n наиболее цитируемых работ конкретного автора в общей сложности цитируются (опять-таки, как им самим, так и другими исследователями) по крайней мере n² раз каждая. Как и индекс Хирша, g-индекс Л. Эгга также является целочисленной величиной. И для любого исследователя он опять-таки не больше, чем суммарное количество его статей. Реально он, однако, гораздо меньше этого количества. В частности, для g = 3 нужно иметь как минимум три статьи, каждая из которых цитируется минимум 9 раз. Для g = 7, -минимум семь статей, каждая из которых цитируется почти полсотни раз, для g = 10 – соответственно минимум 10 статей, на каждую из которых сделано как минимум по 100 ссылок. Можно, к примеру, опубликовать за всю жизнь всего лишь пять статей, которые потом будут цитироваться многие годы, и этим ограничиться – тогда g-индекс рано или поздно станет равным 5 (как, впрочем, и h-индекс), т.е. числу этих самых статей. К слову, если бы один из величайших физиков всех времен и народов А. Эйнштейн вдруг скончался в начале 1906 г., его g-индекс именно на этой цифре и остановился бы благодаря чрезвычайно высокой значимости тех самых пяти статей по интерпретации феномена фотоэффекта, которые он опубликовал в 1905 г.

При определении g-индекса принимается во внимание то важное в ряде случаев обстоятельство, что некоторые из n наиболее цитируемых статей того или иного исследователя могут быть очень высокоцитируемыми (чего индекс Хирша практически не учитывает). Кстати, g-индекс и замышлялся его «крестным отцом» именно для исправления вышеуказанного недостатка h-индекса. Насколько это может быть важным, показывает хотя бы такой конкретный пример.

Пусть у одного исследователя имеется 10 статей, на шесть из которых было сделано 15 ссылок, еще на три – по 20 и на оставшуюся одну – 30, а все остальные его статьи цитировались менее 10 раз каждая. У другого же – три статьи, каждая из которых цитировалась по 20 раз, четыре статьи, каждая из которых цитировалась по 40 раз, одна – 50 раз и еще две – по 100 раз, а все остальные статьи – также менее 10 раз каждая. Как нетрудно заметить, у обоих этих исследователей h-индекс окажется одинаковым и составит 10. Однако совершенно очевидно, что реальный показатель цитируемости второго исследователя в целом значительно лучше, чем у первого, и именно это различие и призван подчеркнуть g-индекс.

У первого он, как нетрудно заметить, составляет 4 (ибо у него имеется именно столько статей, каждая из которых цитируется минимум 16 раз), тогда как у второго – 6 (поскольку у него имеется семь статей, каждая из которых цитируется более 36 раз). В принципе не исключен и даже вполне вероятен вариант, когда у двух исследователей для значений их h-индексов имеет место соотношение h₁ > h₂, а для их g-индексов – соотношение g₁ < g₂. Вообще, в некотором отношении соотношение между суммарной цитируемостью, индексом Хирша и g-индексом различных исследователей напоминает соотношение между общим количеством забитых за всю карьеру голов, максимальным количеством мячей, забитых за сезон, и максимальным количеством мячей, забитых в одном матче, у различных футболистов; хорошо известно, что тот, кто забил за свою карьеру больше всех мячей, отнюдь не всегда является рекордсменом и по количеству мячей, забитых за сезон, и тем более – в одном матче.

В соответствии с определением g-индекса минимальное число ссылок на публикации исследователя с конкретным значением данного параметра составляет g³ (тогда как минимальное число ссылок на публикации исследователя с данным значением h-индекса – h²), и следовательно, между общим количеством ссылок на его публикации N и его g-индексом имеет место соотношение (*).

Принимая во внимание то обстоятельство, что средний показатель по суммарной цитируемости отдельно взятых сотрудников даже ведущих российских образовательных учреждений высшего профессионального образования (МГУ, СПбГУ, национальных исследовательских университетов) и даже учреждений Российской академии наук вряд ли превышает 100 ссылок, несложно найти, что максимальное значение усредненного g-индекса будет составлять не более 5. Реально же, как показали проведенные нами исследования, он не превышает и 2 (что означает наличие у нашего среднестатистического автора лишь двух статей, каждая из которых цитируется 4 раза и более). Ранее в статьях [1; 3] упоминалось о трех категориях исследователей, а именно с индексами Хирша выше 7, с индексами Хирша в диапазоне 3–7 и с индексами Хирша менее 3; при этом было отмечено, что больше половины (!) профессорско-преподавательского состава среднего национального исследовательского университета (НИУ) принадлежит к третьей категории. В связи с этим вполне естественно, что у основной массы работников такого НИУ g-индекс будет находиться лишь в пределах 1–3. Этот диапазон, как нетрудно заметить, весьма невелик и к тому же содержит, по большому счету, близкие друг к другу показатели.

Дифференциация профессорско-преподавательского состава по g-индексу в наших НИУ столь же сложна, как, например, разделение людей на тех, кто способен поднять над головой штангу весом в 100 кг, и тех, кто этого сделать не способен. Именно последние, как нетрудно заметить, и окажутся в подавляющем большинстве. С учетом всего вышесказанного становится очевидным, что в настоящее время критерий оценки научной деятельности по значениям g-индекса для наших НИУ и тем более для других российских вузов – слишком высокая планка, чтобы ее могло «взять» большинство сотрудников. Так что, хотя g-индекс и дает более точную картину цитируемости исследователя по отдельным принадлежащим ему высокоцитируемым статьям, это возможно лишь в том случае, если эти самые статьи у него вообще имеются. В связи с этим стоит отметить, что ни у одного из ученых «третьей столицы» России – Казани, являющейся ныне одним из крупнейших российских научных центров, g-индекс не достигает значения 10 (во всяком случае, на сегодняшний день). Не лучше обстоит дело и в других городах и весях, да и в главном нашем научном регионе – Москве и Московской области, где исследователей с двузначным числом g-индекса найдется немного.

G-индексу, однако, присущи многие из тех же самых недостатков, что и h-индексу (что неудивительно, поскольку методологические подходы к определению и того и другого весьма близки по своей сути). Оба они хорошо «работают» лишь при сравнении научных достижений исследователей, занятых в одной и той же области научного знания, поскольку традиции и «нормативы», связанные с цитированием, в различных отраслях науки разнятся весьма сильно. Так, среднестатистические значения g-индексов исследователей в области биологии и медицины существенно выше, чем в физике и химии; еще ниже они у исследователей, работающих в «технических» и гуманитарных науках, и тем более – в математике, ибо там и по сей день цитирование не в почете. И как сопоставлять исследователей разных отраслей по их g-индексам (как, впрочем, и по их h-индексам) – мягко говоря, не очень понятно.

Как и индекс Хирша, g-индекс позволяет получить определенные представления о цитируемости отдельно взятого исследователя, но не исследовательского коллектива. Если при оценке деятельности исследовательского коллектива можно просто суммировать все сделанные ссылки на работы каждого из членов этого коллектива (хотя тут и возникает такая деликатная проблема, как взаимная самоцитируемость), то складывать g-индексы отдельных лиц друг с другом невозможно, ибо они не являются аддитивными величинами. Заметим в связи с этим, что этот индекс не зависит от того, на какой именно позиции находится его обладатель в своих публикациях, процитированных другими исследователями. Он будет одним и тем же как в том случае, когда этот самый обладатель во всех своих публикациях значится первым автором, так и в том случае, когда он во всех своих публикациях стоит на последнем месте.

С учетом всего вышесказанного вопрос о том, имеет ли смысл вводить такой параметр для оценки научной деятельности профессорско-преподавательского состава в целом в российских масштабах, пока следует считать открытым. Но вот для решения вопросов о присуждении тех или иных «знаков отличия» ученого (академических премий и медалей, грантов и др.) g-индекс, как мне кажется, заслуживает того, чтобы присмотреться к нему.

Литература

1. Михайлов О.В., Михайлова Т.И. Индекс Хирша в оценке деятельности ученого в национальном исследовательском университете // Вестник Казанского технологического университета. – Казань, 2010. – Т. 13, № 11. – С. 485–487.

2. Михайлов О.В., Михайлова Т.И. О значимости h-индекса в оценке научной деятельности // Науковедческие исследования, 2012: Сб. науч. тр. / РАН. ИНИОН. Центр научн.-информ. исслед. по науке, образованию и технологиям; Отв. ред. А.И. Ракитов. – М., 2012. – С. 151–160. – (Сер.: Методологические проблемы развития науки и техники).

3. Михайлов О.В., Михайлова Т.И. «Хиршеметрия» в Казанском национальном исследовательском технологическом университете // Вестник Казанского технологического нниверситета. – Казань, 2010. – Т. 14, № 18. – С. 338–341.

4. Попов С. Как улучшить индекс Хирша? // Троицкий вариант. – М., 2010. – № 56. – С. 3.

5. Hirsch J.E. An index to quantify an individual’s scientific research output // Proceeding for National academy of science. – Wash., 2005. – Vol. 102, N 46. – P. 16569–16572.