Текст книги "Науковедческие исследования. 2016"

Наукометрический анализ членов диссертационного совета одного из НИИ Пущинского научного центра РАН

Е.В. Бескаравайная, Т.Н. Харыбина

Ключевые слова: диссертационные советы; науковедение; библиометрия; индикаторы науки.

Keywords: Dissertation Councils; science of science; bibliometrics; science indicators.

Аннотация. В статье рассматриваются использование библиометрических показателей, вопрос о совершенствовании оценки эффективности научной деятельности ученых, являющихся членами диссертационных советов.

Abstract. The article considers the application of bibliometric indicators and the problem of improving the scientific activity's efficiency assessment regarding the Dissertation Councils' members.

Пущинский научный центр РАН, созданный в 1956 г. с целью развития фундаментальных исследований в области физико-химической биологии, является уникальным образованием мирового значения. Здесь работают более 3000 человек, из них 1200 – научные сотрудники, около 800 ученых имеют степень доктора или кандидата наук в области биологии, медицины, химии, физики, математики. Учеными Центра выполнен ряд крупных фундаментальных исследований, получивших международное признание, прежде всего в области молекулярной и клеточной биологии, биоорганической химии, генной и клеточной инженерии, фотобиологии, биофизики, физиологии растений, почвоведения. Работы научных коллективов ПНЦ РАН были отмечены Государственными премиями, премиями Совета министров, премиями Европейской академии для молодых ученых, премиями Правительства России и Российской академии наук (http://www.psn.ru). В настоящее время Пущинский научный центр РАН объединяет девять институтов биологического профиля, радиоастрономическую обсерваторию астрокосмического центра ФИАН, два высших учебных заведения – филиал Московского государственного университета им. М.В. Ломоносова и Пущинский государственный естественнонаучный институт. Одним из показателей тенденций развития того или иного научного Центра является поток защищаемых диссертаций. На базе НИИ ПНЦ РАН созданы и успешно работают четыре диссертационных совета, призванных нести ответственность за качество диссертаций, обеспечивать высокий уровень подготовки квалифицированных специалистов.

Институт биофизики клетки (ИБК РАН) и Институт теоретической и экспериментальной биофизики (ИТЭБ РАН) Пущинского научного центра были образованы в 1991 г. в результате разделения Института биологической физики – ведущего научного учреждения в области биофизики на территории СССР. В настоящее время оба института имеют свои собственные докторские диссертационные советы: ИТЭБ РАН – по специальностям «Биофизика» и «Физиология», и ИБК РАН – по специальностям «Биофизика», «Молекулярная биология», «Биохимия». Согласно приказу № 409 ВАК от 29 мая 2013 г. «Об оптимизации сети советов по защите диссертаций…» к членам диссертационных советов предъявлены новые требования: теперь отчетность диссертационных советов напрямую связана с показателями собственной публикационной активности ее членов, их цитируемости, наличием публикаций в международных базах данных. Сотрудники библиотеки ПНЦ РАН совместно с учеными секретарями диссертационных советов выполняли один из наиболее крупных блоков мониторинга – библиометрический анализ научной деятельности института в целом и каждого члена диссертационного совета в отдельности [1]. В данной работе мы представляем наукометрический анализ публикаций членов диссертационного совета Института биофизики клетки Пущинского научного центра РАН. За 25 лет своего существования советом ИБК РАН было проведено 174 защиты, из которых 23 – на соискание ученой степени доктора наук. Работы, выносимые на защиту, были выполнены в 36 различных организациях, в том числе в США (Аргоннская Национальная Лаборатория, Пенсильванский университет, Темпльский университет); Германии (Институт биофизики Макса Планка, Мюнхенский институт радиологии и ядерной медицины), Латвии (Латвийский университет) и др.

На сегодняшний день в совет входят 27 человек, из них 22 имеют степень доктора биологических наук, два человека – химических, один – медицинских, один – физико-математических наук; 14 человек имеют звание профессора; два члена Совета являются членами-корреспондентами РАН. В Институте биофизики клетки из них работают 17 человек, остальные являются сотрудниками Института белка РАН, Института теоретической и экспериментальной биофизики, филиала Института биоорганической химии (ФИБХ) им. М.М. Шемякина и Ю.А. Овчинникова (Пущино) и РНИМУ им. Н.И. Пирогова (Москва).

Работа по составлению форм отчетности проходила в двух направлениях: сбор материала и его анализ для каждого члена диссертационного Совета индивидуально и анализ деятельности Совета в целом. На первом этапе работы для каждого члена совета были определены ID автора по трем основным базам данных: РИНЦ, Scopus, Thomson Reuters. Для получения идентификационного номера в системе Researcher ID, позволяющего сформировать список статей ученого, включенных в базу данных Web of Science, сотрудникам Совета требовалось зарегистрироваться на сайте http://www.researcherid.com с учетом различного транскрибирования фамилии на английском языке. Видимо, из-за занятости сотрудников эта работа была сопряжена с определенными трудностями, в результате чего только 12 человек смогли самостоятельно зарегистрироваться и получить личный ID. В базе Scopus уникальный Author ID присваивается автоматически и привязан к организации, поэтому авторы научных публикаций, сменившие место работы или не указавшие другую аффилиацию в публикациях, имеют несколько учетных записей, не объединенных в один профиль. Так, например, доктор биологических наук, профессор Бурьянов Ярослав Иванович имеет пять авторских ID в системе Scopus, а директор института ИБК РАН доктор биологических наук, член-корреспондент РАН, профессор Фесенко Евгений Евгеньевич – сразу семь авторских ID. Таким образом, информацию о публикациях, цитировании и индексе Хирша в базе Scopus необходимо подсчитывать для таких сотрудников вручную, объединяя данные. Именно поэтому при демонстрации показателей сотрудников Совета в таблицах мы воспользовались идентификаторами системы e-library, автоматически присваивающей Author ID. Сбор сведений и библиометрический анализ для каждого члена совета проходил по однотипной схеме – см. рис.

Рис. Схема библиометрического анализа члена диссертационного совета

Для изучения публикационной активности сотрудников диссертационного совета за пять лет по тематике научной специальности, представляемой ими в диссертационном совете, нами был сформирован список всех опубликованных работ за период с 2011 по 2015 г., содержащий полное библиографическое описание публикации, информацию о международных библиографических базах данных, в которых индексируется журнал, импакт-фактор журнала. В данный список входили: статьи в научных изданиях, индексируемых в международных цитатно-аналитических базах данных Web of Science и Scopus, в специализированных иностранных базах данных PubMed, Chemical Abstracts, Springer, MathSciNet и российской научной электронной библиотеке e-library. Если БД Web of Science Core Collection сразу дает возможность определить количество публикаций, то для БД Scopus следует различать количество публикаций и количество записей. Подобные разночтения являются результатом нахождения в базе Scopus сразу нескольких вариантов одной и той же статьи: оригинального и переводного; бумажного и электронного. В целом по иностранным базам было найдено 322 публикации (без повторов), по РИНЦ – 336.

Впоследствии из этих данных для каждого сотрудника был сформирован перечень публикаций без дублирования в ведущих рецензируемых научных журналах и изданиях, рекомендованных ВАК при Минобрнауки России (табл. 1).

Таблица 1

Публикационная активность членов диссертационного cовета ИБК РАН за период 2011–2015 гг.

В ходе работы нам надлежало подсчитать цитирование по БД WoS, Scopus, определить число ссылок на публикации в РИНЦ, выяснить индекс Хирша для каждого члена диссертационного совета. Цитирование в разных базах отличается не сильно, однако, там, где можно сделать выборку самостоятельно, не полагаясь на автоматический расчет показателей, всегда находятся дополнительные ссылки, повышающие цитирование, а в некоторых случаях и индекс Хирша. Так, например, при автоматическом поиске в БД Scopus публикации автора Gordon, Ya. R. (Author ID: 36825905700) на самом деле оказываются статьями нашего автора Гордон Р.Я., добавляя в цитирование шесть цитат и одну позицию в индексе Хирша.

Некая тонкость существует и при нахождении цитирования в Web of Science. Автоматически проведенный поиск для д-ра мед. наук, проф. Маевского Е.И. дает за 2011–2015 гг. пять публикаций с цитированием 79, индекс Хирша за весь период равный 6. Перейдя на ручной поиск с использованием опции Cited Reference Search и задав множество вариантов написания его фамилии (MAYEVSKY, MAEVSKI, MAYEVSKY, MAYEVSKII, MAEVSKY, MAEVSKII, MAEVSKIJ), мы получаем цитирование пятилетних публикаций уже равным 85, а индекс Хирша выросшим до 9. Следует отметить, что почти для всех сотрудников индекс Хирша по Scopus или WoC CC, подсчитанный с помощью функции Cited Reference Search, выше, чем в РИНЦ (кроме, ID 78363). На наш взгляд, единственное, чем это можно объяснить, – это недолгий период существования Российского индекса цитирования, который новыми публикациями оперирует лучше, чем устаревшими, отсюда происходит потеря цитирования. Результаты подсчета цитирования представлены в табл. 2.

Таблица 2

Цитирование членов диссертационного совета ИБК РАН за период 2011–2015 гг.

Одной из наиболее дискуссионных тем отечественной и зарубежной наукометрии является правомерность цитирования как оценки деятельности ученого. На фоне сказанного хотелось бы оценить, насколько собранные нами библиометрические показатели соответствуют действительной публикационной активности конкретных ученых, т.е. выводы, сделанные на основе цифровых показателей, проверить применительно к сотрудникам, которых мы знаем лично. В исследование вошли следующие данные:

1) количество записей в иностранных базах без повторов;

2) количество записей в РИНЦ – публикации в изданиях, не переводимых на иностранный язык (учитывались журналы на русском языке, сборники статей, материалы конференций);

3) количество публикации в РИНЦ в изданиях, переводимых на иностранный язык;

4) количество публикаций в журналах из списка ВАК (в процентном соотношении от общего числа публикаций без повторов);

5) цитирование публикаций, изданных за последние пять лет: с 2011 по 2015 г.;

6) цитирование всех публикаций, изданных за весь период научной деятельности автора и процитированных в 2011–2015 гг.;

7) индекса Хирша по WoS.

Для пунктов 5 и 6 были собраны все статьи, цитирующие публикации членов Совета и удалены дубликаты, образовавшиеся при поступлении информации из разных баз; для статей в переводных российских журналах информация собиралась отдельно по русской и переводной версиям, дубликаты удалялись. На наш взгляд, интересными являются не только сами показатели цитирования публикаций в определенный период, но и их соотношение, позволяющее сравнивать активность разных ученых. Отношение «цитирование пятилетних публикаций» (tc) к «цитированию всех публикаций за последние 5 лет» (TC) мы обозначили выражением (tc/TC*100%) и разделили на пять категорий: от «цитирование современных публикаций составляет менее 10%» – категория 1 до «85% цитирования всех статей в 2011–2015 приходится на публикации, изданные в эти годы» – категория 5. В результате 27 сотрудников диссертационного совета по сходству показателей распределились на 8 групп (табл. 3).

Таблица 3

Распределение членов диссертационного совета ИБК РАН по группам на основании сходства библиометрических показателей

Длительное время работая внутри научной организации и постоянно подсчитывая показатели для сотрудников институтов Научного центра, мы с уверенностью можем говорить о том, что наукометрические показатели дают более-менее объективную оценку работы ученого, но только в сочетании друг с другом. Использование какого-либо одного библиометрического показателя, будь то индекс цитирования, индекс Хирша, импакт-фактор, индекс самоцитирования, и прочее, по нашему мнению, ошибочно. Как мы наблюдаем из таблицы 3, к показателям, использованным нами для сравнения, необходимо добавить пункт «деятельность ученого в качестве руководителя диссертации». С одной стороны, он является фактором учета занятости ученого в данное время и возможного снижения его личной научной активности, с другой стороны, темы, выносимые на защиту аспирантами под его руководством, могут рассматриваться как актуальные и привлекательные для молодого поколения научных сотрудников. Не стоит недооценивать и изобретательскую деятельность ученых. Мы знаем, что патенты часто не включаются в иностранные международные базы, их цитирование редко учитывается при подсчете, а официальные бюллетени Роспатента не входят в журнальный список ВАК, снижая тем самым показатели ученого (таблица 3: группа 2). Следует подчеркнуть важность учета публикаций в журналах из списка ВАК. Исходя из последней его редакции: «Издания, текущие номера которых или их переводные версии входят хотя бы в одну из международных реферативных баз данных и систем цитирования Web of Science, Scopus, Astrophysics Data System, PubMed, MathSciNet, zbMATH, Chemical Abstracts, Springer, Agris или GeoRef, считаются входящими в Перечень по отраслям науки, соответствующим их профилю» (http://vak.ed.gov.ru) – т.е. журналы, индексируемые в исследуемых иностранных базах автоматически входят в список ВАК. На наш взгляд, ценность этого показателя заключается еще и в анализе публикаций, не входящих в этот список (диссертации, сборники статей, патенты, новые или малоизвестные журналы), и выяснении их процента в общем объеме работ ученого. Эти количественные показатели, также свидетельствующие о продуктивности работы, мало учитываются при формальном подходе к оценке его труда. Что касается оценки современной активности членов диссертационного совета, то, на наш взгляд, очень уместен показатель отношения цитирования пятилетних публикаций к цитированию всех публикаций за последние пять лет, соотнесенный с публикационной активностью и индексом Хирша. Например, явный пропорциональный дисбаланс между низким показателем такого отношения и высоким индексом Хирша, может свидетельствовать как о наличии в прошлом высокоцитируемых статьей, продолжающих влиять на его показатели, так и о снижении публикационной активности в последние годы, когда цитирование всех статей автора в определенный период (пять-десять последних лет) заметно превышает цитирование публикаций, изданных в этот период.

В целом достаточно объективной мерой производительности труда ученого может стать только совокупность разных библиометрических показателей, собранных одинаковым способом с учетом области научного знания и интерпретированных компетентными специалистами. Недооценка этого ведет к неправильному применению статистических данных в оценке исследователя.

В нашей работе внимание было уделено и другим факторам деятельности диссертационного совета: международному сотрудничеству, научным изданиям, в которых опубликованы труды членов диссертационного совета, финансирующим организациям.

Остановимся на международном сотрудничестве ученых как факторе, расширяющем научный кругозор, способствующем определению новых сфер работы, дающем возможность повысить технический уровень своих исследований. В целом за период 2011–2015 гг. по международным базам данных найдены сведения о 22 государствах, ученые и научные организации которых сотрудничали с членами рассматриваемого диссертационного совета. Сохранены связи с бывшими союзными республиками: Украиной, Латвией, Эстонией, Белоруссией; развиваются научные контакты с Австрией, Германией, Израилем, Португалией, Англией, Францией, США и др. (табл. 4).

Таблица 4

Наиболее активные международные партнеры членов диссертационного совета по БД Web of Science Core Collection и Scopus

Среди иностранных организаций, с которыми наиболее активно сотрудничают ученые, можно назвать: Федеральный университет Австралии, Парижский национальный институт здравоохранения и медицинских исследований, Инсбрукский медицинский университет в Австрии, Университет Эворы в Португалии, Университет Карнеги в США, Тель-Авивский университет, университет Гонконга, Национальный институт фундаментальной биологии в Японии, Байройтский университет в Германии и др.

Охватывая 49 различных направлений знаний по естественным наукам, наибольшее количество публикаций членов диссертационного совета ИБК РАН отмечено в области Biochemistry Molecular Biology (101 публикация); Biophysics (38 публикаций); Cell Biology (25 публикаций); Science Technology (13 публикаций); Chemistry (12 публикаций), что составляет 60% всех публикаций. Хочется отметить научно-практический характер многих исследований, а именно 11% всех публикаций написаны в области практической медицины, 6 – в сфере биотехнологий, 5% – в области сельского хозяйства, ветеринарии и экологии.

По мнению Организации экономического сотрудничества и развития (ОЭСР), особое внимание заслуживают такие отрасли международного сотрудничества, как софинансирование фундаментальных научных исследований, совместное определение будущих приоритетов развития, совместная подготовка кадров [3]. В связи с этим нами был рассмотрен финансовый аспект обеспечения научной деятельности членов диссертационного совета ИБК РАН с целью классификации источников финансирования их научных работ. В общей сложности 25 российских и 29 иностранных фондов и программ субсидировали эти исследования. Когда речь идет о финансировании в области фундаментальных исследований, то в России, безусловно, лидирует РФФИ с богатым набором специализированных программ (табл. 5).

Таблица 5

Финансовая поддержка исследований членов диссертационного совета ИБК РАН российскими фондами (по данным WoS CC)

Взаимодействие с другими организациями в рамках международных грантов и научных фондов выглядит следующим образом: наибольшее количество – пять работ – профинансировал Португальский Фонд науки и техники (FCT), по три работы – Австрийский Научный фонд (FWF), EMBO и FEBS, по две работы – международная программа содействия науки Португальского университета и Тель-Авивский центр геометрии. В данной связи обращают на себя внимание тесные научные связи с коллегами из Европы. Так, 77% всех фондов, упоминающихся в публикациях, – это европейские фонды, 13 – американские, 7 – азиатские и 3% – австралийские. Особый интерес представляют работы, поддержанные совместными российско-иностранными программами, призванными стимулировать научное сотрудничество между лабораториями разных стран, уже имеющими совместные разработки. Например, франко-российская программа «From molecular and cellular events to human pathology» включала, кроме сотрудников ИБК РАН, ученых из 11 научных центров и исследовательских институтов. В целом по БД WoC CC 143 (61%) публикации членов диссертационного совета были поддержаны различными фондами, что свидетельствует о заинтересованности международного научного сообщества в сотрудничестве с российскими учеными. Чтобы не быть голословными, приведем данные о публикациях этих ученых за 2005–2014 гг. с уровнем цитируемости выше среднемирового. Данный индикатор [2] показывает соответствие или превосходство цитируемости публикации над среднемировым уровнем цитируемости и рассчитывается как отношение цитируемости публикаций к среднемировым показателям (на основании данных БД «Essential Science Indicators» (Thomson Reuteurs) [Field Baselines – Citation Rates]). Количество публикаций с уровнем цитируемости выше среднемирового за 10 лет для Гордон Р.Я. и Бурьянова Я.И. составляет две публикации, для Озолинь О.Н. и Фесенко Е.Е. – три публикации, для Новоселова В.И. – четыре, для Никонова С.В. – пять, а для Овчинникова Л.П. – 14. Кроме того, у самого молодого члена диссертационного совета Вихлянцева И.М. из четырех статей за 2015 г., индексируемых в БД WoS CC, одна цитируется примерно в 11 раз больше среднемировых показателей, а вторая – в 3 раза.

Как показывает опыт, первые шаги в международном сотрудничестве начинаются с участия в совместных проектах и конференциях. По данным WoC CC, наиболее часто сотрудники этого института посещают мероприятия, проводимые крупнейшими организациями Европы в области наук о молекулярной биологии – Федерацией европейских биохимических обществ (FEBS) и Европейской организацией молекулярной биологии (EMBO). Вторым по количеству посещений стали ежегодный конгресс ESHRE по вопросам репродукции человека и эмбриологии и Объединенный съезд Европейского общества по микроциркуляции и Европейской ассоциации сосудистой биологии. Такому выбору способствуют не только разнообразие пленарных заседаний, лекции выдающихся ученых, но и множество семинаров по различным областям биологических исследований, обширные стендовые доклады, позволяющие сотрудникам ИБК РАН опубликовать свою научную работу в журналах, реферируемых международными библиографическими базами.

Следующим шагом анализа было получение исчерпывающей информации об изданиях, в которых опубликованы научные труды членов диссертационного совета. К уже собранным записям из Web of Science и Scopus были добавлены данные из РИНЦ (336), профильных баз Национальной медицинской библиотеки США – Medline (282 записи) и Американского химического общества (14 публикаций). В итоге количество научных статей, опубликованных членами диссертационного совета только в периодических изданиях, составило без дублирования 393 работы. В целом же по базам данных собрано 422 публикации, включающие книги, сборники конференций, патенты на изобретения и диссертации. Далее работа проходила в два этапа: во‐первых, был определен перечень журналов, текущие номера которых или их переводные версии на иностранном языке включены в хотя бы одну из баз или систем цитирования (Web of Science, Scopus, PubMed и др.); во‐вторых, был определен перечень журналов, входящих в список ВАК. Так как большинство публикаций вышло до 1 декабря 2015 г., т.е. до вступления в силу нового Перечня рецензируемых научных изданий, мы использовали Перечень ВАК – 2010. С учетом введенных корректив, число публикаций по специальности в научных журналах, входящих в Перечень ВАК, составило 349 публикаций (88%), что свидетельствует не только о высокой результативности научной деятельности, но и демонстрирует их активность по представлению научных результатов. Кроме того, 94% журналов с публикациями сотрудников Совета ИБК РАН входят в список изданий, рекомендованных ВАК по отраслям науки, соответствующим их профилю.

Что касается наличия публикаций в базах по физико-химической биологии, то из 155 журналов в иностранных базах реферируются 132 издания, включающие 89% всех публикаций членов диссертационного совета. В данной связи уместно упомянуть и о том, что из 232 записей в Web of Science Core Collection 171 – это публикации (71%) без международного участия, что является чрезвычайно важным фактором оценки качества работ российских ученых. Для БД Scopus этот показатель соответствует 84%, что объясняется наличием большего количества российских журналов в Scopus.

В ноябре 2015 г. на основании собранных нами библиометрических показателей был представлен годовой отчет диссертационного совета ИБК РАН.

Так как обоснования показателей оценки научной деятельности пока носят дискуссионный характер, то хочется представить несколько замечаний. На наш взгляд, требования к ученым, участвующим в работе диссертационного совета, обязательно должны быть скорректированы с учетом их занятости в ученых советах и количества представляемых к защите диссертаций. Что касается библиометрических показателей, то научно-исследовательская деятельность многогранна и ее оценка не может базироваться на использовании отдельных наукометрических данных в качестве критериев. Искусственно завышенная их значимость в современный период провоцирует ученых к «накрутке» своих библиометрических показателей различными способами. Существуют даже рекомендации, как поднять свой рейтинг: «…осуществлять обмен ссылками с коллегами», «…увеличить самоцитируемость», «…публиковаться в соавторстве с коллегой, имеющим высокие наукометрические показатели», в результате чего мы рискуем получить оценку не научной деятельности, а способности выгодно устроиться. Учитывать это обстоятельство чрезвычайно важно при разработке инструментария для сбора сведений и требований к результативности научной деятельности.

Литература

1. Бескаравайная Е.В., Мохначева Ю.В. Оценка деятельности диссертационных советов по библиометрическим показателям (на примере ИТЭБ РАН и ИБК РАН Пущинского научного центра) // Библиометрические методы в библиотечно-информационной работе. – Новосибирск: ГПНТБ СО РАН, 2015. – Труды ГПНТБ СО РАН. – Вып. 9. – С. 55–69.

2. Мохначева Ю.В., Харыбина Т.Н. Методика определения значимости научных публикаций // Библиосфера. – 2008. – № 3. – С. 23–33.

3. Draft Ministerial Report on the OECD Innovation Strategy: Innovation to Strengthen Growth and Address Global and Social Challenges. Key Findings. Paris: OECD, 2010. – P. 23.