Текст книги "Науковедческие исследования. 2013"

О некоторых особенностях учета наукометрических показателей в технических науках

П.В. Журавлев

Ключевые слова: наукометрические показатели, технические науки, «Web of Science», индекс цитируемости, результаты научной деятельности.

Keywords: science of science indices, engineering sciences, «Web of Science», citation index, scientific activity results.

Аннотация: В статье приведен анализ некоторых особенностей оценки результатов научной деятельности в технических науках. Выделены отличия относительной ценности (весомости) различных научных результатов (монографий, учебников, публикаций в научных журналах, выступлений на конференциях) в технических науках по сравнению с относительным весом этих результатов в других науках. Приведены причины, по которым общепринятая на сегодняшний день система наукометрических показателей не позволяет адекватно и полностью оценить результаты деятельности ученых, работающих в разных областях. Сделан вывод о необходимости ограничения применения принятой системы показателей цитируемости для дальнейшего плодотворного развития систем учета наукометрических показателей.

Abstract: The paper contains analysis of certain specific features of evaluation of the results of scientific activity in engineering sciences. The adduced material emphasizes the differences in relative value (weight) of various scientific results (scientific monographs, textbooks, papers in scientific magazines, conference presentations) in engineering sciences compared to their relative weights in other sciences. The text also elaborates on the reasons, for which the science of sciences indices system that is universally adopted today does not provide a complete and adequate evaluation of results of scientific activity of the scientists working in various fields. Thus a conclusion is made that it is necessary to limit the application of the adopted citation index system for further fruitful development of the systems of science of science indices.

Наука в целом и научное сообщество в частности представляют собой сложную систему со множеством внутренних связей и комплексной структурой. Сложность управления подобной системой с точки зрения государства и самих субъектов управления (руководства научно-исследовательских институтов – НИИ, высших учебных заведений – вузов и т.п.) заключается в том, что весьма затруднительно полностью и объективно оценить результаты деятельности этой системы, особенно на коротком отрезке времени.

Для оценки научной деятельности был разработан ряд подходов, методов и соответствующих показателей, наиболее популярными из которых на сегодняшний день являются показатели, связанные с количеством публикуемых ученым статей и количеством их цитирований в научной прессе. Наиболее популярными системами учета и оценки данных показателей являются «Web of Science» и «Scopus», а наиболее популярными количественными показателями оценки – индекс цитирования и индекс Хирша. Однако эти показатели имеют ряд недостатков.

Например, весьма сложно оценить результаты опережающих свое время исследований, особенно если соответствующая область сформируется через много лет после публикации. Количество цитирований подобной публикации в течение 2–5 лет (исходя из этого периода рассчитываются общепринятые на сегодняшний день количественные показатели цитируемости) далеко не всегда дает возможность определить значительность вклада соответствующей научной идеи в развитие науки в целом и отдельных ее направлений. Опубликованная первопроходцем в новой научной области статья может пролежать на полке десятилетия, прежде чем на нее обратят внимание, если на момент публикации данная область не развивалась активно по какой-либо причине.

Причин возникновения подобной ситуации может быть множество – например, негативное мнение широкого мирового научного сообщества относительно актуальности данной области, отсутствие готовности промышленности к восприятию идеи, противоречие коммерческим интересам существующих корпораций и т.п. Однако отсутствие цитирования в этой ситуации не снижает ни ценности проведенных исследований, ни самих публикаций.

Обратное также верно, ибо наличие большого количества ссылок на статью может быть следствием выражения неодобрения научным сообществом ее содержания. Возможна ситуация, при которой каждый член сообщества посчитает своим долгом написать: «Ни в коем случае нельзя делать так, как автор данной научной работы».

Само отсутствие публикации также не указывает на отсутствие результатов научной деятельности – в естественных, технических науках и математике ряд авторов предпочитают не публиковать промежуточные результаты своих исследований и издавать книги и монографии. Ценность одной такой книги потенциально может перекрыть ценность множества статей – результатов работы одного или нескольких больших научных коллективов.

Один из примеров подобной ситуации – книга «Synthesis of subsonic airplane design» (в русском переводе – «Проектирование дозвуковых самолетов»), выпущенная Э. Торенбиком в 1982 г. Эта книга, как и другие работы автора, посвящена развитию общей теории проектирования летательных аппаратов (ЛА). Сегодня она является одним из основополагающих трудов, используемых при анализе новых проектов ЛА, не только для вузов, занимающихся соответствующей научной деятельностью, но также и для ученых, работающих в НИИ и опытно-конструкторских бюро (ОКБ). В области создания и анализа новых концепций (схем) ЛА и новых типов ЛА, создаваемых в рамках существующих схем, регулярно выходит немалое количество статей, но книга Э. Торенбика превосходит большое их совокупное число по степени влияния на научную область проектирования ЛА. Сам автор книги до сих пор публикует относительно небольшое число статей, посвященных, в основном, анализу конкретных случаев приложения теории проектирования ЛА.

Еще одна проблема проявляется в случае публикации автором серии статей. Если автор готовит такую серию, он может сослаться на нужный ему источник только один раз, в первой публикации (даже если этот источник вновь используется в последующих статьях серии). В других же своих статьях той же серии автор может ссылаться на свою первую публикацию как на источник. Это может произойти еще и потому, что при составлении списка литературы авторы пользуются теми материалами, на которые им удобнее ссылаться, т.е. своими собственными. В этой ситуации исключение самоцитирования не дает возможности понять, сколько раз был на самом деле процитирован первоисточник.

С другой стороны, авторы из Азии уже весьма хорошо приспособились к системе оценки показателей цитируемости. В азиатских университетах количество статей на одного сотрудника университета давно считается очень важным показателем. Отклонение от запланированной нормы обычно не влечет за собой никаких санкций, однако руководство соответствующих подразделений уделяет выполнению этой нормы большое внимание и старается принимать меры для достижения заданных значений. В этой ситуации учеными из Азии был найден выход, заключающийся во включении своих коллег в соавторы статей. Отслеживание соавторов в «Web of Science» по-прежнему исключает искусственное увеличение авторами своих показателей. Однако важно подчеркнуть, что данная практика широко распространена в значительной части Восточной и Юго-Восточной Азии, и отслеживать подобные включения непросто.

Также необходимо отметить, что при подсчете используемых в вузах показателей (например, при переаттестации) количество статей сотрудника рассчитывается без поправки на соавторство.

Нередко возникают ситуации, когда одни и те же люди публикуют материалы на темы, далекие друг от друга, в очень короткий срок. Например, один и тот же ученый может иметь публикации в области динамики движения космических аппаратов и прочности композитных конструкций в течение одного года. Вести серьезные глубокие исследования в этих двух областях одновременно невозможно. Тем более что обладающих нужным для этого кругозором и опытом работы людей немного. Казалось бы, эффективным решением в этой ситуации мог бы быть анализ «разнородности» тематики печатных работ (т.е. того, насколько связаны между собой области, в которых публикуется данный автор). Подобный анализ мог бы идентифицировать те ситуации, где автор действительно участвовал в научных исследованиях, и отсеять случаи, где его фамилия была приписана. Однако любой пользующийся таким трюком ученый может сослаться на широту своих научных интересов и энциклопедизм знаний (что всегда ценится в научной среде).

Описанная ситуация негативно влияет на моральную обстановку в научных коллективах, так как она поощряет жульничество с публикациями для улучшения собственного положения (выполнения нормативов и продвижения по карьерной лестнице). Складывающееся при этом отношение ученых к публикациям, при котором нормой становится обман системы, затем также переносится и на систему учета цитируемости публикаций.

Система «Web of Science» исходно была разработана для оценки показателей ученых, работающих в области естественных наук. В других науках имеются существенные отличия, которые затрудняют применение данного вида показателей без существенных изменений.

Действительно, в «Web of Science» есть разные показатели, ориентированные на разные виды наук (гуманитарные, технические, естественные и т.д.), и даже попытки отдельно учесть прочие показатели деятельности ученых, помимо публикаций (например, книги и выступления на конференциях – для них есть отдельные индексы, хотя они и появились сравнительно недавно). Но даже наличие этих показателей не делает возможным полный учет особенностей результатов разных видов научной деятельности в разных науках.

Например, опубликованная печатная работа (статья или монография) является одним из основных (а зачастую и основным) результатом деятельности в гуманитарных науках. В «Web of Science» присутствует возможность учета веса публикации в одних науках по сравнению с другими (например, веса одной статьи в математике по сравнению с одной статьей в философии). Данный вес рассчитывается исходя из общего количества статей в рассматриваемой области по сравнению с другими. Однако необходимо учитывать, что вес определенного вида публикации различен даже для разных гуманитарных наук. Например, в научном сообществе ученых-философов монографии и прочие крупные печатные труды ценятся больше статей (весовой коэффициент для монографии по сравнению со статьей в философии больше, чем в других гуманитарных науках).

Значимость публикаций относительно прочих результатов научной деятельности в технических науках кардинально отличается от значимости статей в гуманитарных и даже естественных науках. Прежде всего, необходимо отметить, что в качестве одного из важных научных результатов в технических науках ценится зарегистрированный патент на изобретение. Регистрация патентов зачастую обязательна для сотрудников соответствующих организаций (НИИ и ОКБ). Подобный показатель также существует и в фундаментальных науках, однако значимость патентов в них отличается от значимости в технических науках (значения весовых коэффициентов для патентов по отношению к прочим результатам научной деятельности различны в технических и естественных науках).

При относительно небольшом количестве специализированных научных изданий (и, соответственно, публикаций) в технических науках, повышается удельный вес результатов, связанных с выступлениями на конференциях и публикациями материалов в сборниках трудов этих конференций. Эта ситуация частично схожа с ситуацией в математике, в которой количество публикаций заметно ниже, чем во всех остальных науках.

Так, в авиационных науках выступление и публикация результатов научной деятельности в трудах крупнейших международных конференций, проводимых ICAS (International Council of Aeronautical Sciences) и AIAA (American Institute of Aeronautics and Astronautics), приравнивается по значимости к публикациям статей в авторитетных научных журналах в соответствующей области. Недавно появившийся в «Web of Science» показатель учета количества публикаций в трудах конференций представляет собой попытку учесть эти различия. Однако сам факт относительно небольшого срока его существования (менее 10 лет) указывает на то, что эта проблема по-прежнему не до конца разрешена и сегодня. Для оценки реального влияния выступлений на конференциях на развитие науки (как и публикаций) необходимо использовать статистику за несколько десятилетий. Как известно, «Web of Science» не производит ретроспективный анализ публикаций, поэтому остается лишь ждать, когда в ее активе накопится достаточно статистики по учету конференций и трудов конференций.

Существует и еще одно важнейшее противоречие в оценке результатов деятельности научного работника, которое весьма актуально для западных технических университетов и от которого частично избавлены ученые, связанные с техническими науками в РФ. Одним из важных показателей, определяющих прием на работу и продвижение по карьерной лестнице в западных технических университетах, является наличие опыта работы в соответствующей отрасли промышленности. Это логически объясняется тем, что технические науки зачастую используют опыт работы соответствующей промышленности в качестве основы и подробно его изучают. Подобная ситуация подразумевает двусторонний обмен информацией между промышленностью и наукой. В этой ситуации НИИ и вузы обрабатывают и обобщают опыт промышленности, с одной стороны, и являются генераторами новых идей для промышленности – с другой.

Подобный симбиоз особенно ярко проявлялся в авиационной промышленности и науке СССР. НИИ Министерства авиационной промышленности СССР и специализированные вузы выполняли работу в интересах всех ОКБ СССР, тем самым накапливая и обобщая их проектный опыт, с одной стороны, и обеспечивая генерацию новых идей в ходе разработки новых проектов – с другой (в том числе, за счет имеющейся обобщенной базы знаний). Возможность публикации результатов подобной научной деятельности определялась в основном наличием или отсутствием грифа секретности и сроками его действия (при этом часть материалов все-таки могла быть опубликована под грифом).

В западных странах публикация большинства результатов деятельности подобных специалистов запрещена. Причина запрета заключается не только в охране секретных сведений стратегического характера, но также и в охране коммерческой тайны фирмы, работниками которой на момент проведения исследований (в том числе, работая по контракту) являлись соответствующие ученые.

Известны случаи, когда подобные запреты продолжали существовать в течение многих десятилетий. Например, в начале 1990-х годов ряд американских аэрокосмических корпораций проводил совместные исследования с российскими вузами и НИИ по перспективным разработкам. Результаты этих исследований до сих пор не опубликованы в связи с неснятыми до сих пор ограничениями коммерческой тайны.

Можно также предположить, что промышленность в данной ситуации старается монополизировать интеллектуальную собственность, создаваемую в смешанных коллективах (при сотрудничестве с вузами), трактуя соответствующие положения и соглашения об охране коммерческой тайны в свою пользу. Подобная проблема также актуальна для бывших сотрудников компаний, желающих опубликовать результаты своей предыдущей научной деятельности. Возникает ситуация, когда не представляется возможным оценить деятельность ветеранов промышленности, зачастую обладающих уникальным опытом, исходя из системы стандартных наукометрических показателей.

На Западе недостатки данной ситуации частично компенсируются за счет разумной организации системы финансирования университетов и промышленности. Выделяемые соответствующими государственными структурами гранты зачастую подразумевают совместное участие в работе представителей промышленности и университетов. В этой ситуации представители промышленности, скорее, готовы сотрудничать и выделять деньги коллективам вузов, в которых работают знакомые им люди. Таким образом, статус имеющих опыт работы в промышленности ученых и потребность в них повышаются за счет дополнительных денежных возможностей. При этом способность находить и привлекать внешнее финансирование является одним из ключевых факторов успеха руководителя научного коллектива в западных университетах. Понятно, что ориентация государственных грантов на ученых с максимальными показателями цитируемости делает подобное уравновешивание невозможным.

Существует также проблема, связанная с классификацией разделов наук в самой базе данных «Web of Science». В некоторых сравнительно узких областях работает крайне небольшое количество людей и делается еще меньше публикаций, которые при этом могут иметь большое опосредованное влияние. Например, разделы авиационных наук, связанные с внешним проектированием, определяют потенциальные требования для всех будущих проектов ЛА. Но очевидно, что никто не будет постоянно давать ссылки на статьи, в которых эти требования обосновываются и подробно анализируются. Скорее авторы соответствующих исследований и проектов будут перечислять требования в виде заданных аксиом без ссылок. Однако это не снижает ценность результатов соответствующих исследований. Не знакомому подробно с процессом разработки новых ЛА человеку весьма сложно понять подобные связи и правильно определить разбиение предметной области исходя из важности соответствующих подобластей.

В связи с изложенными выше соображениями ясно, что, несмотря на полезность показателей цитирования, их абсолютизация при принятии решений весьма опасна. Указанная опасность особенно серьезна, если на основе показателей цитируемости эксклюзивно (без учета прочих факторов) принимаются такие решения, как продвижение тех или иных сотрудников вверх по карьерной лестнице или распределение финансирования. Дополнительные осложнения может внести неправильное применение показателей и статистики, примеры которого были показаны выше.

Известно, что сложную систему нельзя оценивать исходя лишь из одного показателя. Поэтому искусственное завышение значимости наукометрических показателей заведомо несет в себе недостатки, которые могут дополнительно обострить проблемы, связанные с наукой и образованием в РФ и за рубежом. К сожалению, ряд событий указывает на возможность возникновения подобной ситуации в вузах и НИИ РФ.

В связи с отмеченными выше проблемами применения показателей цитируемости для оценки научной деятельности необходимо отметить следующее. Статистические данные и программные продукты, производимые и поставляемые «Web of Science», являются весьма полезным инструментом анализа распространения научных идей и одним из возможных способов анализа деятельности соответствующих организаций и сообществ. Однако их неправильное эксклюзивное применение при принятии решений наносит прямой вред репутации организаций, имеющих отношение к системе «Web of Science».

Описанная ситуация ведет к многочисленным конфликтам и отказу ученых от использования инструментария, основанного на показателях цитируемости, в ходе проведения собственных исследований. Весьма смелые декларации представителей «Web of Science» о том, что их инструментов и статистики достаточно для осуществления всесторонней оценки научной деятельности вкупе с резкими и ошибочными действиями структур Министерства образования и науки РФ порождают естественную негативную реакцию в научном сообществе.

В случае провала создания системы оценки научной деятельности, основанной на индексах цитируемости, сама компания «Thomson Reuters» может рассматриваться научным сообществом как неверно декларировавшая свои возможности, а ее владельцы могут получить репутацию дельцов, постаравшихся путем обмана извлечь максимальную прибыль из своего приобретения. Таким образом, существующие конфликты могут получить развитие и продолжение.

В связи с этим представляется целесообразным интенсифицировать разъяснительную работу, проводимую в научном сообществе представителями «Web of Science», и инициировать агентство «Thomson Reuters» более четко выражать свою позицию относительно областей (и ограничений) применения предлагаемой ими статистической информации и программных продуктов при анализе научной деятельности. Необходимо, чтобы представители «Web of Science» напоминали пользователям, что данная система, а также результаты и инструменты анализа, который можно проводить с помощью нее, применимы в первую очередь и главным образом для оценки только одного аспекта научной деятельности – количества открытых печатных работ автора и того, насколько эти работы заметны для других авторов, регулярно публикующих свои печатные работы в соответствующих изданиях.

Более полная информация могла бы помочь избежать досадного недопонимания, при котором у ученых создается впечатление, что сама компания не понимает ограниченность применимости своей статистики. Подобное недопонимание порождает большое количество попыток показать, почему ученые не могут быть оценены исходя только из показателей цитируемости, отодвигая сам вопрос развития системы «Web of Science» (с точки зрения классификации областей наук, методов расчета показателей и т.д.) на второй план. Официальное признание ограниченности применения показателей цитируемости со стороны самих авторов этих показателей дало бы общую основу для проведения дальнейших дискуссий относительно развития систем их учета.

Сегодня «Web of Science» занимает хорошие позиции и имеет высокую репутацию в РФ как система оценки деятельности ученых. Понятно, что такое положение устраивает агентство «Thomson Reuters», владеющее «Web of Science». С точки зрения управляющих компанией менеджеров, повышение прибыли всегда является положительным результатом. Однако ситуация может резко измениться в будущем. Причины этих изменений могут быть различны. Например, станут очевидны проблемы применения системы индексов цитирования (в том числе проблемы, связанных с ее неправильным применением), произойдет смена чиновников или политического курса. При этом существующие сейчас конфликты с научным сообществом могут внести в эти изменения свою лепту. Учитывая вышесказанное, представляется целесообразным делать официальные заявления и вести подробные разъяснения по ограниченности применения показателей цитируемости, даже если существует риск некоторого ослабления позиций «Web of Science» относительно имеющихся на данный момент. Подобные действия послужат укреплению и расширению позиций «Web of Science» как авторитетной научно-информационной организации в долгосрочной перспективе и смягчат нападки на нее в случае резкого изменения или ухудшения ситуации.

Автор выражает глубочайшую признательность всем участникам Московского городского семинара по науковедению «Наука, образование, технологии и модернизация России», принявшим участие в заседании 27 марта 2013 г. Многие высказанные ими идеи были использованы при написании данного материала, хотя автор и не имеет возможности дать ссылки на их непосредственные выступления.