Чем измеряют науку?
Наукометрия — область науковедения, исследующая науку количественными методами. Наукометрические подходы используются для принятия решений о финансировании научных групп и отдельных исследователей, а также для оценки значимости учёных в их научной области. Основную часть таких подходов составляют библиометрические показатели — параметры, которые оценивают опубликованные результаты исследований.
Для распространения научного знания учёные выступают на конференциях и публикуют статьи в научных журналах — это позволяет делиться идеями с другими исследователями и находить единомышленников для организации совместной работы. Негласное правило науки: значимый результат исследований должен быть опубликован. Такой подход позволяет нам в любой момент времени получить данные о состоянии интересующей нас научной области, а наукометрии — измерить показатели опубликованных работ (статей, тезисов и др.).
Основными библиометрическими показателями в науке являются количество статей и их цитируемость (использование предложенных в статье идей другими учёными). Считается, что по количеству статей можно сделать вывод о том, насколько продуктивен учёный, а по количеству цитирований — насколько его работа значима в научном сообществе.
Индекс Хирша
В 2005 году физик Хорхе Хирш предложил использовать для расчета вклада учёного индекс, который учитывает и продуктивность исследователя, и значимость его работы. Этот индекс, получивший название «индекс Хирша» (h-index), рассчитывается так: индекс Хирша учёного равен h, если h из его N статей цитируются как минимум h раз каждая, а остальные (N-h) статей цитируются не более чем h раз каждая.
Например, ученый имеет 10 статей. Сортируем статьи по количеству цитирований в порядке убывания, получаем:
Далее, двигаясь от наиболее часто цитируемых статей к менее цитируемым (сверху вниз), находим такой порядковый номер статьи, где количество цитирований не меньше этого порядкового номера — это и будет индекс Хирша. В нашем случае учёный имеет 7 статей, каждая из которых цитируется не менее 7 раз, а остальные статьи имеют меньше 7 цитирований каждая — индекс Хирша нашего выдуманного учёного равен 7.
Несмотря на то, что индекс изначально предлагался физиком для физиков, он используется для расчета значимости учёных во всех научных областях.
Основную часть рейтинга топ-10 учёных с наибольшим индексом Хирша составляют исследователи в области медицины и социологии. Первую позицию в рейтинге с h-index=289 занимает философ Мишель Фуко (1926-1984), а на пятой с h-index=269 расположился отец психоанализа Зигмунд Фрейд (1856-1939). Последний, по данным Google Scholar, успешно продолжает публикационную активность в настоящее время.
Можно заметить, что большое количество цитирований отдельных статей не сказывается на индексе Хирша. То есть, если учёный имеет одну статью, процитированную 10000 раз, а его коллега — одну статью, процитированную 1 раз, то их вклад в науку «по Хиршу» (h=1) одинаков. Такой подход должен стимулировать ученых делиться своими результатами с научным сообществом (публиковать больше статей), не забывая о качестве публикуемых материалов.
Что не так с индексом Хирша?
Индекс Хирша, безусловно, обладает достоинствами. Этих достоинств, впрочем, оказывается недостаточно для того, чтобы научное сообщество приняло h-index таким, какой он есть. И у учёных есть на то причины.
Во-первых, h-index непригоден для сравнения исследователей из разных научных областей. Количество публикаций и цитирований отличается в зависимости от количества исследователей в данной области, темы исследования, языка публикаций, возраста области науки и других параметров.
Так, лидерами рейтинга учёных с наиболее высоким индексом Хирша традиционно являются исследователи в области клинической медицины, химии, физики и астрофизики. Исследователей в этих областях больше, чем в других: 2 млн., 500 тыс. и 600 тыс. соответственно. А самый высокий индекс Хирша в области медицины более чем в 2 раза выше самого высокого индекса Хирша в области информационных технологий.
Во-вторых, h-index одного и того же учёного в разных базах данных будет разным. Индекс Хирша рассчитывается автоматически на основании информации, имеющейся в базе данных. Поэтому, чем больше там публикаций, тем более высоким будет индекс Хирша.
Наибольшее количество публикаций собрано в базе данных Google Scholar — там можно найти информацию о трудах учёного вне зависимости от формата: это могут быть книги, статьи, отчёты, учебные и методические пособия — всё то, что поиск Google Scholar найдёт в интернете и сочтёт «научным».
Базы данных Scopus и WoS включают в себя статьи из тех источников (журналов, сборников), которые получили одобрение экспертов. Охват источников в этих базах меньше, чем в Google Scholar, а публикации проходят процедуру рецензирования. Часто источники, которые входят в Scopus, не входят в WoS, и наоборот. Тогда, если учёный публикует статью в журнале из Scopus, а работы, которые ссылаются на эту статью, попадают в WoS, то в количестве цитирований в Scopus эти данные не учитываются.
Так, например, индекс Хирша самого Хорхе Хирша в Google Scholar — 65, в Scopus — 58, в WoS — 59.
В-третьих, индекс Хирша не учитывает количество соавторов и индивидуальный вклад каждого из них.
В 2015 году физики из ЦЕРН получили уточненную оценку массы бозона Хиггса и по этому поводу опубликовали статью с 5154 авторами. 13 из 45 страниц этой статьи посвящены исследованию, остальные страницы — список авторов. Значимость этого исследования не подвергается сомнению, но оценить вклад каждого конкретного учёного не представляется возможным. Если статья цитируется — цитирование учитывается у каждого из авторов статьи равнозначно.
В-четвертых, h-index не учитывает уровень (импакт-фактор) источника, в котором размещена публикация. Чем выше импакт-фактор журнала, тем более значимые результаты описаны в опубликованных там статьях.
С момента предложения индекса Хирша прошло почти 15 лет, в течение которых участники научного сообщества рассматривали применимость h-index в своих научных областях, критиковали, предлагали альтернативы: индексы g, i10, hc, hb, hg, q2, m, c, s, e, o, RA, R, AR… Хорхе Хирш не отставал от коллег и предложил ещё два индекса: h-bar и h-alpha. Несмотря на то, что новые индексы частично избавлены от недостатков оригинального индекса Хирша, они рассчитываются на основании всё тех же библиометрических показателей: количества статей и их цитирований. А это значит, что все они подвержены накрутке со стороны неэтичных исследователей.
«О, радость взаимного цитирования!»
Основные способы накрутки количества цитирований — самоцитирование и взаимное цитирование.
Летом 2019 года был опубликован список 100 тыс. самых цитируемых исследователей, где нобелевские лауреаты и выдающиеся учёные стоят плечом к плечу с менее известными деятелями, такими как Сундарапандьян Вайдьянатан из Индии. 94% цитирований его работ — это ссылки из статей Сундарапандьяна и его соавторов. И этот случай не единичный. Как минимум у 250 исследователей из опубликованного списка процент самоцитирования и цитирования от соавторов превышает 50%.
До тех пор, пока показатели цитируемости остаются метрикой для принятия решений о найме учёных, продвижении по службе и финансировании исследований, пристальное внимание, которое уделяется этим показателям, будет побуждать к самоцитированию, считают некоторые представители научного сообщества.
Проблема состоит в том, что нельзя знать наверняка, когда самоцитирование или взаимное цитирование (цитирование соавторов, коллег, научного руководителя, членов научной группы, друзей, соседей и др.) переходит границы этичного поведения. В процессе длительного исследования одного вопроса учёный неминуемо сталкивается с необходимостью сослаться на свои предыдущие работы или предыдущие работы своих коллег. Узнать, действительно ли ссылка на свою работу или работу соседа в каждом конкретном случае необходима, практически невозможно.
Кардашьян от науки
Кроме библиометрических показателей есть показатели альтметрические. Это альтернативные метрики, которыми могут оцениваться публикации: количество просмотров, количество скачиваний, количество упоминаний и репостов публикации в социальных сетях, СМИ, блогах и т.д.
Есть и экстравагантные метрики — в 2014 был предложен индекс Кардашьян, который должен учитывать библиометрические и альтметрические показатели. Автор назвал свой индекс в честь Ким Кардашьян, которая, по его словам, «не достигла ничего важного в науке, политике или искусстве, но входит в число людей с наибольшим числом подписчиков в Твиттере и является одним из самых популярных запросов в Google». По мнению автора, в научном сообществе существует «феномен Кардашьян»: некоторые научные деятели имеют высокую популярность в социальных медиа, но не внесли значительного вклада в науку результатами своих исследований.
Индекс Кардашьян (K-index) — это мера несоответствия профиля учёного в социальных медиа и его публикационной активности, основанная на сравнении количества цитирований его работ и количества подписчиков в Твиттере. Так, высокий K-index указывает на безосновательную популярность учёного, а низкий предполагает, что учёного недооценивают. Учёных с K-index > 5 автор предлагает считать «Кардашьянами от науки» («Science Kardashians»).
С другой стороны, участие в популяризации науки — это ли не вклад в неё?
Источники
- An index to quantify an individual’s scientific research output
- Webometrics Ranking of World Universities
- Google Scholar – Sigmund Freud
- Comparison of the h-index for Different Fields of Research Using Bootstrap Methodology
- A standardized citation metrics author database annotated for scientific field
- Supplementary data tables for «A standardized citation metrics author database annotated for scientific field» (PLoS Biology 2019)
- Physics paper sets record with more than 5,000 authors
- Combined Measurement of the Higgs Boson Mass in pp Collisions at √s = 7 and 8 TeV with the ATLAS and CMS Experiments
- Hundreds of extreme self-citing scientists revealed in new database
- The Kardashian index: a measure of discrepant social media profile for scientists
