Вышку неожиданно подключили к InCites - аналитической надстройке компании Thomson Reuters над БД Web of Science. Это замечательно, потому что можно считать нормализованную цитируемость и массу других индикаторов, недоступных через стандартный интерфейс WoS. Я протестировал некоторые возможности системы на хорошо известных мне наборах публикаций России - в иностранных и в отечественных журналах.
Самый известный индикатор InCites это CNCI, вот его официальное определение:
Это в целом такой же показатель, как и Field-Weighted Citation Impact в SciVal и Mean Normalised Citation Score в Лейденском рейтинге. В последнее время индикаторы такого типа подвергаются серьезной критике, ей посвящен целиком длинный и умный майский номер Journal of Informetrics, а я просто скажу, что из-за невозможности исключить самоцитирования они очень страдают как в SciVal, так и в InCites.
Более надежными с точки зрения ученых-наукометристов служат индикаторы, основанные на процентилях распределений по цитируемости, в т.ч. следующие size-independent-показатели: % публикаций в топ-1%, в топ-10%, средний процентиль. Правда, для анализа небольших массивов публикаций, особенно российских, топы не очень подходят: часто в 1% не попадает почти никто. К тому же в InCites они тоже серьезно подвержены влиянию самоцитирований (в SciVal в аналогичных показателях их можно отфильтровать).
Еще один интересный показатель: The Journal Normalized Citation Impact (JNCI) indicator is a similar indicator to the Category Normalized Citation Impact, but instead of
normalizing per subject area or field, it normalizes the citation rate for the journal in which the document is publishing.
Для анализа я выбрал два набора из множества публикаций с российской аффилиацией за 2011-13 годы: articles и reviews в российских и в иностранных журналах (далее - "Р-статьи" и "И-статьи"). Временной промежуток был подобран, чтобы можно было относительно корректно считать цитируемость, и при этом вписаться в лимиты InCites. Лимиты суровые: не более 50 тысяч публикаций в наборе. В SciVal путем определенных ухищрений можно запихнуть в набор в два раза больше, плюс там можно напрямую сравнивать наборы как сущности, а в InCites почему-то нельзя. Зато там можно сравнивать другие сущности - организации, журналы, страны - внутри набора, чем я и занялся.
Я загрузил в InCites 48,5 тысяч Р-статей и 39 тысяч И-статей. В качестве оптики для сравнения был выбран массив крупных российских вузов, около 80 верхних по числу статей. На графике точками показаны Р-статьи (красные) и И-статьи (синие) вузов, отдельно за каждый год из трех (один год - одна точка, итого до 6 точек на вуз). Как видим, графики практически не пересекаются, а красные точки расположились очень компактно. Единственный выброс в Р-статьях дает Вышка за 2013 год, когда наш мегазаслуженный профессор-академик Маслов превзошел самого себя в самоцитированиях своей публикации в "Математических заметках", которые он же и редактирует. В итоге CNCI этой статьи превысила 19, что очень много.
В остальном же все вузы публикуют в российских журналах в среднем малоцитируемые работы. В иностранных журналах картина а) значительно лучше и б) значительно разнообразней.
Однако распределение цитирований в науке сильно смещено в сторону малого числа высокоцитируемых публикаций, которые зачастую описывают серьезные прорывы, новые инструменты и методы либо - в случае обзоров-reviews - служат референтными точками, фиксирующими текущее состояние и подсвечивающими актуальные проблемы (also, Маслов). Поэтому важен не только средний уровень цитируемости, но и наличие высокоцитируемых статей.
На следующей картинке показаны % публикаций, попадающих в 10% самых цитируемых в своей области за данный год. Опять же, каждая строчка это значение по одному вузу за один год, синим даны И-статьи, оранжевым - Р-статьи. Выставлен фильтр минимум 100 статей в год. У большинства вузов % высокоцитируемых Р-статей совсем маленький, лидируем опять мы, в т.ч. за счет Маслова. Если взять среднее по вузам по И-статьям, получится 8,95%, а по Р-статьям всего 0,6%.
Если поднять планку цитируемости, ситуация окажется еще плачевней: лишь три Р-статьи получили статус Highly-Cited (топ 1% в своей предметной области), одна из них - та же статья Маслова, а две остальные - физические работы в УФН и "Письмах в ЖЭТФ". Увы, случаи, когда российские статьи в российских журналах становятся высокоцитируемыми, следует признать сейчас крайне редкими. Если взять не только вузы, в все российские организации, таких статей за исследуемый период вместо трех станет целых пять. Вот сводная статистика по России, для сравнения приведена Германия.
Напоследок показатели JNCI. Любопытно, что у большинства рассмотренных российских вузов публикации в российских журналах цитируются лучше средних публикаций в этих же журналах. В случае иностранных журналов положительное отклонение от единицы есть, но выражено гораздо слабее. Шарики опять же соответствуют вузам за отдельные годы, размер шарика - число статей, фильтр>100 статей в год. Р-статьи по вертикальной оси, И-статьи - по горизонтальной.
Update: я уже писал об этом раньше, но стоит и тут добавить: ведущие вузы по описанным выше причинам активно переключаются на иностранные журналы. Это было заметно уже в 2011-13 гг., вот несколько ведущих вузов в динамике (число Р-статей по вертикальной оси, число И-статей по горизонтальной) :
Комментариев нет:
Отправить комментарий