Как самооценка помогает обогнать МГУ 

Как самооценка помогает обогнать МГУ
Фото: Индикатор
Как разные системы оценивают публикационную активность российских вузов и научных организаций, кому из них можно верить, а кому — нет, насколько достоверные данные о собственных публикациях вузы передают в высшие инстанции и что по этому поводу думают как независимые эксперты, так и , читайте в материале Indicator.Ru.
Один из основных критериев для оценки научной активности организаций — это число научных публикаций. Тем не менее, не на все из них можно поставить знак качества: во всем мире существуют хищнические либо мусорные журналы — недобросовестные издания, самоцель которых — нажиться на авторах статей.
Indicator.Ru проанализировал данные по публикационной активности российских научных учреждений, взятые из Федеральной системы мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы за 2016 год (ФСМНО), и разобрался, в чем разница между глобальными базами данных, а также насколько может быть объективным лидерство в том или ином рейтинге. Согласно приказу №14-741 от 26.05.2017 научные учреждения были обязаны внести данные по своей публикационной активности в информационную систему ФСМНО до 1 июля 2017 года, однако у некоторых учреждений прописаны гораздо более поздние даты подачи сведений.
«Когда по поручению Президента России три года назад корректировалась система оценки результативности научных организаций, был введен ежегодный обязательный мониторинг, — рассказал Indicator.Ru , глава департамента науки и технологий Министерства образования и науки РФ. — Такой переход в «цифру» задумывался как один из способов отказаться от бессмысленной и трудоемкой отчетности научных организаций и в целом изменить подходы к их взаимодействию с органами власти. Сейчас от организации требуется к концу первого полугодия представить всего лишь несколько десятков ключевых цифр, отражающих результативность, — от публикаций до патентов; о защитивших диссертации исследователях до полученных доходов, в первую очередь — из конкурсных источников. То, что целый ряд организаций не делает этого в срок или дает сомнительные данные, говорит о низком качестве менеджмента и организации работы в них — я имею в виду не ученых, не научных работников, а руководителей, директоров научных организаций. Идти по пути предписаний и административных наказаний таких руководителей из-за неисполнения требований, установленных правительством, — не очень хорошая история, хотя основания для этого есть. Ведь многие организации работают на средства налогоплательщиков, и обязаны рассказать о количестве, и хоть немного о качестве работы, о самых значимых своих результатах. Мониторинг — это не столько отчет перед государством, это отчет перед обществом».
Одна из самых авторитетных баз научных журнальных статей — система Web of Science (WoS). По данным за 2017 год ведущими российскими университетами в WOS стали МГУ (5526), СПбГУ (2877), (2418), Новосибирский государственный университет (2357), Томский государственный университет (2149), (2059), ИТМО (1712), УрФУ (1690), Казанский федеральный университет (1667) и МФТИ (1607).
По сравнению с числом публикаций, индексируемых в WOS за 2016 год, показатель российских вузов существенно вырос — так, число публикаций ТПУ в WOS в 2016 году составляло 1485. Из десятки лидеров прошлого года вышел Физико-технический институт имени Иоффе в Санкт-Петербурге, а КФУ поднялся с 12 места до 9 позиции. Вторая десятка российских лидеров WoS — это Объединенный институт ядерных исследований (ОИЯИ), СПбПУ, , Физический институт им. П. Н. Лебедева РАН, Физико-технический институт им. А. Ф. Иоффе РАН, Центральная научная библиотека дальневосточного отделения РАН, ННГУ, МИСиС, ЮФУ и Российская медицинская академия непрерывного профессионального образования .
Вуз или научная организация
СПбГУ
ОИЯИ РАН СПбПУ
НИУ ВШЭ ФИ им. П. Н. Лебедева РАН ФТИ им. А. Ф. Иоффе РАН Центральная научная библиотека ДвО РАН МИСиС
РМАНПО Минздрава РФ *
* — Российская медицинская академия непрерывного профессионального образования
По словам эксперта по наукометрии компании Clarivate Analytics Павла Касьянова, указанные в системе цифры неплохо коррелируют с информацией в системе WoS. «Еще несколько лет назад сосчитать показатели публикационной активности и цитируемости организаций по любой базе данных по научному цитированию было довольно трудно из-за многообразия вариантов написания их названий. В этом году, благодаря нашему проекту по созданию профилей всем российским научным организациям в Web of Science Core Collection цифры становится ощутимо проще найти, сравнить и проверить. Полагаю, уже через год-два можно будет открыть Web of Science или InCites и за пару минут отранжировать все российские научные организации по любой теме и по интересующему показателю», — рассказал Павел Касьянов Indicator.Ru.
Десять вузов с наибольшим числом публикаций в базе Scopus — те же, что и в WoS. Количество публикаций в этой базе данных незначительно превышает число публикаций WoS. Из учреждений, не попавших в двадцатку лидеров по числу публикаций в предыдущем рейтинге, в рейтинг Scopus попали (15-е место, 1087 публикаций), ДВФУ (19-е место, 895 публикаций) и Самарский государственный аэрокосмический университет (СГАУ, 809 публикаций). В базе WoS эти научные организации занимают, соответственно, 21, 24 и 35 места.
Вуз или научная организация
Scopus
СПбГУ
СПбПУ
НИУ ВШЭ Объединенный институт ядерных исследований (ОИЯИ)
Физико-технический институт им. А. Ф. Иоффе РАН Курчатовский институт
МИСиС
По просьбе Indicator.Ru эксперт компании Elsevier сравнил данные 20 ведущих организаций из системы ФСМНО с данными системы Scopus (дата сравнения — 20 октября). У всех организаций добавилось несколько публикаций — исключение составил лишь Самарский государственный аэрокосмический университет. Полученные результаты приведены в таблице ниже.
20 ведущих научных организаций
Scopus
Scopus 20.10.2017
СПбГУ
СПбПУ
НИУ ВШЭ ОИЯИ РАН ФТИ им. А. Ф. Иоффе РАН Курчатовский институт
МИСиС
РИНЦ — отечественная библиографическая база данных научного цитирования, в отличие от предыдущих систем включает в себя публикации не только в рецензируемых журналах. Первое место в рейтинге досталось (15221), за ним с отрывом примерно в 2000 публикаций следует СПбГУ (13335). РЭУ (12597) и  (11906) заняли третье и четвертое место в рейтинге. В прошлогоднем рейтинге Финансовая академия также обогнала другие научные организации (14865 публикаций). Кроме перечисленных вузов в десятку лидеров вошли , Крымский федеральный университет имени В. И. Вернадского, ЮФУ, Башкирский государственный университет, и КФУ.
Вуз или научная организация
ФУ при Правительстве РФ 15221
СПбГУ
13335
12597
11906
РАНХиГС
10802
КФУ* имени В. И. Вернадского
БашГУ
МГТУ им. Н. Э. Баумана
УГНТУ*
ВорГУ
СПбПУ
НИУ ФШЭ * — Крымский федеральный университет
** — Уфимский государственный нефтяной технический университет
Руководитель аналитического отдела Научной электронной библиотеки eLIBRARY.RU Павел Арефьев проанализировал публикационную активность ведущей двадцатки вузов, сравнив показатели ФСМНО и РИНЦ. Эксперт заключил: «Нельзя доверять оцениваемым организациям поставку данных для оценки. Кроме того, нельзя оценивать публикационную активность российских вузов по публикациям в РИНЦ в целом. МГУ не может идти за Финансовым университетом и Плешкой, и даже за СПбГУ. Вузы из Программы 5-100 также не могут плестись в конце двадцатки. Это означает, что мы взяли неправильный массив, полный публикационного шлака. Это отвал породы без содержимого. Надо смотреть и оценивать вузы по RSCI, но лучше — по ядру РИНЦ (это журналы из RSCI + WoS Core Collection + Scopus, где публиковались российские ученые мужи)».
Университет
ФУ при Правительстве РФ 15221
15915
СПбГУ
13335
13597
12597
13148
11906
17939
РАНХиГС
10802
14669
КФУ имени В. И. Вернадского
9,576 9,111 БашГУ
МГТУ им. Н. Э. Баумана
6,156 УГНТУ
ВорГУ
5,682 СПбПУ
5,656 НИУ ВШЭ 1 — Σ научных публикаций в РИНЦ (данные мониторинга ФСМНО); 2 — Σ научных публикаций в РИНЦ (данные РИНЦ); 3 — Σ журнальных публикаций в ядре РИНЦ.
Поисковая система научных публикаций всех форматов и дисциплин Scholar учитывает статьи, которые доступны онлайн бесплатно, и статьи, имеющиеся в наличии в библиотеках или за деньги. В пятерку лидеров, согласно Google Scholar, попали Зоологический институт РАН (35096 публикаций), ТПУ (14710), Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева (100900), МГУ (9460) и СФУ (6010). Существенная разница с другими системами публикаций может быть связана с тем, что некоторые издатели не позволяют Google Scholar индексировать свои журналы.
Вуз или научная организация