Как самооценка помогает обогнать МГУ

Как разные системы оценивают публикационную активность российских вузов и научных организаций, кому из них можно верить, а кому — нет, насколько достоверные данные о собственных публикациях вузы передают в высшие инстанции и что по этому поводу думают как независимые эксперты, так и Министерство образования и науки, читайте в материале Indicator.Ru. Один из основных критериев для оценки научной активности организаций — это число научных публикаций. Тем не менее, не на все из них можно поставить знак качества: во всем мире существуют хищнические либо мусорные журналы – недобросовестные издания, самоцель которых — нажиться на авторах статей. Indicator.Ru проанализировал данные по публикационной активности российских научных учреждений, взятые из Федеральной системы мониторинга результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы за 2016 год (ФСМНО), и разобрался, в чем разница между глобальными базами данных, а также насколько может быть объективным лидерство в том или ином рейтинге. Согласно приказу №14-741 от 26.05.2017 научные учреждения были обязаны внести данные по своей публикационной активности в информационную систему ФСМНО до 1 июля 2017 года, однако у некоторых учреждений прописаны гораздо более поздние даты подачи сведений. «Когда по поручению Президента России три года назад корректировалась система оценки результативности научных организаций, был введен ежегодный обязательный мониторинг, — рассказал Indicator.Ru Сергей Матвеев, глава департамента науки и технологий Министерства образования и науки РФ. — Такой переход в "цифру" задумывался как один из способов отказаться от бессмысленной и трудоемкой отчетности научных организаций и в целом изменить подходы к их взаимодействию с органами власти. Сейчас от организации требуется к концу первого полугодия представить всего лишь несколько десятков ключевых цифр, отражающих результативность, — от публикаций до патентов; о защитивших диссертации исследователях до полученных доходов, в первую очередь — из конкурсных источников. То, что целый ряд организаций не делает этого в срок или дает сомнительные данные, говорит о низком качестве менеджмента и организации работы в них — я имею в виду не ученых, не научных работников, а руководителей, директоров научных организаций. Идти по пути предписаний и административных наказаний таких руководителей из-за неисполнения требований, установленных правительством, — не очень хорошая история, хотя основания для этого есть. Ведь многие организации работают на средства налогоплательщиков, и обязаны рассказать о количестве, и хоть немного о качестве работы, о самых значимых своих результатах. Мониторинг — это не столько отчет перед государством, это отчет перед обществом». Одна из самых авторитетных баз научных журнальных статей – система Web of Science (WoS). По данным за 2017 год ведущими российскими университетами в WOS стали МГУ (5526), СПбГУ (2877), Томский политехнический университет (2418), Новосибирский государственный университет (2357), Томский государственный университет (2149), МИФИ (2059), ИТМО (1712), УрФУ (1690), Казанский федеральный университет (1667) и МФТИ (1607). По сравнению с числом публикаций, индексируемых в WOS за 2016 год, показатель российских вузов существенно вырос – так, число публикаций ТПУ в WOS в 2016 году составляло 1485. Из десятки лидеров прошлого года вышел Физико-технический институт имени Иоффе в Санкт-Петербурге, а КФУ поднялся с 12 места до 9 позиции. Вторая десятка российских лидеров WoS – это Объединенный институт ядерных исследований (ОИЯИ), СПбПУ, НИУ ВШЭ, Физический институт им. П.Н. Лебедева РАН, Физико-технический институт им. А.Ф. Иоффе РАН, Центральная научная библиотека дальневосточного отделения РАН, ННГУ, МИСиС, ЮФУ и Российская медицинская академия непрерывного профессионального образования Минздрава РФ. Вуз или научная организация СПбГУ ОИЯИ РАН СПбПУ НИУ ВШЭ ФИ им. П.Н. Лебедева РАН ФТИ им. А.Ф. Иоффе РАН Центральная научная библиотека ДвО РАН МИСиС РМАНПО Минздрава РФ * * — Российская медицинская академия непрерывного профессионального образования По словам эксперта по наукометрии компании Clarivate Analytics Павла Касьянова, указанные в системе цифры неплохо коррелируют с информацией в системе WoS. «Еще несколько лет назад сосчитать показатели публикационной активности и цитируемости организаций по любой базе данных по научному цитированию было довольно трудно из-за многообразия вариантов написания их названий. В этом году, благодаря нашему проекту по созданию профилей всем российским научным организациям в Web of Science Core Collection цифры становится ощутимо проще найти, сравнить и проверить. Полагаю, уже через год-два можно будет открыть Web of Science или InCites и за пару минут отранжировать все российские научные организации по любой теме и по интересующему показателю», — рассказал Павел Касьянов Indicator.Ru. Десять вузов с наибольшим числом публикаций в базе Scopus – те же, что и в WoS. Количество публикаций в этой базе данных незначительно превышает число публикаций WoS. Из учреждений, не попавших в двадцатку лидеров по числу публикаций в предыдущем рейтинге, в рейтинг Scopus попали Курчатовский институт (15-е место, 1087 публикаций), ДВФУ (19-е место, 895 публикаций) и Самарский государственный аэрокосмический университет (СГАУ, 809 публикаций). В базе WoS эти научные организации занимают, соответственно, 21, 24 и 35 места. Вуз или научная организация Scopus СПбГУ СПбПУ НИУ ВШЭ Объединенный институт ядерных исследований (ОИЯИ) Физико-технический институт им. А.Ф. Иоффе РАН Курчатовский институт МИСиС По просьбе Indicator.Ru эксперт компании Elsevier Андрей Локтев сравнил данные 20 ведущих организаций из системы ФСМНО с данными системы Scopus (дата сравнения — 20 октября). У всех организаций добавилось несколько публикаций — исключение составил лишь Самарский государственный аэрокосмический университет. Полученные результаты приведены в таблице ниже. 20 ведущих научных организаций Scopus Scopus 20.10.2017 СПбГУ СПбПУ НИУ ВШЭ ОИЯИ РАН ФТИ им. А.Ф. Иоффе РАН Курчатовский институт МИСиС РИНЦ – отечественная библиографическая база данных научного цитирования, в отличие от предыдущих систем включает в себя публикации не только в рецензируемых журналах. Первое место в рейтинге досталось Финансовому университету при Правительстве Российской Федерации (15221), за ним с отрывом примерно в 2000 публикаций следует СПбГУ (13335). РЭУ (12597) и МГУ (11906) заняли третье и четвертое место в рейтинге. В прошлогоднем рейтинге Финансовая академия также обогнала другие научные организации (14865 публикаций). Кроме перечисленных вузов в десятку лидеров вошли РАНХиГС, Крымский федеральный университет имени В.И. Вернадского, ЮФУ, Башкирский государственный университет, МГТУ им. Н.Э. Баумана и КФУ. Вуз или научная организация ФУ при Правительстве РФ 15221 СПбГУ 13335 12597 11906 РАНХиГС 10802 КФУ* имени В.И. Вернадского БашГУ МГТУ им. Н.Э. Баумана УГНТУ* ВорГУ СПбПУ НИУ ФШЭ * — Крымский федеральный университет ** — Уфимский государственный нефтяной технический университет Руководитель аналитического отдела Научной электронной библиотеки eLIBRARY.RU Павел Арефьев проанализировал публикационную активность ведущей двадцатки вузов, сравнив показатели ФСМНО и РИНЦ. Эксперт заключил: «Нельзя доверять оцениваемым организациям поставку данных для оценки. Кроме того, нельзя оценивать публикационную активность российских вузов по публикациям в РИНЦ в целом. МГУ не может идти за Финансовым университетом и Плешкой, и даже за СПбГУ. Вузы из Программы 5-100 также не могут плестись в конце двадцатки. Это означает, что мы взяли неправильный массив, полный публикационного шлака. Это отвал породы без содержимого. Надо смотреть и оценивать вузы по RSCI, но лучше — по ядру РИНЦ (это журналы из RSCI + WoS Core Collection + Scopus, где публиковались российские ученые мужи)». Университет ФУ при Правительстве РФ 15221 15915 СПбГУ 13335 13597 12597 13148 11906 17939 РАНХиГС 10802 14669 КФУ имени В.И. Вернадского 9,576 9,111 БашГУ МГТУ им. Н.Э. Баумана 6,156 УГНТУ ВорГУ 5,682 СПбПУ 5,656 НИУ ВШЭ 1 — Σ научных публикаций в РИНЦ (данные мониторинга ФСМНО); 2 — Σ научных публикаций в РИНЦ (данные РИНЦ); 3 — Σ журнальных публикаций в ядре РИНЦ. Поисковая система научных публикаций всех форматов и дисциплин Google Scholar учитывает статьи, которые доступны онлайн бесплатно, и статьи, имеющиеся в наличии в библиотеках или за деньги. В пятерку лидеров, согласно Google Scholar, попали Зоологический институт РАН (35096 публикаций), ТПУ (14710), Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева (100900), МГУ (9460) и СФУ (6010). Существенная разница с другими системами публикаций может быть связана с тем, что некоторые издатели не позволяют Google Scholar индексировать свои журналы. Вуз или научная организация Google Scholar Зоологический институт РАН 35096 14710 СГУНТ* имени академика М.Ф. Решетнева 10090 БелГУ ЮУрГУ СГУ и. Н.Г.Чернышевского СПбГУ УрГАУ РГПУ им. А. И. Герцена БашГУ СГМУ имени В.И. Разумовского Минздрава РФ * — Сибирский государственный университет науки и технологий При рассмотрении учреждений, которые занимают верхние позиции в списке ERIH (European Reference Index For Humanities), включающем в себя информацию по гуманитарным и общественным наукам, оказалось, что в рейтинг попали вузы и другого профиля – например, Ставропольский государственный медицинский университет Минздрава РФ (5 место, 307 публикаций). Первое и второе место заняли СпбГУ и УрФУ (2411 и 2107 публикаций соответственно). С сильным отставанием за ними следуют МГУ (735) и ТГУ (496). Индекс ERIH включает в себя публикации не только на английском, но и на основных европейских языках. Вуз или научная организация ERIH (European Reference Index For Humanities) СПбГУ СГМУ* Минздрава РФ ТГУ** имени Г.Р. Державина УрГПУ ВолГУ ВГАУ*** имени императора Петра I РГУТИС**** ТюмГУ ГКНПЦ имени М. В. Хруничева КБГУ***** им. Х.М. Бербекова МорГУ РГПУ им. А. И. Герцена БашГУ * — Ставропольский государственный медицинский университет ** — Тамбовский государственный университет *** — Воронежский государственный аграрный университет **** — Российский государственный университет туризма и сервиса ***** — Кабардино-Балкарский государственный университет Специализированные информационно-аналитические системы структурируют библиографические данные по разным дисциплинам. Так, например, AGRIS (International System for Agricultural Science and Technology) представляет собой базу научных статей по сельскому хозяйству и смежным дисциплинам и учитывает журналы, индексируемые в Web of Science, Scopus и других системах. Информационная система для математиков Mathnet хранит преимущественно российские издания в области математических наук. Фактически ввиду того, что специализированные информационные системы различаются между собой, а какие-то, вероятно, повторяют информацию, нельзя говорить о том, что их данные возможно учесть корректно. Среди научных учреждений с наибольшим числом публикаций в специализированных информационно-аналитических системах оказались Академия социального управления (1364), ЮФУ (1262). РАНХиГС (1010), МИФИ (937), ТюмГУ (615), ДагГУ (583), БашГУ (495), СПбГУ (475), Всероссийский научно-исследовательский институт рыбного хозяйства и океанографии (450) и Кубанский государственный аграрный университет имени И.Т. Трубилина (393). Вуз или научная организация Специализированная информационно-аналитическая система РАНХиГС ТюмГУ ДагГУ БашГУ СПбГУ Всероссийский научно-исследовательский институт рыбного хозяйства и океанографии Кубанский государственный аграрный университет имени И.Т. Трубилина Российский государственный аграрный университет — МСХА имени К.А. Тимирязева Межотраслевой научно-технический комплекс "Микрохирургия глаза" имени академика С.Н. Федорова Минздрава РФ Кубанский государственный технологический университет Российский государственный педагогический университет им. А.И. Герцена РНИМУ им. Пирогова РГУТИС Математический институт им. В.А. Стеклова РАН «То, что независимые издания — в первую очередь Indicator.Ru — впервые "опубличил" данные и построил собственные рейтинги — это хороший стимул для организаций начать думать о своевременности и качестве информации. Это, в конечном итоге, публичная репутация организации. Уверен, что благодаря открытости и вниманию общества к деятельности науки качество данных станет достаточным, чтобы отказаться от любых других форм отчетности, столь ненавистных для настоящих исследователей. И, в конце концов, заменить процедуру обязательной оценки результативности открытой процедурой самооценки научных организаций», — подытожил Сергей Матвеев. Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.