В мире
Новости Москвы
Политика
Общество
Происшествия
Наука и техника
Шоу-бизнес
Армия
Игры

«Мы пытались придумать методику, которую уронить труднее всего»

Каких последствий от введения нового комплексного балла публикационной результативности ждут , наукометры, социологи и физики — в репортаже Indicator.Ru с дискуссии о КБПР на конференции LIBWAY-2020.

«Мы пытались придумать методику, которую уронить труднее всего»
Фото: ИндикаторИндикатор

Формула раздора

Видео дня

Опубликованная Министерством науки и высшего образования в январе этого года методика расчета комплексного балла публикационной результативности (КБПР) для научных институтов вызвала вал открытых писем к руководству страны, бурные дискуссии о вреде наукометрии для отечественной науки и многочисленные межведомственные заседания Российской академии наук, министерства и других заинтересованных организаций. Из-за пандемии переработка методики в более приемлемую завершилась не весной, а лишь в конце августа.

Новый документ отличается от первой возмутившей всех версии особой шкалой для оценки научных публикаций по гуманитарным и общественным наукам. По умолчанию баллы за научную статью для организации умножаются на «коэффициент качества» журнала, равный, например, для изданий первого квартиля Web of Science 20, а для не включенного в международные базы данных журнала из списка ВАК — 0,12. Но для гуманитарных и общественных наук любая публикация в журнале, индексируемом в Web of Science, имеет коэффициент 3, а в ВАКовском — 1. Также гуманитарии получили право получать баллы за монографии и другие книги.

Неизменным остался главный принцип методики — фракционный счет, то есть дробление баллов за каждую публикацию по числу соавторов и аффилиаций у автора, работающего в организации, для которой считается балл. Сохранилась и спорная норма, согласно которой КБПР должен расти у всех, но у «догоняющих» организаций с низкими публикационными показателями — быстрее всех, на 30% в год. Не скорректированы, как отмечали участники дискуссии о КБПР, и плановые показатели балла на 2020 год.

На международной научно-практической конференции «Наука, технологии и информация в библиотеках (LIBWAY-2020)», организованной Государственной публичной научно-технической библиотекой Сибирского отделения РАН, темой дискуссии «КБПР: бенефициары и потерпевшие» стали не способы расчета баллов, а вероятные последствия от внедрения новой метрики. «Помимо уверенного роста количества научных публикаций, применение наукометрии на государственном уровне для оценки научной результативности способствовало развитию ряда негативных явлений, таких, как мусорные журналы и конференции, покупное и подарочное соавторство, фиктивные коллаборации. Показатель КБПР вводился в том числе для минимизации этих последствий и создания новых стимулов для повышения качества публикаций», — напомнил участникам директор ГПНТБ СО РАН . Будучи модератором беседы, он предложил ответить, кто выиграет и кто проиграет от введения КБПР, как новая метрика изменит практики публикационной активности, и какую роль в оценке результативности научных исследований должна иметь наукометрия. Гипотезы прозвучали разнообразные.

«Выигрывает российская наука, проигрывают бездельники, которые не хотят, чтобы их оценивали»

Так оценил ожидаемые последствия внедрения КБПР вице-президент РАН . «Если вы хотите посмотреть, что будет через несколько лет, посмотрите на », — призвал он, подчеркнув, что МГУ имени М. В. Ломоносова давно оценивает баллами публикационную результативность сотрудников наряду с чтением лекций, работам по хоздоговорам и другими видами активности. КБПР будет двигаться к такой же всеобъемлющей оценке, только не для отдельных ученых, а для организаций в целом. Сейчас методика учитывает только фундаментальные исследования в научных институтах, но уже в следующем году, ожидает Хохлов, ее действие расширится.

С похожим прогнозом — от внедрения КБПР выиграют те ученые, кто активно работает — ожидаемо выступил один из авторов методики заместитель директора по развитию Физического института имени П. Н. Лебедева РАН . Со стороны гуманитарных наук сдержанно оптимистичную позицию высказал профессор факультета социологии Европейского университета в Санкт-Петербурге , который подчеркнул: наукометрия не всегда меняет поведение ученых в худшую сторону. Допустим, в организации появляется показатель по числу статей в рецензируемых журналах. Сотрудники вынуждены его выполнять, постепенно многие из них осваивают позитивные публикационные практики, в которых раньше не было нужды, и вот уже через несколько лет без особых проблем пишут статьи для международных журналов. «Если исследовать картину на микроуровне, она кажется во многом искаженной — как будто большинство ученых недобросовестные, только и думают, как им обмануть систему. В каком-то смысле это очерняет человеческую природу и природу российского ученого в частности. На практике мы видим, что на разного рода публикационное давление реакция "броситься в мусорные журналы Scopus" не была количественно доминирующей», — отметил Соколов.

«Проигрывает физика высоких энергий, выигрывают химия и материаловедение»

Такой результат показали наукометрические расчеты, выполненные в ГПНТБ СО РАН. На дискуссии их представил заместитель директора библиотеки . Работа включала расчет КБПР для организаций из разных областей наук и оценку того, какие практики публикаций более и менее выгодны при использовании нового показателя. В своем выступлении Косяков выделил четыре основных последствия. Во-первых, пострадают большие коллаборации, характерные для физики высоких энергий и астрономии: публикации с тысячами авторов станут приносить слишком мало баллов. В других случаях научного сотрудничества, считает Косяков, не все будут готовы делиться баллами за минорный вклад в исследование и включать в свои статьи соавторов из других организаций. Если продолжить эти рассуждения и посмотреть, кто за счет дополнительных баллов за высокорейтинговые публикации выигрывает, получится, что на полюсе «проигравших» — физика, «победивших» — химия, так как ученые в этой области публикуют заметное количество статей в высокорейтинговых журналах сравнительно небольшими коллективами. Во-вторых, многие ученые могут отказаться от указания дополнительных аффилиаций, ведь на них организации тоже будут терять баллы. Сходно с этим третье вероятное последствие: невыгодными для российских организаций станут фиктивные «программы привлечения» ведущих зарубежных ученых — фактически покупки аффилиаций. Если иностранный ученый реально не работает в России, но приписывает российскую аффилиацию как одну из многих, КБПР на нем организация не поднимет. Это единственное последствие, которое Косяков оценивает как в целом положительное. Четвертое поводов для радости не оставляет: пострадают добросовестные представители гуманитарных и общественных наук. Введенная для них в последней версии методики «плоская шкала» коэффициентов за статус журнала не оставляет никаких преимуществ тем, кто публикуется в высокорейтинговых изданиях. А скорее, даже наоборот, поощряет клиентуру мусорных журналов по-прежнему гнать вал некачественных статей. На этот счет Алексей Хохлов позже высказался, что методика еще будет меняться, и если гуманитариям не понравится «плоская шкала», в следующем году ее можно будет и слегка «наклонить».

Соколов предположил, что вдобавок к «мусорным» статьям в недолговечных журналах в российской науке может развиться новая напасть для публикационной этики: фальсификация результатов. На вопрос Андрея Гуськова, как к этому может привести КБПР с его поощрением публикаций в журналах с качественным рецензированием, социолог ответил просто: ставки становятся выше. «Сейчас нет разницы между публикациями в Q4 и Q1, и можно пойти по более дешевому пути, не очень энергозатратному... А если первый квартиль станет необходимой мишенью, потому что будет весить гораздо больше, возникнет вопрос, как попасть туда. А попасть туда можно с сильным и важным результатом», — отметил Соколов. У большего числа недобросовестных исследователей появится соблазн слегка подправить свои результаты, чтобы они выглядели ярче. И выявить это на этапе рецензирования можно не всегда: рецензент не может воспроизвести эксперимент, изучить вслед за автором статьи все архивные документы или проинтервьюировать его респондентов.

«КБПР подталкивает ученых в мегажурналы с открытым доступом»

Иван Стерлигов, до недавнего времени директор Наукометрического центра , привел несколько «предполагаемых эффектов», вероятное проявление которых стоит учитывать при внедрении новых публикационных индикаторов в научную политику. Это смещение целей исследовательской работы с научного результата на выход публикации; перефокусировка ученых на мейнстримные темы, работы по которым точно опубликуют; их отказ от деятельности, которая не оценивается баллами; индикаторный каскад — переход созданных для оценки целых научных направлений и организаций показателей на уровень отдельных ученых; и искажение сознания самих участников научного процесса, когда библиометрические характеристики (например, импакт-фактор журнала) используются для оценки качества научных работ или даже самих ученых. На больших масштабах, например, на уровне страны, доля публикаций местных ученых в высокорейтинговых журналах может коррелировать с долей их высокоцитируемых статей, но на уровнях ниже эта корреляция теряется, напомнил Стерлигов.

Установить причинно-следственную связь между всеми этими эффектами и введением какой-то конкретной схемы оценки научной деятельности сложно, подчеркнул Стерлигов, — слишком много переменных в этой картине. Оценить «чистый» возможный эффект от КБПР тоже непросто. Гораздо важнее общий контекст, который новая методика застала в российской науке. Она, отметил Стерлигов, крайне слабо связана с трансфером технологий в коммерческий сектор и экономикой вообще.

В результате, считает Стерлигов, очень сложно определить, а кто вообще из всей цепочки акторов научной политики в России заинтересован в качестве самой научной работы, а не в ее формальных показателях. Непосредственный результат от внедрения КБПР как новой системы формальной оценки, заключил он, будет в ориентации российских ученых на огромные междисциплинарные издания с относительно высоким импакт-фактором.

«Надо пройти определенные стадии»

Самым сложным для участников дискуссии оказался вопрос о том, каким весом наукометрические оценки должны обладать в мониторинге научной деятельности вообще. Судя по словам Алексея Хохлова, он считает КБПР одним из этапов на пути к более адекватной оценке науки.

Что стоит изменить в методике уже в ближайшее время, например, в плане на 2021 год, по мнению Хохлова, так это «плоскую шкалу» коэффициентов качества для гуманитарных и социальных наук, и требование к отстающим организациям расти быстрее, чем лидеры. Михаил Соколов тоже высказался за «наклон шкалы» для гуманитарных и социальных наук.

Иван Стерлигов резко негативно оценил «тоталитарный характер» КБПР: колоссальное отличие от аналогичных систем в других странах в том, насколько такие показатели влияют на зарплату российских ученых и на судьбу самих организаций. В других странах, где наукометрические показатели учитываются в научной политике, с ними связана, как правило, лишь небольшая часть бюджета организации. «Правильно ли насколько привязываться к этой метрике?», — закончил он риторическим вопросом.

В любом случае существующая метрика может сработать только как переходная на протяжении нескольких лет, считает Олег Иванов. «Мы пытались придумать методику, которую уронить труднее всего», — признался он. — Дальше необходим переход к более продвинутым метрикам, которые влезут внутрь статьи в каком-то смысле. Но для этого сама статья должна измениться — данные должны стать открытыми и так далее».

Что со временем системы оценки науки будут (и должны) усложняться, считает и Денис Косяков.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.

Подписывайтесь на Indicator.Ru в соцсетях: Facebook, ВКонтакте, Twitter, Telegram, Одноклассники.