employee
Bryansk, Russian Federation
employee
Bryansk, Bryansk, Russian Federation
Bryansk, Bryansk, Russian Federation
UDK 331.101.1 Эргономика
The paper presents the results of a comparative analysis of calculating the indicators of scientific journals at Bryansk State Technical University (BSTU) in the fields of technology according to the nomenclature list of the Higher Attestation Commission of the Russian Federation based on the integral rating of the Science Index information and analytical system. Analising publication activity and disagreements of the expert community in ranking journals in economic specialties is carried out. The paper identifies the directions for further improving the quality of BSTU scientific journals in technical specialties, namely: Science-Intensive Technologies in Mechanical Engineering, Transport Engineering, Automation and Modelling in Design and Management and Ergodesign based on their expert assessments. It is shown that the priority criteria for expert evaluation are the following: academic contribution to the field of knowledge, the quality of articles and their compliance with the subject area of the journal, the policy of journals regarding the reviewing and geographical diversity of authors and members of the editorial board and editorial staff of the journal. It is proposed that in addition to the integral Science Index rating, which is a point indicator, the relevance and novelty of published journal articles is associated with analysing altmerics and visualising data.
publication activity, journal quality, Russian Science Citation Index, scientometric indicators, ranking, quality criteria, peer review, visualization
1. Обзор существующих подходов к управлению наукой и оценке качества научных журналов
Проблемы изучения феномена научного творчества и управления научной активностью преподавателей и научных сотрудников связаны с целым рядом институциональных и рыночных факторов и во многом определяются стратегией в выборе используемых методов оценки качества научных журналов.
В мае 2014 года в редакции журнала «Вопросы философии» прошёл Круглый стол «Можно ли измерять научное творчество», в нём приняли участие академики В.А. Лекторский, А.А. Гусейнов, А.Н. Паршин, член-корреспондент РАН А.В. Дыбо, доктора философских наук А.Л. Никифоров, С.А. Крылов, кандидат философских Е.О. Труфанова, кандидат философских наук С.В. Пирожкова, кандидат политических наук И.В. Усольцева, младший научный сотрудник Д.А. Кибальчич. Они представляли Институт философии РАН, Математический институт им. В.А. Стеклова РАН, Институт славяноведения РАН, Институт востоковедения РАН, Институт системного анализа РАН и другие научные организации [1].
Академик В.А. Лекторский открывая дискуссию сформулировал вопросы: «Можно ли измерить научное творчество? … Почему данная проблема возникла, почему к ней сейчас приковано такое внимание? Она связана с положением науки в современном мире вообще и в России в частности. … Разумеется, на передний план выдвигаются следующие вопросы: какую роль играет наука в современном обществе, какая наука нужна, какую науку может позволить себе та или иная сторона и что вообще с наукой происходит?» [1, с.50].
Вопросом институционального управления наукой и оценки качества научных журналов и их рейтингованию уделяется неослабное внимание как в России, так и за рубежом. При этом в качестве методического инструментария используют как наукометрические показатели, так и экспертные оценки. Обобщение используемых подходов и методик, на основе целого ряда библиографических источников (Н.К. Алимова, 2019 [2], П.Г. Арефьев, Г.О. Еременко, В.А. Глухов, 2012 [3], Е. В. Балацкий, Н. А. Екимова, О. В. Третьякова, 2021 [4], Б. И. Бедный, Ю. М. Сорокин, 2012 [5], Г. Ф. Гордукалова, 2014 [6], С.В. Марвин, 2019 [7], О. В. Москалева, М. А. Акоев, 2020 [8], Ю. Г. Мыслякова, 2022 [9], А. И. Орлов, 2015 [10], А.Я. Рубинштейн, Н.А. Бураков, 2022 [11]) позволило выделить следующий состав индексов научного качества журналов ( выделены TOP-10 индексов, которые могут быть выражены в различных измерительных шкалах):
- представленность журнала в национальных и международных базах научного цитирования;
- наличие сетевой версии и свободного доступа к сайту журнала;
- наличие переводной версии журнала, материалы публикуются на русском языке с аннотациями на английском языке;
- регулярность выпуска, наличие графика публикаций, который жёстко соблюдается;
- печатная версия журнала распространяется по подписке, имеется обязательная рассылка по библиотекам;
- журнал размещён на сайте образовательного учреждения высшего образования;
- журнал имеет собственную стандартную форму для внешнего и внутреннего рецензирования;
- журнал публикует аффилированные сведения об авторах: ФИО, место работы, учёные степени и звания, контактные данные;
- пристатейный аппарат включает аннотацию, ключевые слова и список литературы на русском и английском языках;
- редакционная коллегия включает ведущих учёных различных регионов России и дружественных стран.
Следует согласиться с большинством отечественных исследователей, что редакции современных научных журналов несут значительную ответственность за качественную экспертизу публикуемых материалов.
В работе Н.К. Алимовой, 2019 [2] сделан правомерный вывод о том, что отечественное издательское сообщество научной периодики готово к работе по улучшению качества публикуемых статей в соответствии с существующими этическими правилами в своей редакционной работе.
В исследовании авторов [4] сделан обзор существующих методов оценки, ранжирования и рейтингования научных экономических журналов в России и других странах мира – США, странах ЕС и Китае. Для этого выявлена общая типология аналитических методов, включающая библиометрические, экспертные, сетевые (инвариантные), гибридные и консолидированные алгоритмы оценки качества журналов. Показано, что дифференциация массива периодических изданий может быть выполнена на основе как количественных, так и качественных маркеров. Рассмотрена практика использования так называемых институциональных фильтров, которые представляют собой правила регулирования научной сферы с помощью специализированных инструментов оценки.
В исследовании С.В. Марвина, 2019 [7] затронута проблема статистической взаимосвязи между цитируемостью отдельных статей или журналов в целом с одной стороны и реальной оценкой научного сообщества – с другой. За основу взяты исследования, проведенные Австралийским исследовательским советом в 2010 году (с привлечением различных общественных организаций и экспертов). Данные этих исследований представляются интересными потому, что именно они легли в основу статьи «Гнусные цифры», получившей широкую известность и ставшей хрестоматийной для науковедения. Статистические данные «Гнусных цифр» детально воспроизведены и подробно исследованы методами корреляционного анализа (в противовес популярному изложению «Гнусных цифр», где применение методов корреляционного анализа вообще не продемонстрировано). В результате выводы «Гнусных цифр» уточнены и дополнены.
В статье О. Москалевой и М. Акоева «Современные ресурсы для принятия стратегических и оперативных решений по управлению научными исследованиями организаций» намечены рекомендации для преподавателей, сотрудников и управленческой команды университета по картированию науки и технологий, прогнозированию новых научных направлений прикладных исследований и выявлению актуальной проблематики диссертационных работ [8, c. 36-44].
Исследование Ю. Г. Мысляковой, 2022 [9] посвящено развитию института рецензирования, который рассматривается в контексте влияния на научную зрелость периодических изданий. В работе предложено авторское понимание дефиниции «научная зрелость» журнала и выявлены особенности рецензирования ее обусловливающие. Представлены результаты опроса, проведенного Институтом экономики УрО РАН совместно с Ассоциацией научных редакторов и издателей, среди представителей российских журналов экономических, социальных, технических, гуманитарных, медицинских наук, позволяющие выявить общие тенденции и закономерности становления института рецензирования в России. Используемый экспресс-анализ ответов респондентов позволил сформировать фундаментальную основу для разработки принципиально новых вариантов совершенствования работы издательств с рецензентами, включая отбор экспертов на основе единой базы данных рецензентов, придающего процессу оценки качества контента статей междисциплинарный характер.
Значительный интерес с позиции научно-обоснованной критики существующих попыток управления деятельностью учёных научно-исследовательских организаций и профессорско-преподавательского состава высших образовательных учреждений со стороны менеджеров различных уровней представляет работа А.И. Орлова, 2015 [10].
Цикл наших исследований связан с анализом научных статей как средств эффективной коммуникации [12], формализацией процедуры рецензирования статей на основе экспертной системы поддержки принятия решений с использованием теории нечётких множеств [13], сравнительным анализом научной продуктивности преподавателей университета по различным научным специальностям [14].
В исследовании А.Н. Сорочайкина, 2014 [15] приведены оценочные характеристики публикационной активности государственных вузов Самарской области на основе базы данных РИНЦ, сделан вывод о необходимости использования не только наукометрических показателей, но и экспертных оценок актуальности, новизны и оригинальности публикуемых материалов.
В исследовании О.В. Третьяковой, 2023 [17] рассмотрена проблема чрезмерной зависимости российской системы научной периодики от международных баз данных, обострившаяся после ухода с отечественного рынка компаний – владельцев глобальных индексов цитирования Web of Science и Scopus. Сделан вывод, что системы научной периодики, имеющие в своей основе национальную составляющую, проявляют большую устойчивость под влиянием внешних вызовов. Проанализирован российский опыт составления национальных списков научных журналов на примере выборки изданий по экономике и смежным дисциплинам. Результаты анализа позволили показать изъяны в процедуре отбора журналов, которые привели к тому, что в состав так называемых «белых списков» оказались включены не все ведущие российские журналы, получившие признание на международном и национальном уровне. Обосновано, что критической недоработкой процедуры ранжирования журналов, включенных в национальные перечни, является смешение квартильных метрик из разных международных баз данных, вызвавшее нарушение логики в распределении позиций изданий, сходных по научному уровню и статусу. В качестве итогов исследования определены качественные критерии, значимые для оценки научных журналов, и на их основе предложены три категории, по которым могут ранжироваться издания в национальных списках.
А.Н. Хохлов и Г.В. Моргунова являются авторами оригинального исследования возможного влияния количества просмотров статей и упоминаний в социальных сетях на количество последующих цитирований этих публикаций [18]. Анализ полученных результатов, а также данных, доступных в Интернете, позволил авторам заключить, что связь между количеством скачиваний или альтметриками и количеством цитирований не очень сильна, хотя и вполне достоверна. Подчеркивается, что в настоящее время большое количество скачиваний/просмотров статей осуществляется пользователями, которые не занимаются наукой и, соответственно, не пишут статьи в научные журналы. Они просто интересуются данными научных исследований, а Интернет теперь доступен практически любому человеку. Сказанное касается и обсуждения научных публикаций в социальных сетях. По-видимому, частое упоминание работы в таких сетях действительно стимулирует ее скачивание. Это становится очевидным, только если статья находится в открытом доступе, так как у большинства «законопослушных» пользователей социальных сетей нет легального доступа к публикациям в подписных изданиях. Упомянутые обстоятельства, по мнению авторов, будут приводить к постепенному ослаблению рассматриваемых корреляций.
В связи с постановлением Правительства Российской Федерации от 19 марта 2022 г. № 414 «О некоторых вопросах применения требований и целевых значений показателей, связанных с публикационной активностью» до 31 декабря 2023 г. не применяются обязательные требования о наличии публикаций в изданиях, индексируемых в международных базах Web of Science и Scopus, а также целевых значений показателей, связанных с данными базами. Таким образом, подтверждается необходимость повышения качества российских научных журналов, в т. ч. входящих в Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата и доктора наук (далее — Перечень ВАК).
В 2022 г. было проведено рейтингование журналов Перечня ВАК с последующим категорированием. В настоящее время созданы личные кабинеты научных журналов с целью оптимизации работ по мониторингу журналов, а также их перспективному рейтингованию в 2023 г. 6 марта 2023 г. в Российском научно-исследовательском институте экономики, политики и права в научно-технической сфере совместно с Минобрнауки России и ВАК был проведен вебинар, посвященный заполнению данных научных журналов в личных кабинетах на портале «Российские научные журналы» (https://rng.riep. ru/). На вебинаре рассматривались вопросы регистрации, технические возможности портала, алгоритм внесения данных о статьях и иные вопросы. Подробная инструкция по заполнению личных кабинетов представлена на портале https://rng.riep.ru.
Достаточно дискуссионными и далеко не однозначными остались вызванные вебинаром вопросы, связанные с критериями, значимыми для оценки научных журналов (К.А. Бородюк, Н.Н. Гагиев, 2023) [19].
Как в отечественных, так и в зарубежных исследованиях накоплен целый ряд противоречивых данных, связанных: со значимостью индекса Хирша [20], рейтингованием научных журналов [21], с наукометрическими рейтингами экономических журналов [22], с критериями оценки научной деятельности преподавателей и научных сотрудников [23], а также связью значимости публикаций с патентной активностью, патентной аналитикой, частотой цитирования статей и патентов, прогнозированием перспективных направлений исследования (D.W. Aksnes., T.N.van Leeuwen, G. Sivertsen, 2014 [24]; Y. Bai, J. Du, 2022, [25]; L. Bornmann, R. Haunshild, 2017 [26]; T.-S. Cho, H.-Y.Shih, 2011 [27]; J.E. Hirsch, 2010 [28]; A. Moeller, M.G. Moehrle, 2015 [29], P. Valderrama, E. Jimenez-Contreras, M. Escabias, M.J. Valderrama, 2022 [30] и др.).
При анализе категорирования журналов ВАК по экономическим наукам А.Я. Рубинштейн в работе [23] выделил два обстоятельства.
Во-первых, как указывалось в «Положении о порядке присуждения ученых степеней», нормативное требование к списку журналов относилось только к соискателям степени доктора наук и уже позже было распространено на соискателей кандидатской степени. Во-вторых, нетрудно заметить, что категория «ведущих рецензируемых научных журналов», о котором говорится в том же Положении, трактуется неодинаково. В одном случае список таких журналов, носящий информационный характер, определяет РИНЦ на основе библиометрических рейтингов, в другом случае его формирует Минобрнауки и ВАК в качестве обязательной нормы, подлежащей выполнению. В контексте обсуждения журнальных списков в различных базах и конфликта между ВАКом и РИНЦем имеет смысл воспользоваться результатами регулярных социологических опросов, которые проводит Новая экономическая ассоциация. Одним из постоянных сюжетов этих опросов являются ответы респондентов на вопрос: «Какая база данных, в которой индексируются статьи, является для Вас наиболее важной?». Результаты мониторинга в 2017 и 2022 гг. приведены в табл. 1 [11].
Таблица 1.
Сравнение оценок важности баз данных для индексации статей (в 2017 г. – в интервале от 1 до 3; в 2022 г. – в интервале от 1 до 5) [11, c.9].
Table 1.
Comparison of value values base dataand indexation articles (in 2017) - in the range from 1 to 3; in 2022. - in the range 1 to 5) [11, Apostille.9].
|
Базы данных |
2017 г. |
Базы данных |
2022 г. |
||
|
среднее значение |
медиана |
среднее значение |
медиана |
||
|
РИНЦ |
1,92 |
2,00 |
Список ВАК
|
3,86 |
4 |
|
Список ВАК |
1,62 |
1,00 |
РИНЦ |
3,45 |
4 |
|
Web of Science |
1,90 |
1,99 |
Web of Science |
4,05 |
5 |
|
Scopus |
1,90 |
1,90 |
Scopus |
4,03 |
4 |
Таблица 1 свидетельствует, что в 2022 г. нормасписок ВАК стал важнее любых журнальных перечней РИНЦ. «Высшая аттестационная комиссия и Минобрнауки, осуществив соответствующие меры в части государственного задания и системы оплаты научного труда, добились своего: почти три четверти респондентов (71,3%) считают наиболее важным индексацию статей в изданиях из перечня ВАК и лишь немногим больше половины (52,7%) предпочитают РИНЦ, уступая Web of Science (55,8%) и Scopus (55,4%)».
В работе [22] приведен список ТОП-10 журналов (на 7 января 2023 г.) по рейтингу «Science Index» из базы данных RSCI (табл. 2).
Таблица 2.
ТОП-10 журналов RSCI по рейтингу «Science Index»
Table 2.
TOP 10 RSCI journals rated by "Science Index"
|
Журнал |
Номер по рейтингу Science Index |
Номер по общест- венной экспертизе |
|
Форсайт |
1 |
6 |
|
Вестник международных организаций: образование, наука, новая экономика |
2 |
8 |
|
Экономический журнал ВШЭ |
3 |
5 |
|
Журнал Новой экономической ассоциации |
4 |
3 |
|
Journal of Institutional Studies |
5 |
9 |
|
Вестник Санкт-Петербургского университета. Экономика |
6 |
4 |
|
Мировая экономика и международные отношения |
7 |
2 |
|
Вопросы экономики |
8 |
1 |
|
Пространственная экономика |
9 |
7 |
|
Бизнес-информатика |
10 |
10 |
В комментарии к табл. 2 достаточно заметить, что лидирующие позиции (первое и второе место) по данному рейтингу занимают журналы «Форсайт» и «Вестник международных организаций: образование, наука, новая экономика». С учетом того, что в хвосте десятки оказались «Вопросы экономики», возникает сомнение в адекватности РИНЦевской библиометрии со всеми ее индикаторами и методикой расчетов,. Подтверждают этот вывод представленные той же eLIBRARY.RU результаты общественной экспертизы (табл. 2). Итоги социологического опроса Новой экономической ассоциации 2022 г. Позволили выявить ранговую корреляцию между рейтингом Science Index и рейтингом общественной экспертизы: коэффициент корреляции по Ч. Спирмену составил rxy=0,3, что свидетельствуют о слабой связи между двумя рядами данных. Сложность согласования рейтингования объясняется социально-психологической причиной: симпатиями и антипатиями разработчиков экспертных, библиометрических и сетевых рейтингов. По нашему мнению, рейнтигование качества технических журналов связано с большой согласованностью мнений экспертного сообщества.
3. Сравнительный анализ качества журналов Брянского государственного университета по группам технических специальностей
Статусные списки качества научных журналов по техническим специальностям могут базироваться либо на качественных оценках экспертов, либо на наукометрических показателях различных библиометрических и сетевых рейтингов, либо на расчёте интегрального показателя научного журнала в рейтинге Science Index (О.В. Третьякова, 2023) [17].
Тематические направления журналов БГТУ представлены 6 машиностроительными специальностями (журнал «Наукоёмкие технологии в машиностроении» - НТМ, журнал «Транспортное машиностроение» - ТМ) и 5 специальностями, связанными с науками о материалах, металлургией и транспортными системами в этих же журналах с давними традициями (таблица 2).
Тематика журналов НТМ и ТМ по группам специальностей
Table 3.
Topics of STE and TE magazines by specialty groups
|
Научные специальности в рамках групп (с июня 2021 г.) |
НТМ |
ТМ |
|
2.5.2. Машиноведение 2.5.3. Трение и износ в машинах 2.5.5. Технология и оборудование механической и физико-технической обработки 2.5.6. Технология машиностроения 2.5.7. Технологии и машины обработки давлением 2.5.8. Сварка, родственные процессы и технологии |
- + + + + + |
+ + + + - + |
|
2.6.1. Металловедение и термическая обработка металлов и сплавов 2.6.17. Материаловедение |
- + |
+ + |
|
2.9.1. Транспортные и транспортно-технологические системы страны, ее регионов и городов, организация производства на транспорте 2.9.3. Подвижной состав железных дорог, тяга поездов и электрификация 2.9.5. Эксплуатация автомобильного транспорта |
- - - |
+ + + |
Помимо журналов с давними традициями с 2017 года в БГТУ существует 2 инновационных журнала по списку ВАК РФ, охватывающих 6 научных технических специальностей (журнал “Автоматизация и моделирование в проектировании и управлении» - АиМ и журнал «Эргодизайн» - Э).
Тематика журналов АиМ и Э по группам специальностей
Table 4.
Topics of A&M and E magazines by specialty groups
|
Научные специальности в рамках групп (с июня 2021 г.) |
Э |
АиМ |
|
1.2.2. Математическое моделирование, численные методы и комплексы программ |
- |
+ |
|
2.3.3 Автоматизация и управление технологическими процессами и производствами 2.3.4 Управление в организационных системах 2.3.7 Компьютерное моделирование и автоматизация проектирования |
- + - |
+ + + |
|
2.4.2. Электротехнические комплексы и системы |
- |
+ |
|
5.3.3. Психология труда, инженерная психология, когнитивная эргономика |
+ |
- |
Научный журнал может быть отнесен к нескольким направлениям (не более трех) укрупнённых групп научных специальностей, в журнале ТМ их 3, журнал НТМ-2, АиМ -2, Э-2). Для каждого из научных направлений вычисляют:
- среднее число ссылок в списках цитируемой литературы на статьи в журналах РИНЦ;
- средняя доля ссылок из публикаций текущего года на статьи в журнале за последние 5 лет по отношению ко всем ссылкам на данный журнал (за все годы).
За основу расчетов показателя берется пятилетний импакт-фактор журнала в РИНЦ с учетом цитирования переводной версии журнала (при ее наличии) и с учетом самоцитирования.
Рассчитанные значения 5-летнего импакт-фактора журнала нормируются с учетом среднего числа ссылок в списках цитируемой литературы, а также доли ссылок, попадающих на пятилетний период, используемый при расчете импакт-фактора. В качестве нормирующих коэффициентов используются средние параметры журналов в тематических направлениях, рассчитанные на предыдущем этапе.
Такая нормировка позволяет учесть следующие основные факторы, приводящие к различию показателей цитирования в различных научных направлениях:
- различие в длине списка цитируемой литературы;
- различие в структуре списка цитируемой литературы (в частности, доли цитирования статей в журналах по отношению ко всем другим типам научных публикаций);
- различие в доле цитирования зарубежных журналов (не входящих в РИНЦ и не участвующих в рейтинге);
- различие в хронологическом распределении цитируемых статей.
Результат нормирования научных журналов представлен в таблице 3.
Таблица 5.
Результаты формирования рейтинговых показателей журналов БГТУ по категориям ВАК РФ К1, К2, К3
Table 5.
The results of the formation of rating indicators of BSTU journals in the categories of the Higher Attestation Commission of the Russian Federation K1, K2, K3
|
Показатель журнала |
НТМ |
ТМ |
Э |
АиМ |
|
Место в общем рейтинге SCIENCE INDEX за 2022 год, в том числе по тематике: «Машиностроение» / «Транспорт» «Общие и комплексные проблемы технических и прикладных наук и отраслей народного хозяйства» |
1153 34 / - - |
2134 73 / 17 - |
2903 - 53 |
- - - |
|
Процентиль в рейтинге SCIENCE INDEX за 2022 год |
30 |
54 |
74 |
- |
|
Десятилетний индекс Хирша Индекс Джини (0…1) - отражает степень неравномерности распределения статей в журнале по числу их цитирований. Нулевое значение индекса соответствует ситуации, когда все статьи в журнале за год получили одинаковое количество цитирований. Меньше – лучше. |
18 0,66 |
21 0,77 |
9 0,72 |
5 0,87 |
|
Число статей, опубликованных за предыдущие 5 лет / Число цитирований статей предыдущих 5 лет, Двухлетний коэффициент самоцитирования, % |
423/144 38 / 36 27 |
585/153 25 / 28 33 |
100/59 16 / 3 22 |
-/31 5 / 3 - |
|
Средний индекс Хирша авторов Средний возраст авторов |
9,1 55,6 |
8,6 54 |
11,1 51,4 |
7,9 46,5 |
|
Число просмотров статей за год Число загрузок статей за год Вероятность цитирования после прочтения, % |
6618 989 7,0 |
8732 1026 3,1 |
2897 496 11,7 |
1759 280 1,2 |
Индекс Херфиндаля-Хиршмана рассчитывается как сумма квадратов процентных долей журналов, цитирующих данный, по отношению к общему количеству цитирований. При расчете учитываются ссылки из текущего года на предыдущие 5 лет, в том числе самоцитирования. Чем больше количество цитирующих журналов и чем равномернее распределены по ним ссылки на данный журнал, тем меньше величина этого показателя. Максимальное значение равно 10000 и достигается, когда все ссылки сделаны из одного журнала – чем меньше, тем лучше…
Полученное скорректированное значение импакт-фактора журнала делится на индекс Херфиндаля по цитирующим журналам, нормированный на его возможное минимальное значение в данном направлении.
Индекс Херфиндаля рассчитывается как сумма квадратов процентных долей журналов, цитирующих данный, по отношению к общему количеству цитирований. При расчете учитываются ссылки из текущего года на предыдущие 5 лет, в том числе самоцитирования. Чем больше количество цитирующих журналов и чем равномернее распределены по ним ссылки на данный журнал, тем меньше величина этого показателя. Максимальное значение равно 10000 и достигается, когда все ссылки сделаны из одного журнала.
Нормировка с учетом индекса Херфиндаля увеличивает показатели журналов, широко известных в научном сообществе, и, наоборот, понижает рейтинг журналов с высоким уровнем самоцитирования или журналов, использующих взаимное цитирование для искусственного повышения своих показателей.
Нормировка на минимальное значение индекса Херфиндаля в рамках тематического направления позволяет несколько скорректировать различия в количестве журналов и степени их взаимного цитирования в разных научных направлениях. В качестве минимального берется среднее значение по 5 журналам с наименьшими значениями индекса Херфиндаля в данном научном направлении.
База данных РИНЦ постоянно растет и пополняется как новыми журналами, так и новыми выпусками уже обрабатываемых журналов, в том числе архивными. Чтобы учесть эти обновления, показатели журналов периодически пересчитываются и, соответственно, могут меняться с течением времени.
Рис.1. Пятилетний индекс Херфиндаля по цитирующим журналам
Fig.1. Herfindahl's five-year index of citation journals
Как видно из рис.1. имеется устойчивая тенденция к снижению данного показателя по всем журналам БГТУ. В 2019-2020 гг. только журнал «Эргодизайн» имел превышение данного показателя относительно среднего значения.
Как видно из рис. 2 значение индекса Херфиндаля по организациям авторов показывает благополучное положение для всех журналов БГТУ (данный показатель по всем журналам ниже среднего уровня).
Среди рейтинговых показателей научных журналов важное значение имеет импакт-фактор РИНЦ (ИФ-РИНЦ). Импакт-фактор - число цитирований в текущем году статей, опубликованных в журнале за предыдущие два года, поделенное на число этих статей.
Рис.2. Индекс Херфиндаля по организациям авторов
Fig.2. Herfindahl Index by Author Organizations
Рис.3. Двухлетний импакт-фактор РИНЦ с учетом цитирования из всех источников
Fig.3. The two-year impact factor of the RSCI, taking into account citations from all sources
Как следует из рис.3. необходимо обратить внимание редакций на повышение цитируемости статей журнала, что свидетельствует о низком качестве отбора статей.
Как следует из рис.4. журналы БГТУ фактически не цитируются в высокорейтинговых журналах из ядра РИНЦ. Исключение составляет журнал НТМ, максимальный показатель в 2017 и 2021 году достигал 0,13.
В интегральный рейтинг входят также такие показатели рейтинговой оценки как десятилетний индекс Хирша и индекс Джини.
Десятилетний индекс Хирша - вычисляется на основе распределения цитирований статей и имеет значение N, если в журнале опубликовано N статей, на каждую из которых сослались как минимум N раз, а остальные статьи имеют число цитирований не более N. Учитываются все статьи, опубликованные в журнале за 10 лет, и цитирования за этот же период. Больше – лучше.
На рис.5. видно, что наблюдается положительная тенденция роста данного показателя по всем журналам.
Индекс Джини - отражает степень неравномерности распределения статей в журнале по числу их цитирований. Может принимать значения от нуля до единицы. Нулевое значение индекса соответствует ситуации, когда все статьи в журнале за год получили одинаковое количество цитирований.
Рис.4. Двухлетний импакт-фактор по ядру РИНЦ
Fig.4. Two-year impact factor on the core of the RSCI
Рис.5. Десятилетний индекс Хирша
Fig.5. The ten-year Hirsch index
Как следует из рис.6. необходимо обратить вниманий редакций всех журналов на неблагоприятную тенденцию роста данного показателя.
На авторитетность журнала оказывают влияние авторы статей (средний индекс Хирша авторов) и список ссылок (среднее число ссылок в списках цитируемой литературы). Средний индекс Хирша авторов - рассчитывается средний индекс Хирша авторов каждой статьи, затем берется среднее значение по всем статьям в журнале за год.
Рис.6. Индекс Джини
Fig.6. Gini Index
Рис.7. Средний индекс Хирша авторов
Fig.7. The average Hirsch index of the authors
Как видно из рис.7. наиболее высокие показатели среднего индекса Хирша авторов наблюдаются в журнале «Эргодизайн». Необходимо отметить, что квалификация и авторитет авторов связана с их возрастом.
Среднее число ссылок в списках цитируемой литературы - средняя длина списка цитируемой литературы в статьях, опубликованных за год.
Как следует из рис.8. данный показатель находится в приемлемом диапозоне.
Анализ альтметрик показывает, что наметилась положительная тенденция уменьшения процента самоцитирования статей и имеется определённый рост по количеству загрузок и просмотров статей.
Особый интерес в анализе качества научных журналов представляет такие альтметрики, как статистика просмотров статей за год, двухлетний коэффициент самоцитирования, число загрузок статей за год и вероятность цитирования после прочтения (рис.9, рис. 10, рис. 11, рис.12).
Рис.8. Среднее число ссылок в списках цитируемой литературы
Fig. 8. The average number of references in the lists of cited literature
Рис.9. Число просмотров статей за год
Fig. 9. Number of article views per year
Рис.10. Двухлетний коэффициент самоцитирования, %
Fig.10. Two-year self-citation coefficient, %
Рис.11. Число загрузок статей за год
Fig.11. Number of article downloads per year
Рис.12. Вероятность цитирования после прочтения, %
Fig.12. The probability of being quoted after reading, %
Анализ показателей качества научных журналов БГТУ показывает в целом положительную динамику и возможности их дальнейшего улучшения, что позволит выработать рекомендации по повышению статуса журналов. Одним из направлений стимулирования публикационной активности учёных БГТУ является создание комплексной базы данных для заключения эффективных контрактов, представленная на рисунке 13 [31].
Рис.13. Комплекс баз данных и взаимосвязи между ними для анализа публикационной активности преподавателей [31]
Fig.13. A set of databases and the relationship between them for analyzing the publication activity of teachers
В каждом авторском профиле будут включены данные об идентификаторах сотрудников в различных системах:
• ссылка на страницу сотрудника на сайте организации;
• ссылка на список публикаций автора;
• внутренний идентификатор РИНЦ;
• SPIN-код РИНЦ;
• внутренний идентификатор в Scopus;
• идентификатор ORCID;
• идентификатор ResearcherID (перенаправляет на страницу Publons с отдельным идентификатором, но может напрямую использоваться в расширенном поиске в Web of Science);
• идентификатор Publons;
• идентификатор Google Scholar;
• идентификатор ResearchGate.
Идентификаторы будут снабжены гиперссылками, перенаправляющими пользователя на страницу соответствующих систем, а также на страницы сотрудника на сайте института. Данную информацию пользователи могут использовать в случае необходимости указания того или иного идентификатора, для прямого доступа в соответствующие системы, а также для составления комплексных запросов во внешние системы, такие как Scopus или Web of Science. Сводные запросы по авторским идентификаторам, в свою очередь, дают возможность настраивать оповещения о новых публикациях [32, 33].
Важным направлением дальнейшего совершенствования качества научных журналов БГТУ является анализ результатов экспертного оценивания на основе критериев предложенных в работе [18], таблица 6 (все критерии имеют средние и высокие значения).
Таблица 6.
Результаты экспертной оценки качества журналов по шкале стенов
Table 6.
Results of the expert assessment of the quality of journals on the wall scale
|
Критерий |
НТМ |
ТМ |
АиМ |
Э |
Примечание (Лидер) |
|
Академический вклад в область знаний |
9 |
8 |
6 |
7 |
НТМ |
|
Качество аннотаций |
8 |
5 |
5 |
7 |
НТМ |
|
Качество статей и их соответствие предметному полю журнала |
8 |
7 |
6 |
7 |
НТМ |
|
Читабельность статей |
8 |
8 |
7 |
9 |
Э |
|
Тематическая область журнала |
9 |
9 |
8 |
8 |
НТМ, ТМ |
|
Политика журнала в отношении рецензирования |
9 |
8 |
8 |
9 |
НТМ, Э |
|
Географическое разнообразие членов редсовета/редколлегии |
9 |
7 |
6 |
8 |
НТМ |
|
Географическое разнообразие авторов |
8 |
9 |
5 |
7 |
ТМ |
|
Этическая политика журналов |
8 |
7 |
7 |
8 |
НТМ, Э |
|
Архивирование опубликованного контента |
9 |
8 |
8 |
8 |
НТМ |
|
Политика, в отношении платы, взимаемой с авторов |
9 |
9 |
9 |
9 |
НТМ, ТМ, АиМ, Э |
|
Цитируемость статей журнала |
9 |
8 |
7 |
10 |
Э |
|
Авторитетность редакторов и членов редколлегии |
9 |
9 |
7 |
8 |
НТМ, ТМ |
|
Регулярность и количество выпусков журнала в год |
9 |
9 |
7 |
8 |
НТМ, ТМ |
|
Доступность контента (на русском и английском языках) |
9 |
9 |
9 |
9 |
НТМ, ТМ, АиМ, Э |
Результаты экспертного оценивания журналов БГТУ и рейнтингования по интегральному показателю Science Index совпадают, что позволяет наметить программу дальнейшего совершенствования качества научных статей каждого из журналов в соответствующих технических направлениях исследований.
Одним из важных факторов, который определяет значимость научных статей, не учитываемых в наукометрических и библиометрических исследованиях, как отметил главный редактор журнала «Эргодизайн» в интервью декану факультета отраслевой и цифровой экономики В.С. Дадыкину и проректору по перспективному развитию А.В. Киричеку является: «...патентование новых идей и решений и получение авторских свидетельств на программные продукты» [34, с. 13], именно такие публикации по техническим специальностям представляют ценность для инновационной экономики России [35].
Выводы
- На базе научной электронной библиотеки функционирует информационно-аналитическая система Российский индекс научного цитирования (РИНЦ), обрабатывает информацию более чем о 6 тысячах российских научных журналов. Для каждого журнала РИНЦ регулярно рассчитывает традиционно используемый в библиометрии импакт-фактор, также рассчитываются и другие наукометрические и статистические показатели. Для научных журналов в РИНЦ ведётся интегральный рейтинг Science Index, что дало возможность за 5-летний период осуществить сравнительный анализ четырёх научных журналов БГТУ по техническим специальностям: НТМ, ТМ, АиМ и Э.
- Разработка методов измерения качества научных журналов является сложной задачей, не имеющей однозначного решения. Это связано с многосторонностью научной деятельности и многоаспектностью рынка научных исследований, что порождает проблему многокритериальности, размытости и условности оценок качества журналов. Методы оценки качества журналов можно разделить на легитимные, которые представляют собой своего руда институциональные фильтры, вводимые на правительственном уровне, и рыночные, которые основаны на различных аналитических подходах внутри научного сообщества представителями этого сообщества, поэтому в оценке качества используются как наукометрические показатели, так и экспертные оценки.
- Журналы Перечня ВАК РФ: НТМ, ТМ, АиМ, Э являются неотъемлемой частью системы научно-технической информации, данный Перечень нормативно закреплён законодательством и предстоящая работа по повышению качества этих журналов требует предельной внимательности со стороны главных редакторов и экспертов.
- Одним из перспективных направлений совершенствования работы редакций журналов НТМ, ТМ, АиМ, Э технического университета является повышение квалификации научных сотрудников и профессорско-преподавательского состава в вопросах совершенствования владения ключевыми компетенциями научных коммуникаций, установление профессиональных связей как внутри университета, так и за его пределами, осуществления перспективного планирования ситуаций быстроменяющейся научной и образовательной среды.
Важными направлениями совершенствования качества научных журналов БГТУ являются повышение академического вклада в соответствующие журналам научные специальности, улучшение качества аннотаций, повышение качества рецензирования статей, расширение географического разнообразия авторов, редакторов и членов редколлегии, стремление к повышению цитируемости статей журнала и сокращению количества ретракций статей.
1. Lektorsky V.A., Guseinov A.A., Nikiforov A.L., et al. Is it Possible to Measure Scientific Creativity? (a Roundtable Discussion). Voprosy Filosofii. 2014;4:50-74.
2. Alimova N.K. Evaluation of Scientific Journals: Disseropedia and the Opinion of the Russian Publishing Community. Scientific Editor and Publisher. 2019;4(3-4):140-150.
3. Arefiev P.G., Eremenko G.O., Glukhov V.A. Russian Science Citation Index as a Tool for Analyzing Science. Bibliosfera. 2012;S:66-71.
4. Balatsky E.V., Ekimova N.A., Tretyakova O.V. Evaluation Methods of Scientific Economic Journals Quality. Journal of Institutional Studies. 2021;13(2):27-52. DOIhttps://doi.org/10.17835/2076-6297.2021.13.2.027-052.
5. Bedny B.I., Sorokin Yu.M. On Indicators of Scientific Citation and Its Application. Bulletin of Kazan State Energy University. 2012;3(14):155-172.
6. Gordukalova G.F. Citation Index in Science: The Purpose of Use, of Key Species and Limitations. Bulletin of St. Petersburg State University of Culture and Arts. 2014;2(19):54-57.
7. Marvin S.V. About the Statistical Relationship Between Expert Judgment for Scientific Journals and Their Impact Factors. Scientific Bulletins of Belgorod State University. Series: Philosophy. Sociology. Law. 2019;44(4):583-592. DOIhttps://doi.org/10.18413/2075-4566-2019-44-4-583-592.
8. Moskaleva O.V., Akoev M.A. Modern Resources for Making Strategic and Operational Decisions on Managing an Organization’s Scientific Research. University Book. 2020;8:36-43.
9. Myslyakova Yu.G. Impact of Peer Review Institute on Scientific Maturity of Russian Journals. Scientific Editor and Publisher. 2022;7(1):50-59. DOIhttps://doi.org/10.24069/SEP-22-33.
10. Orlov A.I. About the Key Performance Indicators of Scientific Activities. Polythematic Online Scientific Journal of Kuban State Agrarian University. 2015;111: 81-112.
11. Rubinshtein A.Ya., Burakov N.A. Economic Science and Publication Activity in a Paternalistic State. The Manager. 2022;13(4):3-14. DOIhttps://doi.org/10.29141/2218-5003-2022-13-4-1.
12. Spasennikov V.V. Scientific Article as a Means of Effective Communication: Recommendations for Writing and Formatting. Ergodesign. 2020;2(8):51-57. DOIhttps://doi.org/10.30987/2658-4026-2020-2-51-57.
13. Spasennikov V.V., Rytov M.Yu., Androsov K.Yu. Expert Decision Support System as a Means of Improving the Quality of Reviewing Articles in a Scientific Journal. Ergodesign. 2022;2(16):128-136. DOIhttps://doi.org/10.30987/2658-4026-2022-2-128-136.
14. Spasennikov V.V., Khokhlova M.V., Lupanova E.A. Comparative Analysis of the Scientific Productivity of University Teachers Based on Indicators of Publication Activity and Citation. Bulletin of Tver State University. Series: Pedagogy and Psychology. 2022;3(60):22-34. DOIhttps://doi.org/10.26456/vtpsyped/2022.3.022.
15. Sorochaikin A.N. Estimate Characteristics of Publication Activity of State Institutes of Higher Education of the Samara Region on the Basis of RSCI Data Base. Fundamentals of Economics, Management and Law. 2014;5(17):3-11.
16. Kharybina T.N., Beskaravainaya E.V. Results of Bibliometric Analysis of the Publication Activity on the Scientific Library Website. Science Management: Theory and Practice. 2020;2(3):165-180. DOIhttps://doi.org/10.19181/smtp.2020.2.3.9.
17. Tretyakova O.V. Russian Experience with National Rankings of Academic Journals: Mistakes, Challenges, and Prospects. Terra Economicus. 2023;21(3):102-121. DOIhttps://doi.org/10.18522/2073-6606-2023-21-3-102-121.
18. Khokhlov A.N., Morgunova G.V. And They Try, and They Praise, but They don’t Marry: Once Again About the Connection Between Downloads, Views and Citations. Scientific Editor and Publisher. 2022;7(2):191-201. DOIhttps://doi.org/10.24069/SEP-22-47.
19. Borodik K.A., Gagiev N.A. Overview of the Webinar on Filling out the Data in the Accounts of Scientific Journals Included in the VAK List, Aimed at Ranking Them. Science Governance and Scientometrics. 2023;18(1):135-140. DOIhttps://doi.org/10.33873/2686-6706.2023.18-1.135-140.
20. Bolotov V.A., Kvelidze-Kuznetsova N.N., Morozova S.A., et al. The H-index in the Russian Science Citation Index. Educational Studies. Moscow. 2014;1:241-262. DOIhttps://doi.org/10.17323/1814-9545-2014-1-241-262.
21. Brumshtein Yu.M., Malchuk L.V. Structure of Russian Humanities Scientific Journals: Analysis of Issues Indexed by the Russian Science Citation Index. Caspian Journal: Management and High Technologies. 2018;2(42):10-25.
22. Rubinshtein A.Ya. About Scientometric Ratings and Journal BAChanalia. Higher School of Economics Economic Journal. 2023;27(2):290-305. DOIhttps://doi.org/10.17323/1813-8691-2023-27-2-290-305.
23. Molchanova N.V., Skantsev V.M., Spasennikov V.V. Discussion Issues of Evaluation of the Scientific Activity’s Effectiveness Using Citation Indices (Review of Domestic and Foreign Publications). Ergodesign. 2019;4(6):186-195. DOIhttps://doi.org/10.30987/2619-1512-2019-2019-4-186-195.
24. Aksnes D.W., van Leeuwen T.N., Sivertsen G. The Effect of Booming Countries on Changes in the Relative Specialization Index (RSI) on Country Level. Scientometrics. 2014;101(2):1391-1401. DOIhttps://doi.org/10.1007/s11192-014-1245-3.
25. Bai Y., Du J. Measuring the Impact of Health Research Data in Terms of Data Citations by Scientific Publications. Scientometrics. 2022;127:6881-6893. DOIhttps://doi.org/10.1007/s11192-022-04559-4.
26. Bornmann L., Haunshild R. Quality and Impact Consideration in Bibliometrics: a Reply to Riker. Scientometrics. 2017;111(3):1857-1859. DOIhttps://doi.org/10.1007/s11192-017-2373-3.
27. Cho T.-S., Shih H.-Y. Patent Citation Network Analysis of Core and Emerging Technologies in Taiwan: 1997-2008. Scientometrics. 2011;89(3):795-811. DOIhttps://doi.org/10.1007/s11192-011-0457-z.
28. Hirsch J.E. An Index to Quantify an Individual’s Scientific Research Output That Takes Into Account the Effect of Multiply Coauthorship. Scientometrics. 2010;85(3):741-754. DOIhttps://doi.org/10.1007/s11192-010-0193-9
29. Moeller A., Moehrle M.G. Completing Keyword Patent Search With Semantic Patent Search: Introducing a Semiautomatic Iterative Method for Patent Near Search Based on Semantic Similarities. Scientometrics. 2015;102(1):77-96. DOIhttps://doi.org/10.1007/s11192-014-1446-9.
30. Valderrama P, Jimenez-Contreras E., Escabias M., Valderrama M.J. Introducing a Bibliometric Index Based on Factor Analysis. Scientometrics. 2022;127:509-522. DOIhttps://doi.org/10.1007/s11192-021-04195-4.
31. Mazov N.A., Gureyev V.N. Publication Databases of Research Organizations as a Tool for Information Studies. Scientific and Technical Information Processing. 2022;5:8-18. DOIhttps://doi.org/10.36535/0548-0019-2022-05-2/
32. Osipov I.A., Aksens D.W., Kullerud L., Radford G., Hirshberg D., Cristian K, et al. Altmetrics: Alternative Perspectives on the Impact of Arctic Research: A Working Paper. Digital Science. 2016. DOIhttps://doi.org/10.6084/M9.FIGSHARE.3811233.V1.
33. Robinson-Garcia N., van Leeuwen T.N., Rafols I. Using Altmetrics for Contextualised Mapping of Societal Impact: From Hits to Networks. Science and Public Policy. 2018;45(6):815-826. DOIhttps://doi.org/10.1093/SCIPOL/SCY024.
34. Kirichek A.V., Dadykin V.S. Interview With the Hero of the Day: Doctor of Psychological Sciences, Professor Valery Valentinovich Spasennikov is 65. Ergodesign. 2021;1(11):3-14. DOIhttps://doi.org/10.30987/2658-4026-2021-1-3-14.
35. Spasennikov V.V. Experience of Innovation Management in the Process of Creation and Implementation of Inventions. Economics of Science. 2023;9(2):47-59. DOIhttps://doi.org/10.22394/2410-132X-2023-9-2-47-59/
