Yekaterinburg, Ekaterinburg, Russian Federation
The article analyzes such concepts as value and quality as applied to scientific publications. A review of a series of works devoted to disclosing the meaning of these concepts is conducted: these works convincingly demonstrate that the value and quality terms are not equivalent, despite the correlation between them. If one is talking about conscientious, non-imitation citation, it reflects the value of a scientific publication (based on the fact of its use), but not its quality. In addition to the reviewed series of works, the presented article shows which manifestations of the value of scientific publications can be reflected in their citation (the value reflected by different links can be different in nature). The article mentions the practices of imitation citation (which reflects neither value nor quality) and possible statistical tools for their detecting, as well as for reducing their impact on scientometric indicators. The article considers such a phenomenon as negative citation of a scientific publication, which reflects the polemical, debatable value of the cited work with low assessments of its quality. It is reasonably shown that the opinion on the necessity to exclude such a component of value from all scientometric calculations, in any case, has a right to exist and is acceptable as an alternative.
publication activity, citation, scientometrics, value, quality
Введение
Для формальной оценки ученых, научных коллективов, издательств и журналов широкое распространение получил наукометрический подход – подход, основанный на количественных показателях библиометрических баз. В рамках наукометрического подхода оценке подвергается публикационная активность ученых (количество и вид опубликованных работ) и цитируемость (непосредственно, количество цитирований, а также вычисляемые на его основе различные библиометрические величины и индексы). Кроме того, используются совокупные показатели публикационной активности и цитируемости [1], [2].
Вместе с широким внедрением наукометрического подхода не менее широко в литературе по науковедению распространена его критика, которая основана, по существу, на естественных и несомненных его ограничениях [3],[4],[5],[6],[7],[8]. Критике подвергаются, в первую очередь, показатели, так или иначе связанные с цитируемостью: именно их ограниченный смысл отмечается особенно настойчиво и, как следствие, нередко ставится под сомнение их применимость для адекватной оценки опубликованных научных достижений. Однако, для правильного взгляда на проблему, в первую очередь, следует определить, что именно, какие именно свойства отражаются в факте цитирования научной публикации, а какие важные свойства научной публикации цитированием не отражены (и насколько это существенно в вопросе использования наукометрических методов или отказа от них).
Ценность и качество научной публикации
Ранее был проведен очень тщательный терминологический разбор касательно того, что именно отражает добросовестное, не имитационное цитирование (серия очень содержательных и глубоких работ на эту тему: [9],[10],[11],[12],[13]). Обсуждались такие свойства научной публикации, как «качество» и «ценность». Определение качества было позаимствовано из теории управления (применительно к управлению производственными процессами): качество – это «степень, в которой совокупность собственных (внутренне присущих) характеристик объекта соответствует требованиям». Определение ценности было взято из теории информации: ценность – это «свойство информации, определенное ее пригодностью к практическому использованию в различных областях целенаправленной человеческой деятельности для достижения определенной цели».
Необходимость определиться с понятиями бесспорна и несомненна. Предмет обсуждений и споров должен быть формализован: иначе обсуждения и споры становятся, по существу, беспредметными. Приведенные выше определения качества и ценности взяты не из наукометрии, но их в полной мере можно применить и к научным публикациям. И, по всей видимости, любые замены указанных терминов на какие-либо «синонимы» не имеют практического смысла или даже вредны, потому что приводят к путанице. Поэтому в дальнейших рассуждениях целесообразно будет использовать слова «качество» и «ценность», ни на что их не заменяя.
Из приведенных определений следует очень важный вывод [9], [12]: качество и ценность – разные свойства научных публикаций. Факт цитирования научной публикации отражает ее ценность, но не качество (именно ценность обнаруживается по факту использования в согласии с ее определением). Приведем примеры.
Предположим, в какой-либо статье есть теорема, которую читающий статью ученый намерен использовать в своих последующих публикациях, для доказательства новых, уже своих утверждений: ученый, используя указанную теорему, публикует свои новые работы, сопровождая такое использование необходимой ссылкой – процитированная статья для него представляет ценность. Однако, в процитированной статье доказательство используемой теоремы изложено чересчур кратко, тезисно. Ученому, чтобы удостовериться в справедливости сформулированной теоремы (перед тем, как сослаться на нее), самому пришлось воспроизводить доказательство по тем «обрывкам», которые были в процитированной статье, причем получилось это сделать далеко не сразу – качество такой статьи, очевидно, заслуживает не самую высокую оценку.
Теперь предположим, что тот же ученый прочитал другую статью по своей тематике, и в этой новой статье логично и максимально обосновано изложено доказательство другой теоремы – статья безукоризненна с точки зрения ее качества. Однако, ученый не знает, как использовать доказанную теорему в своих исследованиях – для его исследований она ценности не представляет.
Имеет смысл сделать ряд замечаний, не противоречащих определению ценности, но разъясняющих и дополняющих его. Цитируемость характеризует ценность научной публикации, выявленную на данный момент – ранее уже отмечалось, что для разных областей науки характерно разное время реакции на публикацию [3], [5], [12], [14]. Можно указать исторические случаи, когда ценность научной идеи была обнаружена далеко не мгновенно. Например, первые работы по теории бесконечномерных пространств появились на рубеже XIX и XX веков: преимущественно, это были труды математика Гильберта. Бурное, взрывное обнаружение прикладной ценности этих трудов произошло только во третьем-четвертом десятилетии XX века, когда физика была дополнена таким разделом, как квантовая механика. В настоящее время термин «гильбертово пространство», а также великое множество связанных с ним понятий, постоянно используют в своей работе не только математики-специалисты по функциональному анализу, но и физики-теоретики, причем отнюдь не из-за повышенного интереса к абстрактным наукам.
Кроме того (и это отмечалось ранее [2], [12]), использование каких-либо идей и выводов сопровождается ссылками отнюдь не на их первоисточники, если указанные идеи и выводы стали фундаментальными и приобрели эпохальную значимость. Так, используя результаты теории гильбертовых пространств, современные математики и физики нисколько не ссылаются на работы Гильберта. Ориентировочно, со второй половины ХХ века цитирования распределяются исключительно по статьям последователей, по монографиям, учебникам; некоторые положения, признанные в настоящее время общеизвестными, не требуют ссылок вообще. Небезынтересно отметить, что понятие гильбертова пространства было введено в оборот при жизни Гильберта (разумеется, не им самим). А подобное обстоятельство всегда служит признаком того, что ссылки на основополагающие работы ученого перестали поступать интенсивным потоком: знания существенно разошлись по вторичным публикациям. Свою ценность начали показывать уже новые работы новых авторов, в которых идеи Гильберта получили дальнейшее развитие, либо были хорошо разъяснены, либо просто упомянуты в рамках качественной систематизации. Однако, интеллектуальный долг перед Гильбертом существует до сих пор (и будет существовать далее, пока ведется научная работа по функциональному анализу в математике и квантовой теории в физике).
Ранее отмечалось, что цитирования (даже если речь идет исключительно о добросовестных, не имитационных цитированиях) различаются своей мотивацией. Их можно разделить на «признательные» и «риторические» [15]. Приведенные выше примеры (использована теорема, использованы положения какой-либо теории) «идеальны» в том отношении, что в них новые работы логически построены на более ранних результатах и выводах. Если цитируемая публикация является первоисточником идеи, на основе которой, как на фундаменте, строится цитирующая публикация, цитирование относится к признательному. Во всех остальных случаях имеет место риторическое цитирование.
Здесь важно заметить, что цитирование, отнесенное в согласии с данным определением к риторическому, может заключаться не только в использовании вторичных источников (хотя именно на этот случай ранее было обращено особо пристальное внимание [5], и именно он был рассмотрен наиболее подробно). Еще к одной разновидности риторического цитирования следует отнести такие ссылки, которые можно назвать «ссылками сопричастности»: авторы прибегают к ним, чтобы показать свое отношение к некоторой актуальной тематике исследований. Автор цитирующей публикации логически не строит свой труд на цитируемой работе (ни как на первичном, ни как на вторичном источнике), но показывает, как его исследования дополняют цитируемую публикацию. И, по всей видимости, это полный перечень случаев риторического цитирования: первый вариант – прямое использование результата, взятого из вторичного источника; второй вариант – ссылка сопричастности. Для второго варианта приведем пример.
Предположим, что в одной статье доказано существование решения какого-либо дифференциального уравнения при некоторых граничных условиях. В другой статье доказано существование решения того же уравнения, но при других граничных условиях. Другие граничные условия – другой путь доказательства; методами, приемами и результатами первой статьи воспользоваться невозможно. Однако, автор второй статьи, отмечая, что его исследования дополняют первую статью, ссылается на нее – очевидно, здесь речь идет о ссылке сопричастности. Заметим, что ссылка такого рода не является имитацией и, как любые другие неимитационные ссылки, достоверно отражает ценность цитируемой работы. Сам факт опубликования первой статьи делает обоснованным интерес к тематике исследований; в такой ситуации можно даже допустить, что автора второй статьи первая статья мотивировала переключиться на новую научную проблему и плотно заняться ею.
Несмотря на неравносильность понятий ценности и качества, между этими свойствами научных публикаций существует положительная корреляция; то есть, не достоверная, но вероятностная (статистическая) взаимосвязь [9]. Имитационное цитирование, которое, по своей сути, не отражает ни ценности, ни качества, очевидно, вносит искажение в корреляцию между показателями цитируемости и качеством научных трудов. Можно уверенно утверждать, что имитационное цитирование наиболее часто преподносится в виде цитирования риторического. При использования какого-либо результата, отраженного в нескольких вторичных источниках, всегда можно выбрать именно тот вторичный источник, который соответствует намерению поднять показатели цитируемости какому-либо автору (или журналу). Для преподнесения имитационной ссылки в качестве ссылки сопричастности достаточно более широко истолковать «сопричастность» и включить нужную публикацию в круг «тематически соответствующих» работ. Внешне такие цитирования мало отличаются от обычных риторических ссылок. Различие заключается в целеполагании: единственная цель имитационного цитирования – увеличить показатели цитируемости.
Ранее высказывались предположения, что в областях науки, для которых характерны относительно невысокие средние показатели цитируемости корреляция между цитируемостью и качеством – слабая. Приводились примеры, в которых критикам наукометрического подхода влияние имитационного цитирования на корреляцию с качеством представлялось особенно разрушительным [6]. Однако, тщательный и детальный разбор показал, что правильную оценку корреляции может дать только корректное применение корреляционного анализа [16]: адекватный выбор коэффициента корреляции; использование метода, не чувствительного к выбросам, либо исключение выбросов из статистического рассмотрения.
Кроме того, были предложены конкретные алгоритмы выявления кластеров ко-цитирования [17] и конкретные способы снижения показателей цитируемости [18-20] в случаях, когда ссылки исходят от чрезмерно часто повторяющихся авторов, организаций или журналов (с необходимыми детальными пояснениями, что считать чрезмерно частой повторяемостью). Такого рода алгоритмы соответствуют идее распространения научного знания и, разумеется, уменьшают влияние имитационного цитирования. Так что при их внедрении в наукометрическую практику имитационные ссылки не будут приводить к количественно значимому завышению ценности публикаций отдельно взятого автора, организации, журнала, а также не будут существенно искажать корреляцию между цитируемостью и качеством научных трудов.
Отрицательное цитирование научной публикации
В предыдущем разделе разбирались различные примеры таких ссылок, когда в цитирующей работе цитируемая публикация негативно не оценивалась – будем называть такое цитирование «положительным» или «позитивным». Также к позитивному цитированию будем относить такие ссылки, при которых публикация из списка литературы оценивается, как с положительной, так и с отрицательной стороны (заметим, что при таком определении все ссылки в представленной статье – позитивные). К «отрицательному» или «негативному» цитированию отнесем такую ссылку, при которой автор цитирующей работы отзывается о цитируемой публикации исключительно негативно, подвергая критике все ее идеи и выводы.
Отрицательные ссылки отражаются в наукометрических базах наравне со ссылками позитивными – на эту деталь сложившейся библиометрической практики неоднократно было обращено внимание в работах, посвященных наукометрии [8], [21], [22]. Несмотря на то, что негативное цитирование – явление статистически редкое, это редкое явление может легко привести отдельных авторов, наиболее отличившихся в негативном смысле, в разряд высокоцитируемых [23]. Ниже мы опишем возможный механизм исключения отрицательного цитирования из наукометрических расчетов. Однако, в первую очередь, целесообразно обсудить вопрос о самой необходимости такого исключения, так как среди специалистов по науковедению существуют разные мнения на этот счет.
В упомянутой выше серии работ, посвященных разделению понятий ценности и качества, отмечалось, что отрицательное цитирование в полной мере соответствует определению ценности [9], [12]: работа, «спровоцировавшая» отрицательную ссылку, ценна в согласии с принятым определением, так как она использована для создания новой публикации (например, «цитирующий автор находит новые дополнительные, развивающие аргументы»). Таким образом, «отрицательные ссылки указывают… на высокую ценность цитируемых работ и на низкое их качество». Здесь невозможно возразить: это непосредственно вытекает из формального определения ценности. И, по всей видимости, отрицательные ссылки представляют собой самую убедительную иллюстрацию утверждения, что ценность и качество – разные свойства научной публикации. Также следует заметить, что подобное утверждение (по существу, терминологически обоснованное) высказывалось ранее некоторыми классиками наукометрии [14], [24]; из чего делался вывод, что проблема суммирования отрицательных ссылок наравне со ссылками позитивными является надуманной и несуществующей.
Тем не менее, автор представленной статьи придерживается той точки зрения, что сложившаяся практика с отрицательным цитированием является недостатком и недоработкой применения наукометрических методов. Далее приведены некоторые рассуждения пользу такого взгляда.
Специалисты по науковедению, полагающие, что отрицательные ссылки должны суммироваться в показателях цитирования наравне с позитивными (как это, собственно, и происходит на практике), по всей видимости, строят свое убеждение на двух следующих утверждениях. Утверждение первое: отрицательное цитирование отражает ценность. Утверждение второе: при формировании количественных оценок ученых, организаций и журналов надо суммировать всю ценность их работ, во всех ее разнообразных проявлениях. Что должно быть очевидно сторонникам любой точки зрения: это два разных утверждения, и второе отнюдь не вытекает из первого. Безоговорочно принимая первое из них, мы совсем не обязаны принимать второе.
Количественное оценивание публикационной деятельности основано на определенном целеполагании. По количественным оценкам производится рейтингование и ранжирование, из которого, как следствие, могут вытекать организационные решения о финансировании, премировании, подписке. Рассмотрим ситуацию, когда речь идет о серии статей, в которых отсутствует научная новизна, либо о статье, в которой получены тривиальные по своей сути результаты – такие статьи в полной мере соответствуют формальному определению ценности, так как они были использованы для создания новых критических работ [7], [22]. В случае отсутствия научной новизны, очевидно, получился хороший обзор и экскурс в историю вопроса, а в случае тривиального результата – относительно удачная иллюстрация того, в каком состоянии находится определенная отрасль науки в интересующей науковеда стране. В качестве одного из мнений (и это будет очень интересное мнение) можно допустить, что для принятия организационных решений необходимо учитывать и такую ценность тоже: финансировать, премировать, подписываться. Но, во всяком случае, следует допустить и другую точку зрения: при финансировании организации или проекта, премировании ученого следует учитывать только позитивную составляющую ценности опубликованных работ – ту составляющую, которая максимально коррелирует с качеством. Касательно политики подписки на журналы и наполняемости библиотек, представляется вполне приемлемым мнение, что исключение отрицательного цитирования из наукометрических оценок должно стать внешним регулятором этой политики, удаляющим из показателей цитирования «негативную ценность». Для «глянцевых» журналов, для радио- и телепередач, для каналов на видеохостингах скандальная реакция на статью, выпуск, видеоролик является лучшей альтернативой, чем полное отсутствие реакции – следует, как минимум, допустить точку зрения, что в науке положение вещей должно быть иным.
Заметим, что взгляд на отрицательное цитирование следует связать с отношением к отозванным публикациям. Предположим, что после сокрушительной критики и серии отрицательных ссылок произошло исключение публикации из наукометрической базы (если речь идет о журнальной статье, исключению из базы предшествует ее отзыв из журнала). Инициаторами такого исключения могут быть: сам автор, редакция журнала, экспертный совет наукометрической базы. Как минимум, допустимой является точка зрения, что в наукометрии к исключенной публикации следует относиться, как к несуществующей (не будем называть такое мнение естественным, логичным и единственно верным; но допустимым оно, точно, является). Как следствие, ссылки, поступившие на исключенную публикацию, не должны участвовать в расчете наукометрических показателей. Разумеется, с этим невозможно сочетать идею учитывать всю ценность всего массива публикаций автора, организации или журнала: «негативная ценность» отозванных публикаций не будет учтена при таком подходе к ним, хотя отозванные публикации нередко бывают ценными, так как использованы для новых, критических трудов (то есть, замысел учитывать «всю ценность» становится нереализуемым в принципе).
Обратим внимание, что описанный подход принят в отечественной наукометрической базе РИНЦ (Российском индексе научного цитирования). Несмотря на то, что сведения об исключенных из РИНЦ публикациях сохраняются в электронной библиотеке «elibrary.ru» (с отметкой «Retracted», если речь идет о журнальных статьях), такие публикации не участвуют в расчетах общепринятых накометрических показателей. Например, все вариации индекса Хирша или импакт-фактора журнала вычисляются без учета исключенных из РИНЦ публикаций. Логичным развитием такого подхода представляется исключение из наукометрических расчетов вообще всех отрицательных ссылок, даже не приведших к удалению публикации из РИНЦ.
В работах, затрагивающих вопрос отрицательного цитирования, совершенно справедливо отмечалось, что авторы негативных отзывов не всегда бывают правы [14], [24]; критика может оказаться необоснованной, плохо взвешенной и весьма скороспелой [12]. Несправедливо раскритикованная работа в связи с ее использованием, бесспорно, является ценной по определению. И это обстоятельство показывает, насколько многогранно понятие ценности: речь идет о ценности статьи или книги для автора-критика, который в этой статье или книге не разобрался. Но из возможной неправоты авторов негативных отзывов отнюдь не следует, что отрицательное цитирование должно увеличивать показатели цитируемости. С точки зрения «презумпции невиновности» представляется вполне достаточным, чтобы отрицательные ссылки эти показатели не уменьшали.
Здесь имеет смысл еще раз заметить, что терминологический разбор, проведенный ранее [9],[10],[11],[12], [13], был, несомненно, содержательным и полезным: определение ценности и качества, а также исключение других, ненужных и избыточных понятий, приводит к более ясному пониманию сути цитирования. Однако, необходимо разделить терминологию и целеполагание: утверждение, что наукометрические базы следует использовать для измерения всей без исключения ценности, во всяком случае, является спорным.
Ранее уже был предложен метод исключения отрицательных ссылок из наукометрических расчетов [16]. Идея метода достаточно проста (трудности с его внедрением могут быть исключительно организационными): при подаче рукописи в редакцию автор отмечает какой-либо специальной отметкой все отрицательные ссылки в списке литературы. Рецензент, помимо своей основной работы по оценке качества рукописи, удостоверяется, что отмеченные пункты в списке литературы цитируются исключительно в негативном контексте. После опубликования рукописи редакция размещает сведения в наукометрической базе; в частности, размещается библиографический список – на этом шаге потребуется отдельно отмечать отрицательные ссылки. И отмеченные пункты в списке литературы, хотя и приводятся для полноты библиографической справки (с указанием на их негативный характер), блокируются при расчетах наукометрических показателей – соответствующие изменения в программных алгоритмах базы представляются вполне реализуемыми. И, разумеется, такой порядок исключения отрицательных ссылок из библиометрических расчетов станет возможным только с определенного момента: технически совершенно невыполнимо проанализировать весь массив публикаций, ранее попавших в библиометрические базы, на предмет выявления в них отрицательных ссылок.
Выводы
1. В представленной статье получена классификация ссылок по их мотивации (таблица 1); она может служить альтернативой ранее предлагавшимся классификациям по иным наборам определяющих признаков [25], [26].
Таблица 1
Виды ссылок
Table 1
Types of citation
|
Цитирование |
||||
|
Имитационное цитирование |
Добросовестное цитирование |
|||
|
|
Отрицательное цитирование |
Позитивное цитирование |
||
|
|
Признательное цитирование |
Риторическое цитирование |
||
|
|
Ссылка на вторичный источник |
Ссылка сопричастности |
||
2. Любое добросовестное цитирование отражает ценность цитируемой публикации (что не равно ее качеству). Однако, цель создания и использования наукометрической базы может заключаться отнюдь не в том, чтобы суммировать всю ценность всех научных публикаций, так как ценность – понятие многогранное, многоаспектное, и имеет разные проявления. В целеполагание может быть включена, в частности, максимальная корреляция с качеством научных трудов, а также иные задачи.
3. Если поставить целью отражать в наукометрических оценках только ту составляющую ценности научной публикации, которая соответствует максимальному распространению научного знания, то для каждого конкретного ученого следует блокировать избыточные цитирования, исходящие от наиболее часто повторяющихся авторов (для организаций и журналов – аналогично). Положительным следствием такого подхода будет уменьшение влияния имитационного цитирования и увеличение корреляции между цитируемостью и качеством публикаций.
4. Если поставить целью отражать в наукометрических показателях только ту составляющую ценности, которая максимально коррелирует с качеством, то отрицательные ссылки на научные публикации следует исключить из всех библиометрических расчетов.
1. Tsyganov A.V. Brief Description of Scientometric Indicators Based on Citation. Management of Large Systems. 2013;44:248-261.
2. Shtovba S.D., Shtovba E.V. A Survey on Scientometric Indicators for Assessment of Researcher’s Publication Activity. Management of Large Systems. 2013;44:262-278.
3. Campbell P. Escape From the Impact Factor. Ethics in Science and Environmental Politics. 2008;8:5-7. DOIhttps://doi.org/10.3354/esep00078.
4. Lawrence P. Lost in Publication: How Measurement Harms Science. Ethics in Science and Environmental Politics. 2008;8:9-11. DOIhttps://doi.org/10.3354/esep00079.
5. Adler R., Ewing J., Taylor P. Citation Statistics. A Report from the International Mathematical Union (IMU) in Cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) [Internet]. International Mathematical Union. 2008 Dec 06 [cited 2024 Jun 03]. Available from: https://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf.
6. Arnold D., Fowler K. Nefarious Numbers. Notices of the American Mathematical Society. 2011;3(58):434-437. DOIhttps://doi.org/10.48550/arXiv.1010.0278.
7. Chebotarev P.E. Scientometrics: How to Use It to Treat, and Not to Cripple? Management of Large Systems. 2013;44:14-31.
8. Yurevich A.V., Yurevich M.A. Scientometric Indicators of Scientific Productivity and Their Reinforcement in Russian Psychological Community. Psychological Studies. 2016;9(46):11. DOIhttps://doi.org/10.54359/ps.v9i46.486.
9. Lazarev VS. Can the Citation Rate of Scientific Documents Be Considered an Indicator of Their Quality? In: Proceedings on Scientometrics: Methodology, Tools, Practical Application. Minsk: Belaruskaya Navuka: 2018. p. 88-103.
10. Lazarev V.S. Unsatisfactory Definitions or a Vaguely Understood Concept? On Definitions of the Term “Impact”. Scholarly Research and Information. 2019;1(2):63-78. DOIhttps://doi.org/10.24108/2658-3143-2019-2-1-63-78.
11. Lazarev V.S. The Property That Is Factually Evaluated When They Say They Evaluate Impact. Scholarly Research and Information. 2019;2(2):129-138. DOIhttps://doi.org/10.24108/2658-3143-2019-2-2-129-138.
12. Lazarev V.S. Citedness as a Means of Representation of Value and Quality of Scientific Documents, Performance of Scientists, and the Nobel Level of Research. Tambov; Moscow; St. Petersburg; Baku; Vienna; Hamburg; Stockholm; Bouake; Varna; Tashkent: Publishing House of the International Scientific Research Center "Nobel Studies", 2020. 64 p. ISBN 978-5-86609-237-6.
13. Lazarev V.S. On the Value of a Scientific Document. Part 1. Science Management: Theory and Practice. 2023;4(5):146-165. doihttps://doi.org/10.19181/smtp.2023.5.4.8.
14. Nalimov V.V., Mulchenko Z.M. Scientometrics. The Study of Science as an Information Process. Moscow: Nauka; 1969. 192 p.
15. Cozzens S. What do Citations Count? The Rhetoric-First Model. Scientometrics. 1989;5-6(15):437-447. DOIhttps://doi.org/10.1007/BF02017064.
16. Marvin S.V. About the Statistical Relationship Between Expert Judgment for Scientific Journals and Their Impact Factors. Belgorod State University Scientific Bulletin. Series: Philosophy. Sociology. Law. 2019;4(44):583-592. DOIhttps://doi.org/10.18413/2075-4566-2019-44-4-583-592.
17. Eremenko T.V. The Citation Quality of Works of Local Scholars: Bibliometric Analysis Based on the Example of Ryazan Region. Sociology of Science and Technology. 2019;2(10):129-149. DOIhttps://doi.org/10.24411/2079-0910-2019-12008.
18. Franceschini F., Maisano D., Perotti A., Proto A. Analysis of the Ch-index: an Indicator to Evaluate the Diffusion of Scientific Research Output by Citers. Scientometrics. 2010;1(85):203-217. DOIhttps://doi.org/10.1007/s11192-010-0165-0.
19. Loiko V.I., Romanov D.A., Shaposhnikov V.L., Kushnir N.V., Kushnir A.V. New Scientometric Indicators Resistant to Artificial “Improvement”. Scientific Journal of Kuban State Agrarian University. 2017;127(03). DOIhttps://doi.org/10.21515/1990-4665-127-038.
20. Marvin S.V. Indicators of Citation of Scientists Taking into Account a Sameness of Citing Authors. Expert: Theory and Practice. 2023;1(20):167-171. DOIhttps://doi.org/10.51608/26867818_2022_4_167.
21. Khaitun S.D. Scientometrics: Status and Prospects. Moscow: Nauka; 1983. 344 p.
22. Polyanin A.D. Disadvantages of Citation Index and Hirsch and Using Other Scientometrics. Mathematical Modeling and Computational Methods. 2014;1:131-144. DOIhttps://doi.org/10.18698/2309-3684-2014-1-131144.
23. Pavlov A.A. Top 10 Most Highly Cited Retracted Papers According to Retraction Watch. Scientific Periodicals: Problems and Solutions [Internet]. 2021;1-2 [cited 2024 Jun 03]. Available from: https://nppir.ru/04np121.html.
24. Garfield E. Is citation analysis a legitimate evaluation tool? Scintometrics.1979; 4(1): 359-375. DOI:https://doi.org/10.1007/BF02016602.
25. Akoev M.A., Markusova V.A., Moskaleva O.V., Pislyakov V.V. Guide to scientometry: indicators of the development of science and technology. Yekaterinburg: publishing house of UrFU, 2014. 250 p.
26. Kholyushkin Yu.P. Differentiated citation classification: some approaches. Scientific and Technical Libraries. 2017;9:104-113. DOIhttps://doi.org/10.33186/1027-3689-2017-9-104-113.
