<!DOCTYPE article
PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.4 20190208//EN"
       "JATS-journalpublishing1.dtd">
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" article-type="research-article" dtd-version="1.4" xml:lang="en">
 <front>
  <journal-meta>
   <journal-id journal-id-type="publisher-id">Ergodesign</journal-id>
   <journal-title-group>
    <journal-title xml:lang="en">Ergodesign</journal-title>
    <trans-title-group xml:lang="ru">
     <trans-title>Эргодизайн</trans-title>
    </trans-title-group>
   </journal-title-group>
   <issn publication-format="online">2658-4026</issn>
  </journal-meta>
  <article-meta>
   <article-id pub-id-type="publisher-id">90987</article-id>
   <article-id pub-id-type="doi">10.30987/2658-4026-2024-4-412-417</article-id>
   <article-categories>
    <subj-group subj-group-type="toc-heading" xml:lang="ru">
     <subject>УПРАВЛЕНИЕ В ОРГАНИЗАЦИОННЫХ СИСТЕМАХ</subject>
    </subj-group>
    <subj-group subj-group-type="toc-heading" xml:lang="en">
     <subject>MANAGEMENT IN ORGANIZATIONAL SYSTEMS</subject>
    </subj-group>
    <subj-group>
     <subject>УПРАВЛЕНИЕ В ОРГАНИЗАЦИОННЫХ СИСТЕМАХ</subject>
    </subj-group>
   </article-categories>
   <title-group>
    <article-title xml:lang="en">The Use of Artificial Intelligence in Anti-Corruption Expertise of Quality Management of Normative Legal Acts</article-title>
    <trans-title-group xml:lang="ru">
     <trans-title>Применение искусственного интеллекта в антикоррупционных экспертизах управления качеством нормативно-правовых актов</trans-title>
    </trans-title-group>
   </title-group>
   <contrib-group content-type="authors">
    <contrib contrib-type="author">
     <contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-0911-5416</contrib-id>
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Косов</surname>
       <given-names>Дмитрий Леонидович</given-names>
      </name>
      <name xml:lang="en">
       <surname>Kosov</surname>
       <given-names>Dmitry Leonidovich</given-names>
      </name>
     </name-alternatives>
     <email>kosovdl@mail.ru</email>
     <xref ref-type="aff" rid="aff-1"/>
    </contrib>
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Белов</surname>
       <given-names>Виктор Матвеевич</given-names>
      </name>
      <name xml:lang="en">
       <surname>Belov</surname>
       <given-names>Viktor Matveevich</given-names>
      </name>
     </name-alternatives>
     <email>vmbelov@mail.ru</email>
     <bio xml:lang="ru">
      <p>доктор технических наук;</p>
     </bio>
     <bio xml:lang="en">
      <p>doctor of technical sciences;</p>
     </bio>
     <xref ref-type="aff" rid="aff-2"/>
    </contrib>
   </contrib-group>
   <aff-alternatives id="aff-1">
    <aff>
     <institution xml:lang="ru">Новосибирский государственный технический университет</institution>
    </aff>
    <aff>
     <institution xml:lang="en">Novosibirsk State Technical University</institution>
    </aff>
   </aff-alternatives>
   <aff-alternatives id="aff-2">
    <aff>
     <institution xml:lang="ru">Сибирский государственный университет геосистем и технологий</institution>
     <country>Россия</country>
    </aff>
    <aff>
     <institution xml:lang="en">Siberian State University of Geosystems and Technologies</institution>
     <country>Russian Federation</country>
    </aff>
   </aff-alternatives>
   <pub-date publication-format="print" date-type="pub" iso-8601-date="2024-12-20T06:19:11+03:00">
    <day>20</day>
    <month>12</month>
    <year>2024</year>
   </pub-date>
   <pub-date publication-format="electronic" date-type="pub" iso-8601-date="2024-12-20T06:19:11+03:00">
    <day>20</day>
    <month>12</month>
    <year>2024</year>
   </pub-date>
   <volume>2024</volume>
   <issue>4</issue>
   <fpage>412</fpage>
   <lpage>417</lpage>
   <history>
    <date date-type="received" iso-8601-date="2024-09-03T00:00:00+03:00">
     <day>03</day>
     <month>09</month>
     <year>2024</year>
    </date>
    <date date-type="accepted" iso-8601-date="2024-09-09T00:00:00+03:00">
     <day>09</day>
     <month>09</month>
     <year>2024</year>
    </date>
   </history>
   <self-uri xlink:href="https://zh-szf.ru/en/nauka/article/90987/view">https://zh-szf.ru/en/nauka/article/90987/view</self-uri>
   <abstract xml:lang="ru">
    <p>В настоящей статье нами рассмотрена система управления качеством законодательства в РФ: определены ее базовые элементы, основной инструментарий контроля (управления) качеством в виде правовых экспертиз, предложена общая простейшая классификация контролируемых факторов в правовых экспертизах. В качестве примера для проведения контроля качества законодательства выбрана важнейшая правовая экспертиза - антикоррупционная (АКЭ). В рамках общих тенденций автоматизации, информатизации, цифровизации рассмотрено, для целей проведения АКЭ, использование искусственного интеллекта (ИИ), который, в ряде случаев «рутинной работы», смог бы оказывать посильную помощь специалистам в области правовых экспертиз и их цифровизации. В связи с этим сформулирован пошаговый алгоритм предобучения ИИ на примерах из нормативно-правовых актов (НПА), содержащих коррупциогенные факторы (КФ); проведена классификация КФ; разработана шкала ошибок ИИ при обнаружении КФ; определены частотные характеристики ошибок ИИ; получены предварительные выводы о возможности применения ИИ в АКЭ.</p>
   </abstract>
   <trans-abstract xml:lang="en">
    <p>The article considers the quality management system of legislation in the Russian Federation, defines its basic elements, the main tools for quality control (management) in the form of legal examinations, and proposes a general simple classification of the controlled factors in legal examinations. As an example for conducting quality control of legislation, the authors choose the most important legal expertise called anti-corruption examination (ACE). Within the framework of general trends in automation, informatization, and digitalization, the paper considers the use of artificial intelligence (AI) for the purposes of conducting ACE, which, in some cases of “routine work”, could provide all possible assistance to specialists in the field of legal expertises and their digitalization. In this regard, a step-by-step algorithm for pre-training AI is formulated using examples from regulatory legal acts (RLA) containing corruption factors (CF); a classification of CF is carried out; a scale of AI errors in detecting CF is developed; frequency characteristics of AI errors are determined; preliminary conclusions are obtained on the possibility of using AI in ACE.</p>
   </trans-abstract>
   <kwd-group xml:lang="ru">
    <kwd>искусственный интеллект</kwd>
    <kwd>коррупциогенный фактор</kwd>
    <kwd>антикоррупционная экспертиза</kwd>
    <kwd>нормативно-правовой акт</kwd>
    <kwd>индикатор коррупциогенного фактора</kwd>
    <kwd>предобучение</kwd>
    <kwd>алгоритм</kwd>
    <kwd>ошибки</kwd>
    <kwd>частотное распределение</kwd>
    <kwd>классификация</kwd>
    <kwd>диалог</kwd>
   </kwd-group>
   <kwd-group xml:lang="en">
    <kwd>artificial intelligence</kwd>
    <kwd>corruption factor</kwd>
    <kwd>anti-corruption expertise</kwd>
    <kwd>normative legal act</kwd>
    <kwd>corruption factor indicator</kwd>
    <kwd>pre-training</kwd>
    <kwd>algorithm</kwd>
    <kwd>errors</kwd>
    <kwd>frequency distribution</kwd>
    <kwd>classification</kwd>
    <kwd>dialogue</kwd>
   </kwd-group>
  </article-meta>
 </front>
 <body>
  <p>Введение Формулируя цель нашей работы, остановимся на следующем тезисе: исследовать возможность применения ИИ для решения задач управления качеством законодательства РФ на примере антикоррупционной экспертизы (АКЭ) НПА [1], [2], [3], [4], [5]. При выборе платформы ИИ, необходимой для использования в задачах экспертиз качества законодательства, важно учитывать такие факторы, как доступность, гибкость и стоимость использования. Кроме того, необходимо предусмотреть интеграцию платформы с уже существующими системами, наличие опыта и знаний в области машинного обучения и глубокого обучения для эффективной разработки, и развертывания ИИ-решений.Для исследования возможности применения ИИ в решении задач, связанных с АКЭ, мы выбрали платформу GPT3.5 [6], как наиболее популярную и доступную по стоимости версию (укажем, что при выборе рабочей платформы ИИ мы использовали диалог с GPT3.5).Для достижения поставленной цели осуществили поиск высказываний производителя о способах обучения ИИ и рекомендаций по их реализации, в результате никаких сведений для себя не обнаружили. Последнее послужило поводом тому, чтобы сформулировать предварительные выводы: данная платформа, как и многие другие ИИ, является не специализированной, то есть не предобученной проведению правовых экспертиз; эксперимент по проведению АКЭ с помощью ИИ можно определить, как проверочный, контролирующий общий уровень или кругозор данного ИИ в сфере правовых экспертиз; задача качественного проведения АКЭ не может быть поставлена, а рассматривается только попытка ее реализации.1. Особенности АКЭ как элемента управления качества законодательства Систему управления качеством законодательства структурно можно представить как состоящую из трех крупных элементов: 1) подсистемы субъектов обладающих правом законодательной инициативы; 2) подсистема принятия законопроектов; 3) подсистема придания юридической силы законопроектам. Нам в данном случае интересно, к какой подсистеме можно отнести АКЭ. Определим его сразу: в подсистеме под номером 2. Кратко характеризуем функционал подсистемы. Первая подсистема полностью основывается на определенных Конституцией субъектах, обладающих правом формулирования текстов законопроектов. Вторая подсистема является процессом рассмотрения законопроектов или их принятия, который включает в себя около семи элементов. Среди них есть множество правовых экспертиз управления качеством законодательства, к которым и относится АКЭ [7]. Третья подсистема вводит законопроекты в строй действующих. АКЭ направлена на выявление в НПА коррупциогенных факторов, которые представляют собой дефекты норм и правовых формул, способствующих проявлениям коррупции [1], [2], [3], [4], [5]. Для внедрения автоматизированных технологий выявления КФ в ходе АКЭ, а также применения ИИ в практике АКЭ, нас будет интересовать наличие или отсутствие у КФ атрибутов (индикаторов), позволяющих идентифицировать их, и, соответственно, КФ, в тексте НПА. Оказалось, что такие индикаторы у ряда КФ присутствуют, что позволило нам ввести свою простейшую количественную классификацию КФ по наличию/отсутствию индикаторов (атрибутов) КФ: индикаторные КФ (ИКФ) и без индикаторные КФ (БИКФ). 2. Исследование возможности применения ИИ в АКЭ НПА Поскольку у производителя мы не нашли информацию о предобученности ИИ решению наших задач или возможности обучения его, то задали ему самому вопрос на эту тему. Ниже на рисунке 1 приведен скриншот фрагмента нашего диалога.       Рис. 1. Скриншот фрагмента диалога учителя с ИИFig. 1. Screenshot of a fragment of the teacher&amp;#39;s dialogue with AI Далее в разделе предложим примерный пошаговый алгоритм предобучения ИИ АКЭ в виде последовательности действий по внесению первичной обучающей информации для ИИ на вход процесса предобучения программного продукта ChatGPT 3.5, то есть ИИ, осуществляющего АКЭ. Пошаговый алгоритм предобучения1.Вводим название и определение КФ.2.Вводим ИКФ, если они присутствуют у КФ. 3.Вводим рекомендации по обнаружению КФ.4.Вводим пример из НПА, содержащий КФ для предобучения ИИ.5.Вводим обоснование коррупциогенной нормы для предобучения ИИ.6.Вводим правильно скорректированный фрагмент НПА для предобучения ИИ.7.Вводим контрольный пример на обнаружение КФ.8.Получаем ответ ИИ об обнаружении КФ (его отсутствии).9.Вводим комментарий учителя ИИ по факту ответа ИИ.10.Определяем ошибку ИИ при обнаружении КФ.11. Зацикливаем алгоритм, начиная с шага 4 по шаг 10, для введения других примеров по одному и тому же КФ.12. Конец.Предобучение, в нашем случае, ИИ проведению АКЭ осуществляли по 12-ти КФ, их последовательность приведена в работах [2, 4].Ниже покажем какое количество примеров из НПА было использовано для каждого КФ: по первому КФ – 6 примеров; по 2-му КФ - 5 примеров; по 3-6, 9-му - по одному примеру, по  8, 11-му КФ – по 3 примера; по 10, 12-му – по два  примера. Следует отметить, что количество предобучающих примеров может быть увеличено, но на данном этапе исследований в научной и методической литературе по АКЭ отсутствует достаточное их количество, а моделирование ситуаций с наличием КФ в текстах НПА является весьма трудоемкой процедурой, связанной с распределением временных и финансовых затрат на большой коллектив исследователей, и не приемлемо для экспертной среды, опирающейся на разработанные методики экспертиз НПА. Дополнительно укажем, что выполнение шагов предложенного в разделе выше алгоритма происходит в диалоговом режиме, и после каждого запроса следует ответ ИИ. Также в процессе предобучения в ответах ИИ выделялись ошибки обучения, по разработанной в процессе использования ИИ простейшей шкале ошибок:Ошибка 0-го рода: определил и обосновал все искомые КФ с ИКФ или БИКФ.Ошибка 1-го рода: неполнота ответа (определил и обосновал КФ с ИКФ или БИКФ без необходимых ссылок на существующее законодательство).Ошибка 2-го рода: определил и обосновал КФ с ИКФ, но не определил и не обосновал один из нескольких ИКФ.Ошибка 3-го рода: определил искомый КФ, без обоснования и ИКФ.Ошибка 4-го рода: определил и обосновал один из двух искомых КФ с ИКФ или БИКФ.Ошибка 5-го рода: вместо искомого КФ с ИКФ или БИКФ определил и обосновал отсутствующий в тексте НПА КФ с ИКФ или БИКФ.Ошибка 6-го рода: не определил и не обосновал искомые КФ с ИКФ или БИКФ.Шкала построена по принципу возрастания мощности ошибки и может быть выражена в терминах естественного языка (ЕЯ) следующим образом: превосходно; правильно, но не полно; не полно; не полно без обоснования; не полно с ошибкой определения; плохо; очень плохо. Подобной лингвистической шкале всегда можно найти количественные соответствия, которые мы в данном случае не рассматриваем. Опять-таки, если говорить об обучении по всем КФ, то ошибки разного рода распределились с определенной частотой по КФ (см. таблицу). Максимальные частоты распределения наблюдались у ошибок 0-го и 1-го рода, им соответствуют оценки ЕЯ: превосходно; правильно, но не полно, соответственно.В связи с диспропорцией в количестве обучающих примеров, что, на наш взгляд, явно сказалось на качестве обучения, мы не смогли сделать вывод по каждому КФ о переходе в процессе обучения от ошибок - серьезных к ошибкам - не значимым.Поэтому в данной работе мы показываем только возможности обучения ИИ, а не результаты, приводящие к выводам о необходимости применения ИИ в АКЭ и иных экспертизах в праве. Таблица 1Частотное распределение ошибок при АКЭ примеров НПАTable 1Frequency distribution of errors in AKE of examples of NPAs№ п/пРод ошибкиЧастота распределения, относительные единицыМощности ошибки, ЕЯ10-й7превосходно21-й10правильно, но не полно32-й1не полно43-й4не полно без обоснования54-й2не полно с ошибкой определения65-й1плохо76-й2очень плохо  Заключение В заключении отметим, что предлагаемая статья выполняется в рамках ранее обозначенного авторами направления – «Оценивание качества социально-значимой деятельности», результаты исследований по которому были опубликованы, например, в журнале [8, 9].В настоящей статье нами предложена простейшая классификация КФ. Предпринята попытка использования ИИ в АКЭ НПА: сформулирован пошаговый алгоритм предобучения ИИ на примерах из НПА, содержащих КФ; разработана шкала ошибок ИИ при обнаружении КФ; определены частотные характеристики ошибок ИИ; получены предварительные выводы о возможности применения ИИ при проведении АКЭ. Однако, проделанная работа, на наш взгляд, носит всего лишь постановочный характер, так как диалоговое общение с ИИ и провайдером ИИ показало невозможность его предобучения в пользовательском режиме. В качестве доказательств последнего приводим фрагменты скриншотов диалогов с ИИ и провайдером (рис. 2).      Рис. 2. Скриншоты фрагментов диалогов с ИИ и провайдеромFig. 2. Screenshots of fragments of dialogues with AI and provider Вместе с тем, считаем, что перспективы реализации ИИ в сфере экспертиз НПА, в том числе АКЭ, не исчерпываются выводами нашей статьи, а предполагают развитие в рамках государственных проектов РФ в области разработки и применения ИИ, а также пользовательских приложений, позволяющих обучать и предобучать существующие ИИ- платформы в рамках различного рода задач.</p>
 </body>
 <back>
  <ref-list>
   <ref id="B1">
    <label>1.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Об антикоррупционной экспертизе нормативных правовых актов и проектов нормативных правовых актов: федер. Закон Рос. Федерации от 17.07.2009 г. № 172-ФЗ: принят Гос. Думой Федер. Собр. Рос. Федерации 3 июля 2009 г.: одобр. Советом Федерации Федер. Собр. Рос. Федерации 7 июля 2009 г. Российская газета. 2009 г. 22 июля.</mixed-citation>
     <mixed-citation xml:lang="en">Federal Law of the Russian Federation of July 17, 2009 on Anti-Corruption Expertise of Normative Legal Acts and Draft Normative Legal Acts, no 172-FZ. Rossiyskaya Gazeta; 2009 Jun 22.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B2">
    <label>2.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Талапина Э.В., Южаков В.Н. Методика первичного анализа (экспертизы) коррупциогенности нормативных правовых актов. Москва : Статут : Центр стратегических разработок, 2007. 96 с. ISBN 978-5-8354-0439-1.</mixed-citation>
     <mixed-citation xml:lang="en">Talapina E.V., Yuzhakov V.N. Primary Analysis (Expertise) Methods of Corruptogenisity of Normative Legal Acts. Moscow: Statut; 2007. 96 p.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B3">
    <label>3.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Об антикоррупционной экспертизе нормативных правовых актов и проектов нормативных правовых актов: пост. Правительства Рос. Федерации от 26.02.2010 года № 96. Российская газета. 2010 г. 8 марта.</mixed-citation>
     <mixed-citation xml:lang="en">Order of the Government of the Russian Federation of February 26, 2010 About Anti-Corruption Examination of Regulatory Legal Acts and Projects of Regulatory Legal Acts, no 96. Rossiyskaya Gazeta; 2010 Mar 8.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B4">
    <label>4.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Астанин В.В., Андрианова Д.В., Радченко В.И. и др. Методические рекомендации по проведению правовой и антикоррупционной экспертизы нормативных правовых актов субъектов Российской Федерации и муниципальных образований (с иллюстрацией на конкретных примерах). М.: ФБУ НЦПИ при Минюсте России, 2017. 56 с. ISBN 978-5-901167-58-8.</mixed-citation>
     <mixed-citation xml:lang="en">Astanin V.V., Andrianova D.V., Radchenko V.I., Rogovaya A.V., Fadeeva N.A. Methodological Recommendations for Conducting Legal and Anti-Corruption Expertise of Regulatory Legal Acts of the Subjects of the Russian Federation and Municipalities (Illustrated With Specific Examples). Moscow: Federal State Budgetary Institution Scientific Centre for Legal Policy under the Ministry of Justice of Russia; 2017. 56 p.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B5">
    <label>5.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Талапина Э.В., Южаков В.Н., Ефремов А.А. и др. Возможности применения искусственного интеллекта в государственном управлении и юридические экспертизы. М.: Издательский̆ дом «Дело», РАНХиГС, 2022. 190 с. ISBN 978-5-85006-416-7.</mixed-citation>
     <mixed-citation xml:lang="en">Talapina E.V., Yuzhakov V.N., Efremov A.A., et al. Possibilities of Using Artificial Intelligence in Public Administration and Legal Expertise. Moscow: Delo, RANEPA; 2022. 190 p.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B6">
    <label>6.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">URL: https://ask.chadgpt.ru (дата обращения: 10.01.2024 -30.04.2024).</mixed-citation>
     <mixed-citation xml:lang="en">ChadAI [Internet] [cited 2024 Jan 10-Mar 30]. Available from: https://ask.chadgpt.ru.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B7">
    <label>7.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Муженская Н.Е. Экспертиза в Российском законодательстве: Руководство-справочник для следователя, дознавателя, судьи. М.: РГ-Пресс,2015. 744 с. ISBN 978-5-9988-0370-3.</mixed-citation>
     <mixed-citation xml:lang="en">Muzhenskaya N.E. Expertise in Russian Legislation: A Handbook for Investigators, Inquiry Officers, and Judges. Moscow: RG-Press; 2015. 744 p.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B8">
    <label>8.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Белов В.М., Пивкин Е.Н., Грищенко Л.А., Архипова А.Б. Гибридный метод оценивания качества социально значимой деятельности // Инженерный вестник Дона. 2021. № 2(74). С. 124-137. EDN HXZWTO.</mixed-citation>
     <mixed-citation xml:lang="en">Belov V.M., Pivkin E.N., Grishchenko L.A., Arkhipova A.B. Hybrid Method for Assessing the Quality of Socially Significant Activities. Engineering Journal of Don. 2021;2(74):124-137.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B9">
    <label>9.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Косов Д.Л., Белов В.М., Грищенко Л.А. Гибридный алгоритм оценивания качества нормативных правовых документов // Инженерный вестник Дона. 2021. № 3(75). С. 183-195. EDN GWBFXU.</mixed-citation>
     <mixed-citation xml:lang="en">Kosov D.L., Belov V.M., Grishchenko L.A. Hybrid Algorithm for Assessing the Quality of Regulatory Legal Documents. Engineering Journal of Don. 2021;3(75):183-195.</mixed-citation>
    </citation-alternatives>
   </ref>
  </ref-list>
 </back>
</article>
