graduate student
In the practice of design and management, heuristic methods are increasingly used, in particular, the method of expert assessments. The essence of the method of expert assessments consists in questioning the opinions of specialists on the problem under consideration by assigning significance ranks to one or another active project with subsequent processing of the results of the survey by methods of mathematical statistics.
projects, business, EAEU, cost estimation, integration
Введение. В настоящее время известно несколько методов экспертных оценок, отличающихся способами получения экспертных оценок и последующей их математической обработкой, у каждого из них свои преимущества и недостатки, свои сферы целесообразности применения [1−8]. Одним из наиболее распространенных является метод ранговой корреляции.
Каждому эксперту предъявляется для ранжирования n проектов, содержащих информацию о примерной стоимости развития бизнес-инфраструктуры. Эксперт опирается на факторы исполнения проекта [9−14]. Эксперт присваивает проектам развития соответствующие ранги.
В оценке проектов эксперты уделяют большое внимание различным факторам.
Фактору, оказывающему наиболее неблагоприятное влияние на указанные работы в проекте, присваивается самый высокий ранг 1, а другим факторам − ранги 2, 3 и т.д. соответственно степени их влияния [15−21].
Экспертные оценки всех специалистов (число экспертов равно m) сводятся в матрицу рангов
где 
ранг, присвоенный i-му фактору j-м экспертом.
Для определения степени исполнения проектов на основании матрицы ранжирования подсчитывают суммы рангов по столбцам. Так как эксперты присваивают ранги в порядке убывания неблагоприятного воздействия факторов, то самым успешным проектом к реализации будет тот, у которого наименьшая сумма рангов, что является количественным выражением влиятельности факторов, определенной на основе экспертных оценок [22−26].
Метод ранжирования проектов. Опыт применения метода ранговой корреляции показал, что он является эффективным средством оценки. Вместе с тем следует отметить, что при увеличении количества рассматриваемых факторов эксперты испытывают затруднения в их ранжировании [27−30].
В целях облегчения процесса оценки стоимости проектов применяется метод ранжирования с последующим исключением проектов [31−34]. Суть этого метода заключается в следующем: эксперту предъявляется рабочая анкета, в которой указаны наименования, аннотации проектов, которые подлежат оценке. Первоначально следует выбрать тот фактор, который оказывает самое неблагоприятное влияние на положительное развитие проекта, присвоить ему ранг 1 и исключить из дальнейшего ранжирования. Затем из оставшихся выбирается тот фактор, который оказывает более сильное влияние. Этому фактору присваивается ранг 2, и он также исключается. И так до тех пор, пока все факторы не получат своих порядковых номеров. Результаты ранжирования и оценка согласованности обрабатываются и рассчитываются рассмотренным выше методом ранговой корреляции. Метод ранжирования с последующим исключением факторов позволяет повысить согласованность экспертов при оценке степени влияния большого числа факторов [35−37]. Таким образом, результатом станет отбор проектов с положительным исходом.
Несколько иная процедура определения важности проектов используется в методе непосредственных балльных оценок. Она заключается в том, что эксперты в соответствии с установленной шкалой (например, 0−100) присваивают максимальный балл наиболее неблагоприятному проекту. Далее, по мере уменьшения влияния различных факторов на исполнение проекта приписывают соответствующее количество баллов 
[38].
Степень влияния ранжирования факторов по оценке стоимости проектов и оценке j-го эксперта определяется пропорционально относительному весу:
Итоговая оценка выполняется по относительному весу, который для экспертов рассчитывается по формуле:
Ранжируют факторы по мере убывания относительных весов. Фактору с наибольшим весом 
присваивается ранг 1. Таким образом, устанавливается соответствие между относительными весами и рангами 
. В качестве меры согласованности таких экспертных оценок используются коэффициенты, рассчитанные по формулам [39]. Как показала практика, применение данного метода, его эффективность, как и метода ранговой корреляции, снижается при ранжировании большого числа факторов.
Для достижения более четкого ранжирования при большом количестве проектов используется метод парных предпочтений. В этом случае рабочая анкета в виде квадратной матрицы вручается каждому эксперту, который сравнивает попарно все предъявляемые проекты, отдает предпочтение тому из них, который более благоприятен для использования в развитии бизнес-инфраструктуры на территории ЕАЭС. Ранжирование факторов осуществляется по результатам суммирования количества предпочтений по строкам. Результаты ранжировки каждого эксперта сводятся в матрицу рангов и обрабатываются методом ранговой корреляции. Метод парных предпочтений позволяет расширить алфавит рассматриваемых проектов, не снижая при этом эффективности [40]. К недостаткам метода следует отнести требование от экспертов принимать только альтернативные предпочтения (обязательное предпочтение одного проекта другому в сравниваемой паре). Это приводит к нарушению в ряде случаев согласованности (транзитивности) при упорядочении факторов.
Результаты. Рассмотрим ситуацию выбора наиболее эффективного проекта для развития бизнес-инфраструктуры на территории ЕАЭС. В данной ситуации использованы методы экспертных оценок для решения задач выбора наиболее эффективных проектов.
Анализ и обобщение опыта развития бизнес-инфраструктуры показал, что на эффективность функционирования отдельных элементов того или иного проекта оказывает влияние целый ряд факторов:
- организационные;
- технические;
- климатические;
- социологические.
В условиях совместного воздействия большого числа этих факторов возникает задача оценки каждого из них для успешного определения стоимости проектов развития бизнес-инфраструктуры на территории ЕАЭС.
Сложность оценки различных факторов состоит в том, что эти факторы при наличии количественного измерения обладают неоднородной мерой (уровень потерь и др.). Кроме того, не все факторы можно количественно оценить. Например, такие факторы, как трудность работы в условиях новых вызовов, состояние экономической составляющей объекта и т.д., можно определить качественными оценками [41]. В подобной ситуации оценка условий успешного проведения проекта может быть выполнена на основании информации, полученной от специалистов с большим практическим опытом.
Процедура применения экспертных оценок приведена в виде структурной схемы на рис. 1. Задача решается в следующей последовательности:
- выявляют и четко формируют факторы, влияющие на качественное выполнение проектов;
- формируют достаточно представительные группы экспертов;
- выбирают такие экспертные методы, которые позволили бы получить пригодные для практического использования результаты;
- проводится математическая обработка и обобщение экспертных оценок;
- оцениваются согласованность и значимость мнений экспертов;
- определяется степень влияния каждого фактора, и намечаются конкретные мероприятия для ликвидации существующих недостатков.
Широко применяется для решения подобного рода задач метод ранговых оценок [42]. Выбор ранговой корреляции как конкретного метода для ранжирования факторов в рассматриваемых проектах осуществлялся с учетом высокой квалификации экспертов, дефицита их времени, относительно небольшого числа предлагаемых факторов.
С целью получения представительных и объективных оценок исследование проводится среди экономистов, руководителей и организаторов, работ различных министерств и ведомств [43]. Выделение таких групп позволяет использовать практический опыт специалистов и сопоставить различные определяющие требования к развитию бизнес-инфраструктуры. В проведенном исследовании принимали участие эксперты из различных департаментов Евразийской экономической комиссии, экономисты из различных министерств и ведомств.
Анкета оценки факторов, определяющих стоимость проектов развития информационной инфраструктуры ЕТП
Необходимо: расположить перечисленные факторы по степени убывания их влиятельности на требования, предъявляемые к выполнению проекта. Наиболее влиятельному фактору присвоить ранг 1. Другим факторам дать соответствующие последовательные ранги 2, 3, 4,…, 11.
Таблица 1
Факторы, определяющие стоимость проектов развития информационной инфраструктуры ЕТП
|
№ п/п |
Факторы |
Ранги |
|
1. |
Несовершенство типовых проектов или их отсутствие |
|
|
2. |
Уровень механизации и автоматизации в выполняемых операциях |
|
|
3. |
Требования стандартизации и унификации оборудования |
|
|
4. |
Требования модульности к технологическим схемам, обеспечивающие широкий выбор производительности на базе типового оборудования |
|
|
5. |
Необходимость интенсивного использования техники |
|
|
6. |
Капитальные затраты на новую технику |
|
|
7. |
Интегрированность |
|
|
8. |
Стоимость проекта |
|
|
9. |
Производительность техники |
|
|
10. |
Снижение потребности в рабочей силе |
|
|
11. |
Отсутствие эксплуатационных и технико-экономических обоснований параметров устройств |
|
Каждому из экспертов вручались две рабочие анкеты для оценки предварительности выбранных проектов. Итоговые результаты ранжирования факторов приведены в табл. 2 и в виде матрицы рангов в табл. 3. Анализ таблиц показывает, что ранжирование факторов имеет совпавшие ранги.
Таблица 2
Итоговые результаты ранжирования факторов
|
№ эксперта |
Ранги факторов |
||||||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
|
|
1 |
3 |
2 |
2 |
7 |
7 |
11 |
2 |
10 |
6 |
8 |
6 |
|
2 |
4 |
2 |
3 |
10 |
8 |
11 |
1 |
11 |
7 |
9 |
6 |
|
3 |
11 |
2 |
4 |
5 |
10 |
3 |
11 |
7 |
8 |
12 |
9 |
|
4 |
8 |
4 |
11 |
11 |
6 |
7 |
3 |
2 |
9 |
10 |
5 |
|
5 |
1 |
1 |
4 |
3 |
5 |
3 |
2 |
6 |
3 |
5 |
4 |
|
6 |
1 |
2 |
1 |
5 |
1 |
1 |
2 |
6 |
1 |
2 |
2 |
|
7 |
2 |
3 |
5 |
10 |
4 |
6 |
7 |
12 |
8 |
11 |
1 |
|
8 |
6 |
1 |
1 |
6 |
3 |
2 |
5 |
9 |
4 |
10 |
5 |
|
9 |
9 |
2 |
8 |
7 |
1 |
3 |
2 |
6 |
4 |
3 |
2 |
|
10 |
8 |
7 |
10 |
8 |
10 |
7 |
5 |
3 |
6 |
7 |
6 |
|
11 |
1 |
2 |
3 |
4 |
6 |
7 |
5 |
8 |
10 |
9 |
11 |
|
12 |
4 |
2 |
11 |
11 |
5 |
10 |
9 |
1 |
6 |
3 |
7 |
|
13 |
2 |
1 |
5 |
2 |
1 |
5 |
3 |
7 |
4 |
6 |
5 |
|
14 |
1 |
2 |
4 |
4 |
1 |
4 |
2 |
6 |
3 |
5 |
7 |
|
15 |
1 |
1 |
4 |
2 |
2 |
5 |
3 |
8 |
3 |
7 |
4 |
|
16 |
2 |
1 |
8 |
3 |
1 |
3 |
1 |
10 |
4 |
6 |
7 |
|
17 |
1 |
3 |
4 |
4 |
2 |
5 |
4 |
6 |
2 |
3 |
7 |
|
18 |
2 |
1 |
5 |
4 |
3 |
3 |
5 |
3 |
1 |
3 |
3 |
|
19 |
3 |
1 |
2 |
2 |
1 |
1 |
3 |
3 |
1 |
1 |
2 |
|
20 |
10 |
1 |
7 |
8 |
3 |
2 |
11 |
5 |
9 |
11 |
6 |
Таблица 3
Итоговая матрица рангов
|
№ эксперта |
Ранги факторов |
|||||||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
|
|
|
1 |
4 |
2 |
2 |
8.5 |
8.5 |
13 |
2 |
11.5 |
6.5 |
10 |
6.5 |
3222 |
|
2 |
4 |
2 |
3 |
10 |
8 |
13 |
1 |
12 |
7 |
9 |
6 |
- |
|
3 |
13 |
2 |
4 |
5 |
10 |
3 |
11 |
7 |
8 |
12 |
9 |
- |
|
4 |
8 |
4 |
12 |
13 |
6 |
7 |
3 |
2 |
9 |
10 |
5 |
- |
|
5 |
1.5 |
1.5 |
1.5 |
5 |
9.5 |
5 |
3 |
11 |
5 |
9.5 |
7.5 |
2223 |
|
6 |
3.5 |
3.5 |
3.5 |
11.5 |
3.5 |
3.5 |
7.5 |
13 |
3.5 |
7.5 |
9 |
622 |
|
7 |
2.5 |
4 |
6 |
10 |
5 |
7 |
8 |
12 |
9 |
11 |
1 |
2 |
|
8 |
8. |
1.5 |
1.5 |
8.5 |
4 |
3 |
6.5 |
12 |
5 |
13 |
6.5 |
222 |
|
9 |
5 |
3 |
12 |
11 |
1 |
5.5 |
3 |
10 |
7.5 |
5.5 |
3 |
322 |
|
10 |
13 |
6.5 |
12.5 |
9 |
12.5 |
6.5 |
3 |
1.5 |
4.5 |
9 |
4.5 |
32222 |
|
11 |
9 |
2 |
3 |
4 |
6 |
7 |
5 |
8 |
10 |
9 |
13 |
- |
|
12 |
1 |
3 |
12 |
13 |
6 |
11 |
10 |
1.5 |
7 |
4 |
8 |
2 |
|
13 |
5 |
1.5 |
8 |
3.5 |
1.5 |
8 |
5 |
12 |
6 |
10.5 |
8 |
2223 |
|
14 |
3.5 |
3.5 |
8 |
8 |
1.5 |
8 |
3.5 |
11 |
5.5 |
10 |
12 |
2223 |
|
15 |
1.5 |
1.5 |
7.5 |
3.5 |
3.5 |
9.5 |
5.5 |
12 |
5.5 |
11 |
7.5 |
22222 |
|
16 |
4.5 |
2 |
11 |
6.5 |
2 |
6.5 |
2 |
12 |
4.5 |
8 |
9 |
322 |
|
17 |
1 |
4.5 |
7 |
7 |
2.5 |
9 |
7 |
10 |
2.5 |
4.5 |
11.5 |
3222 |
|
18 |
4 |
1.5 |
12.5 |
11 |
8 |
8 |
12.5 |
8 |
1.5 |
8 |
8 |
5322 |
|
19 |
11 |
3.5 |
8 |
8 |
3.5 |
3.5 |
11 |
11 |
3.5 |
3.5 |
8 |
633 |
|
20 |
10 |
1 |
7 |
8 |
3 |
2 |
12 |
5 |
9 |
11 |
6 |
- |
|
|
110 |
54 |
148 |
164 |
105.5 |
139 |
121.5 |
122.5 |
120 |
176 |
149 |
|
|
|
10 |
66 |
28 |
44 |
14.5 |
19 |
1.5 |
62.5 |
0 |
46 |
29 |
- |
|
|
100 |
4356 |
784 |
1936 |
210.25 |
361 |
2.25 |
2906.25 |
0 |
2116 |
841 |
23116 |
Например, 6-й эксперт присвоил факторам 2, 7, 10, 11 одинаковые ранги 2; факторам 1, 5, 9 − ранги 1 и т.д. Поэтому матрицы таблиц были преобразованы так, чтобы сумма рангов в каждой строке равнялась сумме натурального ряда чисел от 1 до 11, т.е. , где n – число рангов. В последнем столбце табл. 2.3 показаны числа повторений рангов. За счет такого совпадения рангов дисперсия ранжирования ряда у i-го эксперта по анкете уменьшилась на величину:
.
В целом для преобразованной матрицы рангов такое уменьшение дисперсии равно:
где i=
число проектов; j=
число экспертов.
Для оценки согласованности мнений экспертов в определении важности факторов был рассчитан коэффициент средней согласованности:
где 
i-й ранг j-го специалиста.
Другим показателем согласованности экспертных оценок, учитывающим разброс от среднего уровня, является коэффициент конкордации:
где 
Коэффициент согласованности 
и коэффициент конкордации 
связаны соотношением:
В отличие от величины 
коэффициент конкордации принимает только положительные значения и изменяется от 0 до 1. Значение = 0 означает, что между экспертными оценками не существует никакой согласованности, a = 1 свидетельствует о полной согласованности экспертов в оценке факторов. При обработке экспертных оценок, как уже отмечалось, встречались случаи, когда отдельные эксперты присваивали разным факторам одинаковые ранги [44, 45]. За счет совпадения рангов дисперсия ранжирования ряда уменьшалась на 
, где l − число факторов с одинаковыми рангами. В целом, для матрицы рангов дисперсия уменьшится на величину:
Коэффициент конкордации определяется по формуле:
Для оценки значимости коэффициента конкордации 
находим 
.
При наличии в ранжировках совпавших рангов используется следующая формула:
Для числа степеней свободы, равного 11%-ного и 5%-ного уровня значимости, 
. Поскольку 
то полученный коэффициент конкордации является значимым и с вероятностью 0,95 можно утверждать, что существуюет определенная согласованность экспертов в оценке влияния факторов, изложенных в анкетах. Гипотеза о наличии согласия экспертов при ранжировании 11 факторов по каждой из двух рабочих анкет принимается. Данные анализа свидетельствуют о том, что эксперты большое значение придают фактору 2 как в первой анкете «Уровень механизации и состояние технической базы», так и во второй «Уровень механизации и автоматизации в выполняемых операциях», присваивая им ранг 1. Такая оценка не случайна. Она характеризует стремление всех категорий специалистов развивать материально-техническую базу на современной технической основе с использованием последних достижений передовой науки и техники, для достижения полной автоматизации всех технологических операций.
Заключение. Таким образом, привлечение квалифицированных специалистов, участвующих в различных сферах многозвенной технологии, позволило определить главные требования к технике для развития бизнес-инфраструктуры, как и в целом к материально-технической базе государств − членов ЕАЭС. Такое направление дает возможность выделить обоснованные критерии для разработки комплекса мероприятий по улучшению бизнес-инфраструктуры на территории ЕАЭС.
1. Zhanna Lemesheva, Oksana Yurchenko, Myron Karpovich, Zinaida Petrikova, Natalya Bratishko, Larisa Garipova. Formation of an effective management structure for enterprises in the energy sector of the economy // V sbornike: E3S Web of Conferences: 2018 International Science Conference on Business Technologies for Sustainable Urban Development, SPbWOSCE 2018.- 2019. S. 02129. DOI: https://doi.org/10.1051/e3sconf /201911002129.
2. Ekonomicheskiy i tamozhennyy risk-menedzhment. Anisimov V.G., Anisimov E.G., Arslanov R.F., Arslanova A.P., Bogoeva E.M., Goloskokov V.I., Lipatova N.G., Popov V.V., Saurenko T.N., Tebekin A.V. Gosudarstvennoe kazennoe obrazovatel'noe uchrezhdenie vysshego obrazovaniya "Rossiyskaya tamozhennaya akademiya". − Moskva, 2015. − 180 s.
3. Avdeev M.M. Informacionno-statisticheskie metody v upravlenii mikroekonomicheskimi sistemami / M.M. Avdeev [i dr.].- Sankt-Peterburg; Tula: Grif i K (Tula). 2001. − 139 s.
4. Teoreticheskie osnovy upravleniya innovaciyami. Anisimov V.G., Anisimov E.G., Petrov V.S., Rodionova E.S., Saurenko T.N., Tebekin A.V., Tebekin P.A. Sankt-Peterburg, 2016. − 472 s.
5. Upravlenie innovaciyami [Tekst]: monografiya / [V. G. Anisimov, E. G. Anisimov, S. L. Blau i dr.; po red. A. V. Tebekina]; Gosudarstvennoe kazennoe obrazovatel'noe uchrezhdenie vysshego obrazovaniya "Rossiyskaya tamozhennaya akademiya". − Moskva: Rossiyskaya tamozhennaya akad., 2017. − 452 s.
6. Balyasnikov V.V. Model' prichinnogo analiza na osnove ispol'zovaniya dannyh ob osobyh situaciyah / V.V. Balyasnikov [i dr.] // Voprosy oboronnoy tehniki. Seriya 16: Tehnicheskie sredstva protivodeystviya terrorizmu. − 2015. − № 1-2 (79-80). − S.31 - 38.
7. Gapov M.R., Rodionova E.S., Saurenko T.N., Silkina G.Yu., Tebekin A.V. Strategicheskoe upravlenie innovacionnoy deyatel'nost'yu: analiz, planirovanie, modelirovanie, prinyatiya resheniy, organizaciya, ocenka.- Sankt-Peterburg, 2017. − 312 s.
8. Bogoeva E.M., Saurenko T.N., Gar'kushev A.Yu. Metodologicheskie osnovy postroeniya pokazateley effektivnosti kontrol'noy deyatel'nosti organov gosudarstvennoy vlasti // Voprosy oboronnoy tehniki. Seriya 16: Tehnicheskie sredstva protivodeystviya terrorizmu. − 2015. − № 3-4 (81-82). − S. 17-20.
9. Zhanna Lemesheva, Ludmila Lavrova, Nikolay Chernegov, Maria Ivanova, Elena Akimova. Development of the mechanism of motivation and tangible incentivisation // V sbornike: MATEC Web of Conferences. 2018. S. 01094. DOI:https://doi.org/10.1051/matec conf/201817001094.
10. Saurenko T.N. Model' sravnitel'noy ocenki morskih torgovyh portov v mezhdunarodnoy transportnoy infrastrukture / T.N. Saurenko [i dr.] // Uchenye zapiski Krymskogo federal'nogo universiteta imeni V.I. Vernadskogo. Ekonomika i upravlenie. − 2020. − T. 6(72). − № 1. − S. 153-160.
11. Vedernikov Yu.V. Modeli i algoritmy intellektualizacii avtomatizirovannogo upravleniya diversifikaciey deyatel'nosti promyshlennogo predpriyatiya / Yu.V. Vedernikov [i dr.] // Voprosy oboronnoy tehniki. Seriya 16: Tehnicheskie sredstva protivodeystviya terrorizmu. − 2014. − № 5-6 (71-72). − S. 61-72.
12. Anisimov V.G. Matematicheskie metody i modeli v ekonomicheskom i tamozhennom risk-menedzhmente / V.G. Anisimov [i dr.].- Sankt-Peterburg, 2016. − 236 s.
13. Anisimov V.G. Modeli i metody resheniya zadach upravleniya innovacionnymi proektami: monografiya / V.G. Anisimov [i dr.]. − Moskva, 2009.- 90 s.
14. Il'in I.V. Matematicheskie metody i instrumental'nye sredstva ocenivaniya effektivnosti investiciy v innovacionnye proekty / I.V. Il'in [i dr.].- Sankt-Peterburg, 2018. 289 s.
15. Alexander L. Chupin, Oxana A. Yurchenko, Zhanna S. Lemesheva, Anna Y. Pak, Mikhail B. Khudzhatov. Development of Logistical Technologies in Management of Intellectual Transport Systems in the Russian Federation // Lecture Notes in Networks and Systems (sm. v knigah). 2020. T. 87. S. 778-784.
16. Saurenko T., Anisimov E., Anisimov V., Bagaeva I. Conceptual provisions for assessing the effectiveness of energy saving // E3S Web of Conferences. 2019.T 110. S. 02066. DOI: https://doi.org/10.1051/e3sconf/201911002066
17. Anisimov V., Anisimov E., Saurenko T. Enterprise product sales market selection model // E3S Web of Conferences. 2020. T. 217. S. 07024. DOI: https://doi.org/10.1051/e3sconf/202021707024.
18. Tebekin A.V. Metodicheskiy podhod k modelirovaniyu processov formirovaniya planov innovacionnogo razvitiya predpriyatiy / A.V. Tebekin [i dr.] // Zhurnal issledovaniy po upravleniyu. − 2019. − T. 5. − № 1. − S. 65-72.
19. Chvarkov S.V. Metodika sravnitel'noy ocenki proektov innovacionnogo razvitiya predpriyatiy voenno-promyshlennogo kompleksa / S.V. Chvarkov [i dr.] // Aktual'nye voprosy gosudarstvennogo upravleniya Rossiyskoy Federacii: Sbornik materialov kruglogo stola.- Moskva: Voennaya akademiya general'nogo shtaba vooruzhennyh sil Rossiyskoy Federacii, Voennyy institut (Upravleniya nacional'noy oboronoy). − 2018. − S. 59-67.
20. Anisimov A.V. Problema sravneniya i vybora varianta postroeniya sistemy bezopasnosti / A.V. Anisimov [i dr.] // Aktual'nye problemy zaschity i bezopasnosti: Trudy Chetvertoy Vserossiyskoy nauchno-prakticheskoy konferencii.- Sankt-Peterburg: Nauchno-proizvodstvennoe ob'edinenie special'nyh materialov. − 2001. − S. 348-351.
21. Barabanov V.V. Metod optimizacii resheniy po organizacii logisticheskih processov / V.V. Barabanov [i dr.] // Logistika: sovremennye tendencii razvitiya: Materialy XVII Mezhdunarodnoy nauchno-prakticheskoy konferencii.- Sankt-Peterburg: Federal'noe gosudarstvennoe byudzhetnoe obrazovatel'noe uchrezhdenie vysshego obrazovaniya Gosudarstvennyy universitet morskogo i rechnogo flota im. admirala S.O. Makarova. 2018. − S. 52-56.
22. Anisimov V.G., Zegzhda P.D., Suprun A.F., Anisimov E.G. The problem of innovative development of information security systems in the transport sector // Automatic Control and Computer Sciences. 2018. T. 52. № 8. S. 1105-1110.
23. Tebekin A.V. Sposob formirovaniya kompleksnyh pokazateley kachestva innovacionnyh proektov i programm / A.V. Tebekin [i dr.] // Zhurnal issledovaniy po upravleniyu. − 2018. − T. 4. − № 11. − S. 30-38.
24. Chvarkov S.V. Uchet neopredelennosti pri formirovanii planov innovacionnogo razvitiya voenno-promyshlennogo kompleksa / S.V. Chvarkov [i dr.] // Aktual'nye voprosy gosudarstvennogo upravleniya Rossiyskoy Federacii: Sbornik materialov kruglogo stola.- Moskva: Voennaya akademiya general'nogo shtaba vooruzhennyh sil Rossiyskoy Federacii, Voennyy institut (Upravleniya nacional'noy oboronoy). 2018. − S. 17-25.
25. Botvin G.A., Chernysh A.Ya., Chechevatov A.V. Analiz i ocenivanie effektivnosti investicionnyh proektov v usloviyah neopredelennosti.- Moskva: Voennaya akademiya General'nogo shtaba Vooruzhennyh sil Rossiyskoy Federacii; 2006. 288 s.
26. Bogoeva E.M., Korovina Ya.V. Metodika ocenivaniya effektivnosti funkcionirovaniya sistemy upravleniya riskami tamozhennyh organov Rossiyskoy Federacii // Krymskiy nauchnyy vestnik. − 2016. − № 3 (9). − S. 116 - 127.
27. Tebekin A.V. Upravlenie kachestvom. Uchebnik dlya bakalavrov / Moskva, 2012. Ser. 61 Bakalavr i magistr. Akademicheskiy kurs (1-e izd.)
28. Blau S.L., Novikov V.E., Tebekin A.V. Model' podderzhki prinyatiya resheniy pri formirovanii innovacionnoy strategii predpriyatiya // Ekonomika sel'skogo hozyaystva Rossii. − 2016. − № 3. − S. 53−59.
29. Anisimov V.G., Anisimov E.G., Gapov M.R., Saurenko T.N. Model' podderzhki prinyatiya resheniy pri formirovanii tovarnoy strategiii proizvodstvennoy programmy predpriyatiya // Vestnik Rossiyskogo universiteta druzhby narodov. Seriya: Ekonomika. − 2016. − № 2. − S. 62-73.
30. Tebekin A.V. Model' prognoza stoimosti i srokov modernizacii promyshlennyh predpriyatiy / A.V. Tebekin [i dr.] // Zhurnal issledovaniy po upravleniyu. − 2019. − T. 5. − № 3. − S. 31-37.
31. Anisimov V., Anisimov E., Sonkin M. A resource-and-time method to optimize the performance of several interrelated operations // International Journal of Applied Engineering Research. 2015. T. 10. № 17. S. 38127-38132.
32. Zegzhda P.D. Metodicheskiy podhod k postroeniyu modeley prognozirovaniya pokazateley svoystv sistem informacionnoy bezopasnosti / P.D. Zegzhda [i dr.] // Problemy informacionnoy bezopasnosti. Komp'yuternye sistemy. − 2019. − № 4. − S. 45-49.
33. Tebekin A.V. Metodika sravnitel'noy ocenki innovacionnyh proektov po sovokupnosti kolichestvennyh pokazateley / A.V. Tebekin [i dr.] // Zhurnal issledovaniy po upravleniyu. − 2019. − T. 5. − № 5. − S. 84-90.
34. Anisimov V.G. Metodicheskiy podhod k formirovaniyu portfelya zakazov predpriyatiya / V.G. Anisimov [i dr.] // Zhurnal issledovaniy po upravleniyu. − 2021. − T. 7. − № 2. − S. 41-50.
35. Anisimov V.G., Anisimov E.G., Saurenko T.N., Sonkin M.A. The model and the planning method of volume and variety assessment of innovative products in an industrial enterprise // Journal of Physics: Conference Series (sm. v knigah). 2017. T. 803. № 1. S. 012006. DOI:https://doi.org/10.1088/1742-6596/803/1/012006.
36. Saurenko T.N. Konceptual'nye polozheniya ocenki effektivnosti innovacionnogo razvitiya kompanii / T.N. Saurenko [i dr.] //Ekonomicheskie strategii EAES: problemy i innovacii: sbornik materialov II Vserossiyskoy nauchno-prakticheskoy konferencii.- Moskva: Rossiyskiy universitet druzhby narodov. − 2019. S. 217-234.
37. Anisimov E.G., Saurenko T.N., Bogoeva E.M., Anisimov V.G. Quantitative evaluation of the direction of the state customs policy // Sbornik materialov II Vserossiyskoy nauchno-prakticheskoy konferencii.- Moskva: Rossiyskiy universitet druzhby narodov. 2019. S. 8-17.
38. Saurenko T., Anisimov V., Anisimov E., Smolenskiy A., Grashchenko N. Justification of financing of measures to prevent accidents in power systems // Advances in Intelligent Systems and Computing (sm. v knigah). 2019. T. 983. S. 295-305. DOI:https://doi.org/10.1007/978-3-030-19868-8_30.
39. Saurenko T., Anisimov E., Anisimov V., Levina A. Comparing investment projects of innovative developing strategies of municipalities, based on a set of indicators // MATEC Web of Conferences: Ser. "International Science Conference SPbWOSCE-2017 "Business Technologies for Sustainable Urban Development"". 2018. S. 01038. DOI: https://doi.org/10.1051/matecconf/201817001038.
40. Anisimov V., Chernysh A., Anisimov E. Model and algorithm for substantiating solutions for organization of high-rise construction project // E3S Web of Conferences: Ser. "High-Rise Construction 2017, HRC 2017". 2018. S. 03003. DOI: https://doi.org/10.1051/e3sconf/20183303003.
41. Morkovkin D., Lopatkin D., Sadriddinov M., Shushunova T., Gibadullin A., Golikova O. Assessment of innovation activity in the countries of the world // E3S Web of Conferences. 2020. T. 157, s. 04015.
42. Gibadullin A.A., Romanova J.A., Morkovkin D.E., Pirakov R.M. Assessment of the level of environmental innovation in industrial production and information and communication sphere // Journal of Physics: Conference Series, 2020, 1679(5), 052076.
43. Gibadullin A.A., Yurieva A.A., Morkovkin D.E., Isaichykova N.I. Monitoring the reliability and efficiency of the electricity industry // IOP Conference Series: Materials Science and Engineering, 2020, 919(6), 062018.
44. Anisimov V.G., Anisimov E.G., Saurenko T.N., Tebekin A.V. Model' obosnovaniya programmy innovacionnogo razvitiya kompanii // Zhurnal issledovaniy po upravleniyu. − 2020. − T. 6. − № 2. − S. 32-41.
45. Alexey Ukhanov, Alexander Chupin, Zhanna Chupina. Model of economic growth of the economy of small and medium-sized enterprises in the context of the spread of coronavirus infection // E3S Web of Conferences. 2020. T 217. S. 07016. DOI: https://doi.org/10.1051/e3sconf/202021707016.
