OPTIMIZING THE SEQUENCE OF ENTERPRISE ORDERS USING HEURISTIC ALGORITHMS
Abstract and keywords
Abstract (English):
The production process of fulfilling orders with parameters that require equipment readjustment is considered. The problem of determining the optimal strategy for the production equipment changeover is an optimization problem, which is formulated as a travelling salesman problem. When solving such a task, the graph nodes are orders, the arcs are changeovers with a known cost when moving from one order to another. The optimization criterion is the minimum total cost of equipment changeovers. Based on the cost matrix of equipment changeovers when executing orders with the known parameters, research is carried out to solve the problem using the 2-opt local search algorithm and the genetic algorithm. Examples are given for estimating the total cost of changeovers for orders that have several parameters with different levels. The steps for implementing heuristic algorithms to solve the problem are presented, and the results of experiments are shown.

Keywords:
industrial enterprise, orders with parameters, equipment changeover, optimization, travelling salesman’s problem, fully connected graph, 2-opt algorithm, genetic algorithm
Text

Введение

 

В статье рассматривается производственный процесс последовательного выполнения заказов, которые характеризуются множеством параметров. Такими параметрами заказа могут быть, например, цвет продукции, размеры, вес, форма и др. Для каждого параметра заказа предусматриваются уровни (например, для цвета – красный, белый, желтый, зеленый и др.) и определяются матрицы стоимостей переналадок производственного оборудования при переходе от одного уровня к другому.

Переналадка оборудования – это изменение настроек или компонентов производственного оборудования для переключения между производством разных типов продукции. Переналадка может включать в себя замену инструментов, установку новых программных настроек или комбинацию этих и других действий для подготовки оборудования к производству определенного изделия. При этом для переналадки оборудования требуются опытные работники – специалисты в области производства и управления производственными процессами, чтобы быстро и эффективно перенастроить машины.

Выходными параметрами производственного процесса являются, например, стоимость произведенной продукции; время, затраченное на ее производство, стоимость переналадок оборудования при выполнении заказов. При составлении плана выполнения значительного количества заказов возникает сложность планирования последовательности выполнения заказов с учетом требуемых переналадок оборудования. Переналадка оборудования регламентируется определенным временем, в течение которого заказы на определенных этапах не выполняются. Нерациональный порядок выполнения заказов на различных этапах производственного процесса может привести к повышению стоимости продукции из-за переналадок и/или долгосрочного выполнения на одном из этапов, что приведет к переносу сроков выполнения. Задача сокращения сроков выполнения заказов в производстве решается, например, путем разработки и использования автоматизированной системы планирования производства [1]. Эффект достигается за счет автоматизации выполнения трудоемких и рутинных операций по ведению оснастки.

Известно решение задачи для сокращения непроизводительных потерь времени в многономенклатурных производствах, связанных с необходимостью переналадок оборудования при смене ассортимента продукции [2]. Разработана модель производственной ситуации в виде комбинаторной задачи поиска простой цепи в полном ориентированном графе с нагруженными дугами. Предложен эвристический метод решения задачи, использующий ряд приемов, позволяющих существенно сократить объем перебора при поиске варианта очередности обработки небольшого количества различных видов продукции, приемлемого по критерию суммарной длительности переналадок.

Выполнены исследования по разработке инструментов для быстрой переналадки оборудования SMED (Single Minute Exchange of Dies). В SMED время, затрачиваемое на замену формы или штампа, должно составлять менее десяти минут. Это повышает производительность за счет сокращения времени, затраченного для переналадки производственного оборудования [3].

Важным направлением является исследование в теории производственных расписаний задачи коммивояжера TSP (Travelling Salesman Problem), к которой сводится поиск оптимальной последовательности выполняемых заказов при их значительном количестве. Например, показано, что метаэвристика POPMUSIC (Partial OPtimization Metaheuristic Under Special Intensification Conditions) очень эффективна для решения различных сложных комбинаторных задач [4]. При этом разрабатываются эвристические приемы, позволяющие сократить выбор дуг исследуемого графа для получения лучшего решения за короткое время.

В задаче TSP с количеством узлов графа более тысячи используются современные методы машинного обучения [5]. Для сокращения временных затрат ограничивается пространство поиска при получении решения и, соответственно, снижается вычислительная нагрузка. Модель машинного обучения используется для выбора высоковероятных дуг при конструировании лучшего решения.

Масштабируемость алгоритмов решения проблемы коммивояжера (TSP) для обработки крупномасштабных задач является актуальной проблемой. Проведены исследования с миллионом узлов графа и ограничением времени вычислений до одного часа. Предложены алгоритмы, применяющие методы кластеризации узлов графа и использования генетического алгоритма для каждого кластера в отдельности на основе концепции «разделяй и властвуй» [6, 7]. Другим направлением сокращения времени построения лучшего решения для больших данных является применение облачных вычислений [8].

В представленной работе рассматривается задача определения оптимального порядка выполнения заказов, при котором минимизируется суммарная стоимость переналадок оборудования. Проблема формализуется в виде задачи коммивояжера с применением алгоритма локального поиска 2-opt и генетического алгоритма для большого количества заказов, имеющих несколько параметров с разными уровнями.

 

Материалы и модели

 

Пусть имеется мультимножество , заказов с множеством  параметров, требующих переналадки производственного оборудования, на котором заказы должны быть выполнены. Параметры имеют множество дискретных значений , , которые будем именовать уровнями.

Каждый заказ требует определенной настройки оборудования, которая определяется разной стоимостью cij в зависимости от требуемой переналадки при переходе от заказа zi к заказу zj c другими уровнями параметров (рис. 1).

 

Рисунок 1.tif

 

Рис. 1. Стоимость переналадки оборудования  при переходе в процессе производства от заказа к заказу

Fig. 1. The cost of equipment changeover during the transition from order  to order  in the production process

 

Заказы с одинаковыми уровнями параметров  не требуют переналадки и объединены в один кластер . Аналогично заказы  объединены в кластер  (см. рис. 1). Таким образом, рассматривается множество Z, |Z| < |ZM| заказов с разными уровнями параметров.

Цель состоит в определении оптимальной последовательности выполнения заказов и переналадок оборудования, чтобы минимизировать стоимость настройки оборудования и общую стоимость выполнения множества заказов.

Задача определения оптимальной стратегии переналадки производственного оборудования является задачей оптимизации, которая может быть сформулирована как задача коммивояжера.

Математически задача определяется следующим образом: пусть имеется множество узлов графа, каждый из которых соответствует определенному заказу. Между узлами есть дуги, которые соответствуют переналадкам оборудования. Каждая переналадка оборудования имеет свою стоимость (может быть представлена временными параметрами). Требуется найти путь минимальной стоимости в этом графе, который будет соответствовать оптимальной последовательности выполнения заказов и переналадок оборудования.

Решение этой задачи может быть получено с использованием алгоритмов решения задачи коммивояжера, таких как жадный алгоритм, динамическое программирование, метод ветвей и границ, эволюционные алгоритмы и др. При этом необходимо учитывать все возможные варианты переналадок оборудования.

Для формализации производственного процесса введем обозначения матриц стоимостей переналадки параметров оборудования. В общем виде будет рассматриваться случай с  параметрами, каждый из которых имеет ,  различных уровней. Например, в общем случае параметр l1 имеет  уровней, параметр l2 имеет  уровней и т. д. Матрица  стоимостей переналадки для параметра  между уровнями в общем случае:

где  – количество параметров,  – количество уровней q-го параметра,      – стоимость переналадки для q-го параметра при переходе с уровня i на уровень j (например, стоимость перехода в крашении с белого на красный цвет отличается от стоимости перехода с красного цвета на белый, т. е. ).

В терминах задачи о коммивояжере будем рассматривать стоимость переналадки оборудования между выполняемыми заказами, как расстояние между заказами сij (см. рис. 1). Пусть имеется |Z| заказов с параметрами:

.

Каждый заказ zi характеризуется параметрами с соответствующими уровнями:

Тогда матрица расстояний С между заказами принимает вид:

где |Z| – количество заказов.

Стоимости переналадки оборудования  при переходе в процессе производства от заказа  к заказу могут быть рассчитаны по следующей формуле:

                                                               

где  – стоимость переналадки оборудования для q-ого параметра, .

Пример. Пусть рассматривается случай с четырьмя параметрами ( ), каждый из которых имеет четыре уровня ( = 4, ). Матрица стоимостей переналадки оборудования между уровнями параметров имеет вид:

, q = 1, …, 4.

Матрицы стоимости переналадки между уровнями для каждого из параметров:

Параметру l1 соответствуют номера строк и столбцов матрицы P1, параметру l2 соответствуют номера строк и столбцов матрицы P2 и т. д.

Параметры четырех заказов с соответствующими уровнями представлены в табл. 1.

 

Таблица 1

Матрица уровней параметров четырех заказов

Table 1

Matrix of parameter levels for four orders

Заказы

Уровень
параметра
l1

Уровень
параметра
l2

Уровень
параметра
l3

Уровень
параметра
l4

z1

3

4

2

2

z2

4

1

1

2

z3

3

3

3

2

z4

2

2

4

3

 

Требуется определить стоимость оптимальной последовательности выполнения заказов.

Решение. Найдем стоимость c12 переналадки между заказами z1 и z2.

Шаг 1. В матрице P1 находим значение  (см. табл. 1).

Шаг 2. В матрице P2 находим значение  (см. табл. 1).

Шаг 3. В матрице P3 находим значение  (см. табл. 1).

Шаг 4. В матрице P4 находим значение  (см. табл. 1).

Шаг 5. Находим суммарное значение переналадок по всем параметрам:

Аналогично по шагам 1 – 5 найдем стоимость c21 переналадки между заказами z2 и z1:

Повторяя шаги 1 – 5 заполняем матрицу расстояний С между заказами, по которой определим оптимальный порядок выполнения заказов, минимизирующий суммарную стоимость переналадок оборудования:

Минимальная стоимость CZ последовательности выполнения заказов z4, z3, z2, z1:

CZ C (z4z3z2z1) = c43 + c32 + c21 = 42.

Для решения задачи определения оптимального порядка выполнения заказов ,  при котором суммарная стоимость переналадок оборудования будет минимальной, предлагается применение алгоритма локального поиска 2-opt и генетического алгоритма. В качестве хромосом при решении данной задачи предлагается использовать вектора последовательностей заказов, характеризуемых суммарными стоимостями переналадок оборудования.

 

Эксперименты и методы

 

Методы, которые обеспечивают нахождение оптимального решения задачи, называются точными методами. Алгоритм поиска оптимального решения заключается в том, чтобы перебрать все возможные варианты решений, оценить их результат согласно целевой функции и выбрать наилучшее. Однако очевидно, что такой поиск крайне неэффективен и неосуществим из-за огромного количества возможных вариантов решений. На практике требуются решение больших задач, следовательно, акцент смещается с цели поиска точно оптимальных решений на цель получения эвристически хороших решений за разумное время.

Эвристические алгоритмы – это вероятностные алгоритмы поиска, предназначенные для решения задачи практическим путем в тех случаях, при которых найти точное решение не удается.

Алгоритм локального поиска 2-opt. Алгоритм локального поиска 2-opt – алгоритм парного сравнения, является наиболее простым и в то же время эффективным среди алгоритмов, используемых при решении задачи коммивояжера [9]. При выполнении алгоритма исследуется заданная последовательность заказов, которая улучшается с помощью шагов реализации согласно критерию стоимостной оценки. При этом для рассматриваемой задачи последовательность заказов на предыдущих этапах не сохраняется, кроме значения общей стоимости переналадки оборудования.

2-opt алгоритм является простым и эффективным благодаря итерациям, направленным на уменьшение стоимости переналадок между двумя парами случайных заказов путем изменения (обмена) переходов между ними. Работа алгоритма продолжается, пока не будет достигнуто заданное количество итераций для обмена между парами заказов. Выбор двух переходов между заказами для последующих преобразований осуществляется в наборе между двумя случайными парами. Обмен переходов происходит только в том случае, если стоимость переналадки уменьшится в результате итерации.

Алгоритм поиска оптимального порядка выполнения заказов 2-opt реализуется следующей последовательностью шагов.

Шаг 1. Указать исходные данные для генерации начальной последовательности выполнения заказов: количество заказов, количество итераций для преобразования переходов, матрицу стоимостей переналадки оборудования для ассиметричной задачи (т.к. стоимость переходов между парой заказов в одном направлении отличается в обратном).

Шаг 2. Сгенерировать последовательность выполнения заказов, например,
(5, 6, 3, 1, 4, 2).

Шаг 3. Вычислить для указанной в шаге 2 последовательности стоимость переналадок оборудования между заказами СZ = C(5, 6, 3, 1, 4, 2) = 94, согласно значениям, приведенным в табл. 1.

Шаг 4. Реализовать итерации на данном шаге:

    1. Выбираем два перехода между заказами в текущей последовательности. Пусть это будут заказы (5, 6) и (1, 4).
    2.  Производим обмен переходов между заказами (5, 1) и (6, 4), образуя новую последовательность выполнения заказов (5, 1, 3, 6, 4, 2) (рис. 2).

 

 

Рис. 2. Итерация алгоритма 2-opt

Fig. 2. Iteration of the 2-opt algorithm

 

    1. Определяем стоимость последовательности выполнения заказов. Если полученная стоимость СZ = C(5, 1, 3, 6, 4, 2) = 91 оказалась меньше предыдущей, то производим следующие итерации с новой последовательностью.

Шаг 5. Повторить шаг 4 столько раз, сколько задано количество итераций.

Шаг 6. Определить последнее решение в качестве наилучшего в работе алгоритма с наименьшим значением стоимости переналадки.

Генетический алгоритм. Генетический алгоритм широко используется для решения NP-полных задач в различных предметных областях, которые в свою очередь не могут быть решены алгоритмами перебора. Является перспективным алгоритмом для решения задачи коммивояжера [10]. Цель настоящего исследования – определить последовательность выполнения всех заказов, где общая сумма, которая определяется стоимостью переналадки оборудования между заказами, будет минимальной.

Чтобы применить генетический алгоритм для решения задачи оптимизации, необходимо установить, что является популяцией, хромосомой, геном, выбрать способ кодирования решений.

Популяция – это множество возможных решений поставленной задачи, образующее пространство поиска. В популяции представлены хромосомы – наборы параметров, определяющие предлагаемое возможное решение. Ген – один из параметров хромосомы. Скрещивание – операция, при которой хромосомы обмениваются генами. Мутация – случайная перестановка нескольких генов в хромосоме. Приспособленность – оценка хромосомы согласно целевой функции. Поколение – одна итерация алгоритма.

Для решения поставленной задачи хромосомой представляется множество заказов, указанные в последовательности их выполнения на оборудовании. Каждый ген хромосомы – это отдельный заказ, который не может повторяться дважды в одной хромосоме. Например, хромосому из шести заказов представим в виде (5, 1, 3, 6, 4, 2). Приспособленностью хромосомы будет являться стоимость переналадок оборудования при выполнении заказов.

Пусть, например, имеется шесть заказов. Матрица стоимостей переналадок оборудования при выполнении заказов представлена в табл. 2.

 

Таблица 2

Матрица стоимостей переналадки оборудования

Table 2

Equipment reconfiguration cost matrix

№ заказа

1

2

3

4

5

6

1

0

10

22

33

24

19

2

5

0

12

10

3

29

3

11

10

0

24

19

16

4

12

21

18

0

18

3

5

15

19

7

15

26

15

6

36

15

14

17

0

9

 

Генетический алгоритм поиска оптимальной последовательности выполнения заказов реализуется следующими шагами.

Шаг 1. Установить параметры для поиска наилучшего решения: размер популяции, количество поколений, процент мутации.

Шаг 2. Сгенерировать начальную популяцию. В качестве первой хромосомы в популяции установим гены (заказы) в порядке возрастания их номера (1, 2, 3, 4, 5, 6). Генерируем следующие хромосомы в популяции, переставляя гены случайным образом, пока не достигнем необходимого размера популяции.

Шаг 3. Вычислить для каждой хромосомы в популяции, согласно значениям, приведенным в табл. 2, приспособленность (сумму стоимостей переналадок оборудования).

Шаг 4. Применить операцию скрещивания.

4.1 Выбрать случайным образом пару хромосом. Пусть парой выбранных хромосом являются Ch1: (5, 1, 3, 6, 4, 2) и Ch2: (2, 6, 1, 3, 5, 4) со значениями функции приспособленности 91 и 121 соответственно (рис. 3).

 

Хромосомы

Гены

Приспособленность

Ch1

5

1

3

6

4

2

91

Ch2

2

6

1

3

5

4

121

 

Ch11

5

1

3

4

6

2

79

Ch22

2

6

1

4

3

5

135

 

Рис. 3. Применение операции скрещивания

Fig. 3. Application of the crossing operation

 

4.2 Сгенерировать точку разрыва (выделена полужирно на рис. 3).

4.3 Часть генов Ch1 до точки разрыва, копируем в Ch11 (новую хромосому).

4.4 Часть генов Ch2 после точки разрыва, копируем в Ch11, если данные гены еще не были унаследованы. 

4.5 Если не все гены Ch11 были заполнены, то выбираем не унаследованные гены Ch1;

4.6 Аналогичным образом формируем гены Ch22. Копируем часть генов Ch2 до точки разрыва, часть Ch1 после точки разрыва, заполняем не унаследованными генами Ch2.

Шаг 5. Применить операцию мутации. На данном шаге осуществляем обмен двух сгенерированных генов в случайной хромосоме. Интерпретация хромосом означает получение фенотипа из генотипа, т.е. определение порядка выполнения заказов (рис. 4).

 

Хромосома

Гены

Приспособленность

Ch11

5

3

1

6

4

2

69

Фенотип

               

 

Рис. 4. Фенотип операции мутации

Fig. 4 The phenotype of the mutation operation

 

Шаг 6. Добавить полученные хромосомы-потомки (Ch11, Ch22) в популяцию, образовавшуюся после операции мутации на шаге 4.

Шаг 7. Сортировать все хромосомы в порядке возрастания значений функции приспособленности и удалить из популяции наименее приспособленные хромосомы в количестве, добавленном на шаге 6.

Шаг 8. Повторить шаги 3 – 7 в соответствии с заданным количеством поколений.

Шаг 9. Определить решение в качестве наилучшего в работе алгоритма, равное хромосоме с наименьшим значением приспособленности.

 

Результаты

 

На основании матриц P1,…, P4 стоимостей переналадки между уровнями для каждого из параметров, полученных в ходе постановки задачи (см. табл. 1), проведены исследования алгоритма локального поиска 2-opt и генетического алгоритма при различных начальных условиях (размер популяции, количество итераций (поколений)). Для генетического алгоритма принято решение об исследовании задачи управления порядком выполнения заказов с размером популяции, равным семидесяти хромосомам.

Итоговые результаты исследований представлены в табл. 3. В ходе экспериментов решались задачи тестирования программных продуктов, оценки погрешности полученной приспособленности, определения времени поиска решения.

 

Таблица 3

Результаты исследования эвристических алгоритмов

Table 3

Results of the study of the heuristic algorithms

Кол-во заказов,

|Z|

Генетический алгоритм

2-opt

Лучшее решение, CZ

Время поиска, T [с]

Количество поколений, K

Лучшее решение, CZ

Время поиска, T [с]

Количество итераций, K

4

42

0,33

100

42

1,57

100

10

60

0,89

1000

62

1,59

20

78

80,25

100000

78

1,63

30

100

88,39

99

1,80

40

147

955,10

1000000

129

20,80

1000

50

169

1014,40

183

1128,20

10000

60

228

1113,20

225

1168,30

70

286

1442,80

279

1253,40

80

311

1467,10

307

1481,90

90

353

1513,80

362

1896,70

100

396

1357,70

386

2273,30

120

441

2646,90

344

3087,60

140

590

3258,40

356

6398,30

 

В результате исследований экспериментальные данные позволяют провести анализ общей стоимости переналадок оборудования CZ выполнения заказов, времени (T, с) нахождения лучшего решения, приближенного к оптимальному, за количество итераций в алгоритме 2-opt и поколений K в генетическом алгоритме. Критерием для остановки алгоритма 2-opt (генетического алгоритма) является количество итераций (поколений) K.

Зависимость стоимости CZ переналадки оборудования от количества заказов согласно выполняемым алгоритмам представлена на рис. 5.

 

 

Рис. 5. Зависимость стоимости переналадки оборудования от количества заказов

Fig. 5. Dependence of the cost of equipment changeover on the number of orders

В исследовании с количеством заказов |Z| = 4 решение получено методом полного перебора (число перестановок равно 24) с применением алгоритма 2-opt и генетического алгоритма. Результаты во всех случаях совпадают, абсолютная погрешность равна нулю. Алгоритмы находят оптимальное решение за короткое время, благодаря рациональному заданию количества итераций (поколений) K = 100.

В исследовании при |Z| = 10 метод полного перебора не применялся в связи с 3628800 вариантами для поиска оптимального значения. Так же с увеличением числа заказов |Z| для поиска лучших решений необходимо увеличивать количество поколений, что в итоге приводит к увеличению вычислительных затрат и, соответственно, увеличению времени поиска лучшего решения.

 

Заключение

 

Полученные результаты работы генетического алгоритма и алгоритма локального поиска 2-opt при большом количестве заказов являются приближенными, не являются оптимальными. Однако полученные решения являются рациональными для практического применения.

Согласно данным экспериментов (см. табл. 3, рис. 5), алгоритм 2-opt в большинстве случаев показал стоимость переналадок лучше, чем генетический алгоритм, однако для поиска решений потребовалось больше времени.

С ростом масштабируемости задачи возникает необходимость увеличения итераций (поколений), что приводит к значительному времени работы алгоритмов (рис. 6).

 

Рис. 6. Зависимость времени работы алгоритма от количества заказов

Fig. 6. The dependence of the algorithm's operating time on the number of orders

 

Для получения количественных оценок эффективности алгоритмов используется непараметрический тест Мак-Немара (McNemar’s test) [11]. При этом введены номинативные переменные: 1 – быть лучше и 0 – быть хуже по времени поиска решения. В соответствии с тестом Мак-Немара по данным табл. 3 построена матрица 2×2, для которой на языке программирования R получено следующее решение:

> data<-matrix(c(0,9,3,2),2,2)

> data

[,1] [,2]

[1,]    0    3

[2,]    9    2

> mcnemar.test(data,correct=TRUE)

        McNemar's Chi-squared test with continuity correction

data:  data

McNemar's chi-squared = 2,0833, df = 1, p-value = 0,1489

 

Нулевая гипотеза для парных сопоставлений эвристических алгоритмов состоит в том, что доля алгоритмов, лучших по времени поиска решения, одинакова для количества заказов |Z|, равных 4, 10, 20, 30, 40, 50, 60,70, 880, 90, 100, 120, 140 (см. табл. 3). В соответствии с полученным решением p-value = 0,1489 на уровне значимости α = 0,05 недостаточно оснований, чтобы отвергнуть нулевую гипотезу.

Практическая значимость исследований состоит в численных результатов применения алгоритма локального поиска 2-opt и генетического алгоритма для решения задачи управления последовательностью выполнения большого количества заказов при планировании производства.

При решении задачи планирования с количеством заказов 100 и более рекомендуется составлять уравнение Парето-оптимальности для определения оптимального решения в многокритериальной оптимизации, где необходимо удовлетворить несколько критериев одновременно (в данном случае CZ – лучшее решение и T – время поиска) [9].

References

1. Terekhov M.V., Zaikin V.S., Averchenkov A.V. Improving Production Efficiency Based on the Development of an Automated Production Planning System. Automation and Modeling in Design and Management. 2021;2(12):49-57.

2. Soshnikov A.V. Express Method for Reducing Time Lost on Equipment Changeovers When Changing Product Range. The National Association of Scientists. 2020;1(57):43-48.

3. Saravanana V., Nallusamyb S., Balajic K. Lead Time Reduction Through Execution of Lean Tool for Productivity Enhancement in Small Scale Industries. International Journal of Engineering Research in Africa. 2017;29:165-174.

4. Taillard É.D., Helsgaun K. POPMUSIC for the Travelling Salesman Problem. European Journal of Operational Research. 2019;2(272):420-429.

5. Mele U.J., Gambardella L.M., Montemanni R.A New Constructive Heuristic Driven by Machine Learning for the Traveling Salesman Problem; 2021.

6. Alhanjouri M.A. Proposed Algorithms to Solve Big Data Traveling Salesman Problem. International Journal of Innovative Science, Engineering & Technology. 2018;5(6):14-20.

7. Mariescu-Istodor R., Fränti P. Solving the Large-Scale TSP Problem in 1 h: Santa Claus Challenge 2020. Frontiers in Robotics and AI. 2021;8:1-20.

8. Gawali M.B., Shinde S.K. Task Scheduling and Resource Allocation in Cloud Computing Using a Heuristic Approach. Journal of Cloud Computing: Advances, Systems and Applications. 2018;4:16.

9. Avdoshin S.M., Beresneva E.N. The Metric Travelling Salesman Problem: The Experiment on Pareto-optimal Algorithms. TrudyISPRAN/Proc. ISPRAS. 2017;29(4):123-138.

10. Kureichik V.M., Logunova Yu.A. The Genetic Algorithm Application Prospects Analysis for the Traveling Salesman Problem Solution. Information Technologies. 2018;24(11):691-697.

11. Tinungki G.M. Implementation of McNemar’s Teston the Cellular Operator Company in the Comparative Hypotheses Test for Two Correled Samples. International Journal of Applied Engineering Research. 2018;13(12):10651-10657.

Login or Create
* Forgot password?