ВведениеВ настоящее время генеративные модели, основанные на нейронных сетях глубокого обучения, используются для решения различных задач: генерация рукописных цифр [1], генерация лиц [2], написания стихов [3] и др.В современной медицинской практике, в том числе и в области кардиологии, продолжает сохраняться устойчивый рост использования методов автоматической обработки графических данных. Наиболее популярными являются алгоритмы обработки анатомических структур на основе данных МРТ и КТ. Однако в ряде случаев использование представленных модальностей невозможно, так как, например, основным ограничением компьютерной томографии (КТ) является отсутствие режима реального времени. Для решения данной проблемы необходимо разработать алгоритм трекинга и визуализации данных на основе интеллектуального анализа. GAN позволит синтезировать уникальные данные для обучения модели трекинга, подобно [4].Популярные генеративные модели, как ограниченная машина Больцмана и ее множество вариантов [5, 6, 7], были успешно использованы в ограниченных условиях, такие как послойная предварительная подготовка и некоторые прикладные задачи. Но общее развитие генеративных моделей как самостоятельных инструментов в значительной степени отстают, из-за, возникающих проблем, при оценке максимального правдоподобия. В этой статье мы предлагаем собственную архитектуру G, и приводим сравнение различных transferlearning моделей D для синтеза медицинских данных.Исследование2.1. Генеративно–состязательные сети. GAN состоят из двух нейронных сетей: генератора и дискриминатора. Генератор семплирует случайные числа из некоторого распределения  , входного шума, например   и генерирует из них объекты   , а дискриминатор, получая на вход семплы от оригинальной выборки   и генератора  , учится предсказывать природу семпла (откуда он пришел), выдавая на выходе скаляр  . На рисунке 1 представлена классическая структура GAN. Рис. 1. Классическая архитектура GANПроцесс обучения GAN можно представить в виде следующего алгоритма (генератор и дискриминатор обучаются отдельно, но в рамках одной сети):Шаг 1.    Задаем произвольный начальный G(Z).Шаг 2.    Обучаем дискриминатор, параметры   обновляются в сторону уменьшения бинарной кросс-энтропии (BCE сокр. от Binary Cross Entropy):                     (1)                     (2)Шаг 3.    Обучение генератора, обновляем параметры генератора   в сторону увеличения логарифма вероятности, а дискриминатору присвоить сгенерированному объекту лейбл реального:                             (3)Задачу, что решает GAN можно сформулировать следующим образом:                 (4)    (При заданном генераторе оптимальный дискриминатор выдает вероятность:                                     (5)В своей работе Ian J. Goodfellow [8] показывает, что при достаточной мощности обеих сетей у данной задачи есть оптимум, в котором генератор научится генерировать распределение  , совпадающее с  , а дискриминатор на любое   выдает вероятность 0,5. На рисунке 2 приведена иллюстрация процесса тренировки порождающих состязательных сетей GAN из [4]. Где, черная точечная кривая – настоящее распределение   , зеленая – распределение генератора  , синяя – распределение вероятности   дискриминатора предсказать принадлежность объекта. В результате многократного повторения шагов a, b, c  совпало с   и дискриминатор не способен отличить одно от другого. Рис. 2. Иллюстрация процесса тренировки GAN2.2.    Генератор. Для решения поставленной задачи было принято реализовать собственную глубокую архитектуру сети генератора (рисунок 3), базирующуюся на обучаемых сверточных и деконволюционных слоях с применением параллельной свертки и последующей конкатенации для усиления признаков. Стоит отметить, что глубокий сверточный генератор имеет 6 уровней повышения размерности и общее количество весов составило 17,074,528. Описание структуры уровня повышения (1 уровень, l = 6) приведено в таблице 1.  Рисунок 3.  Архитектура генератораТаблица 1. Описание слоев архитектуры генератора GName_layer    Kernel_size    Pool_size    Padding    filters    StridesConv2d    (3, 3)    None    same    512 (2**l*8)    NoneUp_Sampling2d    None    (2, 2)    None    None    NoneConv2d_1    (1, 1)    None    same    1024 (2**(l+1)*8)    NoneConv2dTranspose_1    (3, 3)    None    same    512 (2**l*8)    (2, 2)Conv2d_2    (1, 1)    None    same    1024 (2**(l+1)*8)    NoneConv2dTranspose_2    (1, 1)    None    same    512 (2**l*8)    (2, 2)2.3. Дискриминатор. В качестве дискриминатора было принято решение использовать модель transferlearning, обученные для нахождения вектора признаков (featurevector) изображений Imagenet. Рассмотренные модели приведены в таблице 2. Проведенный анализ показал, что модель Xception имеет наилучшее соотношение Accuracy / Parametrs, в связи с этим она будет использована для дальнейшего решения задачи. Общее количество весов модели представлено в таблице 3.Таблица 1. Таблица сравнения моделей transferlearnongModel    Size    Top-1 Accuracy    Top-5 Accuracy    ParametersResNet50    98 MB    0.749    0.921    25 636 712ResNet101    171 MB    0.764    0.928    44 707 176ResNet50V2    98 MB    0.760    0.930    25 613800InceptionV3    92 MB    0.779    0.937    23 851784MobileNet    16 MB    0.704    0.895    4 253864MobileNetV2    14 MB    0.713    0.901    3 538984NASNetMobile    23 MB    0.744    0.919    5 326716Xception    88 MB    0.790    0.945    22 910480Таблица 3. GAN Model Weights    Generator    Discriminator    GANTotal params    17 074528    20 867624    37 942152Trainable params    17 016608    2048    17 018 656Non-trainableparams    57920    20 865576    20 923 4962.4. Результаты. Результаты функций потерь отражены на рисунках 4 – 5. Исходя из графиков видно, что модель стремится свести ошибку к усредненному значению. Так каждый скачек потери генератора, сказывается уменьшением ошибки дискриминатора и наоборот.  Процесс обучения апробирован на медицинских данных, полученные результаты, представленный в таблице 4. В строке а) – примеры изображений, генерируемых сетью GAN после 1-ой, 100-ой и 200-ой эпохи обучения соответственно. Можно заметить, что результат становится лучше в процессе обучения. В строке б) представлены результаты 200-ой, 250-ой и 300-ой эпохи соответственно, тенденция по улучшению в строке а) сохраняется. В строке в), отображающей результат после 300-ой, 350-ой и 400-ой эпохи соответственно изображение, генерируемые сетью, продолжают улучшаться (информативность растет). В строке г), результаты 400-ой, 500-ой и 600-ой эпохи соответственно. По данным результатам видно, что изображения достигли высокой точности к концу обучения, а значит сеть обучена и готова к использованию. Рис. 4. Динамика кросс-энтропии дискриминатора Рис. 5. Динамика кросс-энтропии генератораТаблица 4. – Визуализация процесса обученияа) визуализация результата с 1 по 200 эпоху               б) визуализация результата с 200 по 300 эпоху               в) визуализация результата с 300 по 400 эпоху               г) визуализация результата с 400 по 500 эпоху               ЗаключениеВ результате исследования была разработана собственная архитектура глубокого сверточного генератора, а также скомпилирована модель дискриминатора для GAN, на основе которой произведена генерация медицинских данных. Данный метод использован в качестве расширения исходной выборки с последующим использованием ее в задаче трекинга ключевых точек анатомических структур и медицинских инструментов.Данная работа выполнена в рамках РФФИ 19-07-00351\19 и государственного задания «Наука» №FFSWW-2020-0014.