В статье рассмотрены методические аспекты создания искусственных нейронных сетей (ИНС) для детектирования и классификации транспортных средств на монохромных изображениях, снятых с беспилотного летательного аппарата (БЛА). Дано краткое математическое описание ИНС, параметры обучения и способы обработки монохромных изображений и формирования обучающей выборки.
искусственные нейронные сети, распознавание классов объектов, распознавание транспортных средств, детектирование на монохромных снимках
В последнее десятилетие происходит активное внедрение технологий компьютерного зрения во многие сферы деятельности. Так, в связи с внедрением концепции «Умный город» и увеличением транспортного потока для управления транспортной сетью крупных городов требуются системы автоматического детектирования и контроля трафика на дорогах [1-5]. На данный момент в крупных городах за автомобильными дорогами ведется круглосуточное видеонаблюдение, как с помощью стационарных фото-, видеокамер, так и с помощью фото- и видеокамер, размещаемых на беспилотных летательных аппаратах, и осуществляется автоматическое детектирование и классификация транспортных средств с высокой достоверностью. Но широкое применение данных систем ограничивается высокой стоимостью оборудования и сопутствующей инфраструктуры хранения, передачи, обработки и защиты информации [6-11]. Одним из направлений удешевления процесса внедрения систем автоматического детектирования и контроля транспортных средств на дорогах является реализация в системах фото- и видеонаблюдения методов детектирования и классификации по монохромным изображениям, достоверность результатов которых будет соответствовать достоверности, получаемой при обработке цветных фото- и видеоизображений. Это позволит значительно сократить расходы, как на аппаратуру видеонаблюдения, так и на сопутствующую инфраструктуру, необходимую для обеспечения хранения и обработки и передачи изображений [12-18].
Таким образом, целью настоящей работы является определение архитектуры ИНС и методов её обучения для детектирования и классификации транспортных средств на дорогах по оптическим монохромным снимкам, снятым с БЛА на ближней и средней дистанциях (от 40 до 300 метров) с различных ракурсов с достоверностью распознавания класса, сопоставимой с получаемой при детектировании по цветным снимкам.
В настоящее время активно проводятся исследования в области детектирования и классификации транспортных средств. Например, в работе [19] предлагается система по распознаванию транспортных средств на основе сверточной ИНС R-CNN [20]. В ней в качестве источника данных использованы цветные изображения, снятые с БЛА. В данной работе получены достаточно хорошие результаты при классификации транспортных средств, однако в случае если на изображении не подобран масштаб, т.е. съемка осуществляется с фиксированной высоты, то распознавание осуществляется некорректно и учащаются ложноположительные ошибки, когда вместо транспортных средств распознаются элементы домов. В работе [21] автор сравнивает три способа детектирования целей: с помощью смеси Гауссовых распределений (MOG – Mixture of Gaussian), с помощью сверточной нейронной GoogLeNet и с помощью HOG (histogram of oriented gradients). В данной работе получены высокие значения достоверности распознавания для первых двух используемых методов (96 и 94% соответственно), однако наблюдение за транспортными средствами происходит на цветных изображениях под фиксированным углом, с обзором только на дорогу. В работе [22] авторы исследовали алгоритмы детектирования транспорта на дорогах для дальнейшего распознавания номеров машины с помощью библиотеки алгоритмов обработки изображений – OpenCV. У авторов удалось получить невысокую точность (70%) распознавания, которая связана с тем, что обычные алгоритмы обработки изображений значительно проигрывают ИНС при решении задач классификации. Кроме этого, как и в предыдущей работе, обзор за транспортными средствами проводился на цветных оптических изображениях под фиксированным углом с помощью стационарной камеры.
Анализ работ в области детектирования и классификации транспортных средств на дорогах показал, что, хотя и существует множество решений для детектирования транспортных средств, все они реализованы только для цветных изображений с привязкой к ракурсу и высоте наблюдения за объектами. Кроме этого, проведенный анализ существующих методов распознавания показал, что ИНС со сверточной архитектурой при обработке фото- и видеоматериалов дают достоверность классификации значительно выше, чем обычные алгоритмы обработки изображений. Исходя из вышеизложенного, для решения задачи детектирования и классификации транспортных средств на дорогах по черно-белым снимкам, полученным с БЛА, целесообразно использовать ИНС со сверточной архитектурой.
В качестве методической основы решения задачи детектирования и классификации транспортных средств на дорогах по монохромным снимкам, полученным с БЛА, использованы инструменты программного продукта MATLAB – Image and Video Ground Truth Labeling и готовая архитектура нейронной сети по детектированию объектов на изображениях: ACF-detector, из пакета Deep Learning Toolbox.
Для обучения ИНС детектирования и классификации транспортных средств, на этапе подготовки исходных данных, было получено 245 305 монохромных изображений разрешением 1024х512 пикселей на различных высотах и с различных углов обсервации. Так как интерес представляют только снимки, снятые с БЛА на ближней и средней дистанциях, то из исходных данных были исключены изображения, на которых были сняты транспортные средства, либо слишком близко, либо слишком далеко. В итоге было получено 48 935 изображений.
Далее для решения задачи детектирования объектов была проведена разметка изображений транспортные средства на изображениях. Пример разметки приведен на рис. 1.
|
|
|
Рис. 1. Пример разметки изображения
На данном изображении показана разметка 2-х классов транспортных средств: легкового и грузового автотранспорта. Также произведена семантическая сегментация на дороги и остальную область (леса, поля, дома и т.д.). Данные о разметке записаны в структуре Ground Truth, рамки размеченных объектов представлены в виде целочисленного вектора - [left bottom width height], т.е. координата левой нижней точки рамки и ширина, и высота самой рамки. Таким образом, на данном этапе размечено всего 620 изображений.
На предварительном этапе детектирования был использован детектор ACF Object detector [23], так как он имеет простую архитектуру, вследствие чего имеет низкие требования к вычислительным ресурсам компьютера, что позволило сократить время на проверку гипотез. Структура детектирования для детектора ACF Object detector представлена на рис. 2.
Рис. 2. Структура детектирования для ACF Object detector
Было проведено обучение выбранного детектора. В случае с ACF Object detection, полученная обучающая выборка подавалась на вход функции в форме таблицы, где в первом столбце указывался двумерный массив с координатами рамок объектов, а во втором столбце – путь к исходному изображению. Для учета правильности детектирования и классификации объектов в качестве численной метрики была выбрана метрика Recall:
(1)
где TP – количество истинно-положительных результатов;
FN – количество ложноотрицательных результатов.
Обучение детектора осуществлялось итеративно по стадиям, с различными размерами обучающей выборки: размера 320, 480 и 620 изображений. Наибольшая точность была получена для выборки из 620 изображений на 6 стадиях.
|
|
|
|
|
|
Рис. 3. Полученные результаты детектирования машин на оптических изображениях
В результате при тестировании на изображениях, не вошедших в обучающую выборку, было получено значение метрики Recall равное 0,51. При тестировании было выявлено, что в среднем детектируется половина объектов на изображении, однако классификация происходит с высокой достоверностью – порядка 94%. А относительно невысокий процент правильного детектирования связан с тем, что на данный момент выборка имеет весьма скромный размер, а также из-за того, что съемка происходит с БЛА, и в процессе съемки возникают дополнительные помехи из-за движения объектов наблюдения, такие как размытие изображения при движении. В случаях со съемкой со стационарной камеры такие помехи будут возникать реже.
В дальнейшем, для повышения точности детектирования транспортных средств, планируется увеличить размер обучающей выборки и снизить помехи при съемке объектов в движении с использованием подходов, изложенных в [24-30]. Расширение обучающей выборки предполагается провести путем кадрирования имеющихся изображений до размеров 512х1024 до 256х256. Обрезка изображений позволит значительно увеличить размер обучающей выборки и исключить элементы, не подходящие для детектирования (дома, леса, водоёмы). При этом необходимые признаки окружающей среды будут по-прежнему учитываться (признаки дороги). Кроме этого, уменьшение изображений позволит значительно уменьшить время обучения.
Таким образом, результаты исследования доказали принципиальную возможность обеспечения детектирования и классификации транспортных средств на дорогах по оптическим монохромным снимкам, снятым с БЛА на ближней и средней дистанциях с различных ракурсов с достоверностью распознавания класса, сопоставимой с получаемой при детектировании по цветным снимкам.
1. Губенко А.В., Сазыкин А.М. Теоретические основы создания систем поддержки принятия решений в интересах комплексной транспортной безопасности // Известия Российской академии ракетных и артиллерийских наук. - 2015. - № 3 (88). - С. 10-15.
2. Барабанов В.В., Анисимов В.Г., Анисимов Е.Г. Метод оптимизации решений по организации логистических процессов // В сборнике: Логистика: современные тенденции развития: Материалы XVII Международной научно-практической конференции. - 2018. - С. 52-56.
3. Солохов И.В. Проблемы научно-методического обеспечения межведомственного информационного взаимодействия // Военная мысль. - 2017. - № 12. - С. 45-51.
4. Богоева Е.М., Гарькушев А.Ю., Сазыкин А.М. Основы построения моделей интеллектуализации в системах безопасности // Вопросы оборонной техники. Серия 16: Технические средства противодействия терроризму. - 2014. - № 9-10 (75-76). - С. 22-27.
5. Тебекин А.В. Способ формирования комплексных показателей качества инновационных проектов и программ // Журнал исследований по управлению. - 2018. - Т. 4. № 11. С. 30-38.
6. Анисимов В.Г. Проблема инновационного развития систем обеспечения информационной безопасности в сфере транспорта // Проблемы информационной безопасности. Компьютерные системы. 2017. № 4. С. 27-32.
7. Зегжда П.Д. Модели и метод поддержки принятия решений по обеспечению информационной безопасности информационно-управляющих систем / П.Д. Зегжда [и др.] // Проблемы информационной безопасности. Компьютерные системы. - 2018. - № 1. С. 43-47.
8. Анисимов В.Г., Анисимов Е.Г., Черныш А.Я. Эффективность инвестиций. Методологические и методические основы.- Москва: Военная Ордена Ленина, Краснознамённая, Ордена Суворова Академия Генерального штаба Вооруженных сил Российской Федерации, 2006. - 123 с.
9. Тебекин А.В. Методический подход к моделированию процессов формирования планов инновационного развития предприятий // Журнал исследований по управлению. - 2019. - Т. 5. - № 1. - С. 65-72.
10. Анисимов В.Г. Анализ и оценивание эффективности инвестиционных проектов в условиях неопределенности. Москва: Военная академия Генерального штаба Вооруженных сил Российской Федерации; 2006. 288 с.
11. Тебекин А.В. Эволюционная модель прогноза частных показателей инновационных проектов (на примере технических инноваций) / А.В. Тебекин, Т.Н. Сауренко [и др.] // Журнал исследований по управлению. - 2019. - Т. 5. - № 6. - С. 55-61.
12. Зегжда П.Д. Методический подход к построению моделей прогнозирования показателей свойств систем информационной безопасности / П.Д. Зегжда, А.Ф. Супрун [и др.] // Проблемы информационной безопасности. Компьютерные системы. 2019. № 4. С. 45-49.
13. Тебекин А.В. Методика сравнительной оценки инновационных проектов по совокупности количественных показателей // Журнал исследований по управлению. 2019. Т. 5. № 5. С. 84 - 90.
14. Зегжда П.Д. Модель оптимального комплексирования мероприятий обеспечения информационной безопасности // Проблемы информационной безопасности. Компьютерные системы. 2020. № 2. С. 9-15.
15. Тебекин А.В. Модель сравнительной оценки инновационных проектов по совокупности качественных показателей // Журнал исследований по управлению. 2019. Т. 5. № 4. С. 77-83.
16. Зегжда П.Д. Эффективность функционирования компьютерной сети в условиях вредоносных информационных воздействий // Проблемы информационной безопасности. Компьютерные системы. 2021. № 1 (45). С. 96-101.
17. Тебекин А.В. Модель прогноза стоимости и сроков модернизации промышленных предприятий // Журнал исследований по управлению. 2019. Т. 5. № 3. С. 31-37.
18. Анисимов В.Г. Оценка эффективности систем защиты компьютерных сетей от вирусных атак // Проблемы информационной безопасности. Компьютерные системы. 2022. № 1 (49). С. 11-17.
19. Полищуков, Р.М. Распознавание транспортных средств в потоковом видео с машинным обучением [Текст] / Р.М. Полищуков // Актуальные исследования. - 2020. - №8 (11). - С. 20-24.
20. R-CNN - Neural Network for Object Detection and Semantic Segmentation // https://neurohive.io: ежедн. интернет-изд. 2018. 29 ноя. URL: https://neurohive.io/en/popular-networks/r-cnn/ (дата обращения: 20.03.2022).
21. Епифанов В.А. Применение методов искусственного интеллекта и машинного зрения в задаче детектирования движения для дальнейшего определения динамических характеристик транспортных потоков // Евразийский Союз Ученых. 2019. №4. С. 25-32.
22. Терехин А.Д., Киндеркнехт С.В. Отслеживание образов в видеопотоке реального времени // Прикладная математика и вопросы управления. 2018. №3. С. 100-106.
23. Train ACF object detector // https://www.mathworks.com URL: https://www.mathworks.com/help/vision/ref/trainacfobjectdetector.html (дата обращения: 22.04.2022).
24. Melnikova A.A., Krylov A.S. Computer analysis and restoration of motion blurred images // Computer analysis and restoration of motion blurred images. Tomsk: 2018. С. 262-265.
25. Anton Boytsov, Peter Gladilin Separating real-world photos from computer graphics: comparative study of classification algorithms // Procedia Computer Science. 2020. №178. С. 320-327.
26. Сауренко Т.Н. Математические модели прогнозирования экологической угрозы техногенных аварий и катастроф в составе интегрированных систем безопасности региона / Т.Н. Сауренко [и др.] // Технологии гражданской безопасности. 2019. Т. 16. № 3 (61). С. 62-67.
27. Зегжда П.Д. Модель и метод оптимизации вычислительных процессов в вычислительных системах с параллельной архитектурой // Проблемы информационной безопасности. Компьютерные системы. 2018. № 4. С. 78-85.
28. Anisimov V.G., Saurenko T.N., Anisimov E.G., Kasatkin V.V., Los' V.P. Information security incident forecasting // Automatic Control and Computer Sciences. 2021. Т. 55. № 8. С. 903-907.
29. Гарькушев А.Ю. Методологические основы построения показателей эффективности контрольной деятельности органов государственной власти // Вопросы оборонной техники. Серия 16: Технические средства противодействия терроризму. 2015. № 3-4 (81-82). С. 17-20.
30. Кваснов А.В., Шкодырев В.П., Арсеньев Д.Г. Высокоточные модели распознавания объектов на основе рекуррентных байесовских алгоритмов // Управление в аэрокосмических системах. СПб.: Концерн ЦНИИ "Электроприбор", 2018.
31. Свидетельство 2018612744 РФ. Свидетельство о регистрации программы для ЭВМ. Программа отождествления объектов, полученных беспроводными датчиками и средствами телеметрии / В.П. Шкодырев, А.В. Кваснов; правообладатель ФГАОУ ВО СПБПУ (RU). - № 2018610118; заявка 09.01.18; опубликовано 26.02.18, Реестр программ для ЭВМ. - 1 с.
