zhpsЖурнал прикладной спектроскопииZhurnal Prikladnoii Spektroskopii0514-7506B. I. Stepanov Institute of Physics of the National Academy of Sciences10.47612/0514-7506-2022-89-2-275-282zhps-1012Research ArticleСтатьиОбнаружение и классификация транспортных средств на снимках сверхвысокого разрешения с помощью нейронных сетейDetection and Classification of Vehicles in Ultra-High Resolutions Images Using Neural NetworksChenCh.ChenCh.

Ханчжоу

Hangzhou

МинальдА. А.МinaldA. A.

Минск

Minsk 

БогушР. П.BohushR. P.

Новополоцк

Novopolotsk 

MaG.MaG.

 Хучжоу

Huzhou 

WeichenY.WeichenY.

 Хучжоу

Huzhou 

АбламейкоС. В.АblameykoS. V.

Минск

Minsk 

ablameyko@yandex.byШкола информационных наук и технологий Университета Чжэцзяна Шурен; База международного научно-технического сотрудничества провинции Чжэцзян по обработке и применению изображений дистанционного зондированияSchool of Information Science and Technology at Zhejiang Shuren University; International Science and Technology Cooperation Base of Zhejiang Province: Remote Sensing Image Processing and ApplicationБелорусский государственный университетBelarusian State UniversityПолоцкий государственный университетPolotsk State UniversityEarthView Image Inc.EarthView Image Inc.Белорусский государственный университет; Объединенный институт проблем информатики НАН БеларусиBelarusian State University; United Institute for Informatics Problems, National Academy of Sciences of Belarus202224032022892275282Copyright © Chen C., Минальд А.А., Богуш Р.П., Ma G., Weichen Y., Абламейко С.В., 20222022Chen C., Минальд А.А., Богуш Р.П., Ma G., Weichen Y., Абламейко С.В.Chen C., Мinald A.A., Bohush R.P., Ma G., Weichen Y., Аblameyko S.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://zhps.ejournal.by/jour/article/view/1012

Предлагается архитектура глубокой нейронной сети, основанная на интеграции сверточной нейронной сети Faster R-CNN с модулем Feature Pyramid Network. На основе данного подхода разработан алгоритм обнаружения и классификации транспортных средств на изображениях и соответствующая модель. Для обучения предложенной модели использована кроссплатформенная среда ML.NET. Представлены результаты сравнения эффективности применения предложенного подхода и сверточных нейронных сетей YOLO v4 и Faster R-CNN. Показано улучшение точности обнаружения и локализации разных типов транспортных средств на снимках сверхвысокого разрешения. Приведены примеры обработки изображений земной поверхности сверхвысокого разрешения и даны соответствующие рекомендации.

The paper proposes a deep neural network architecture based on the integration of the convolutional neural network Faster R-CNN with the Feature Pyramid Network module. Based on this approach, an algorithm for detecting and classifying vehicles in images and a corresponding model have been developed. A cross-platform environment ML.NET was used to train the proposed model. The results of comparing the effectiveness of the proposed approach and convolutional neural networks YOLO v4 and Faster R-CNN are presented. The improvement of the accuracy of detection and localization of different types of vehicles in ultra-high resolutions images is shown. Examples of processing ultra-high resolutions remote sensing images and appropriate recommendations are given.

обнаружение и классификация объектовизображения земной поверхностиизображения сверхвысокого разрешениянейронная сетьobject detection and classificationremote sensing imagesultra-high resolutions imagesneural networkРабота выполнена при частичной финансовой поддержке Национальной программы набора иностранных экспертов (гранты № G2021016001L, G2021016002L) и Базовой программы исследований общественного благосостояния провинции Чжэцзян (грант № LGJ19F020002).ReferencesYuntao Li, Zhihuan Wu, Lei Li, Daoning Yang, Hongfeng Pang. J. Appl. Remote Sens., 15, N 2 (2021) 026505, doi: 10.1117/1.JRS.15.026505Yuntao Li, Zhihuan Wu, Lei Li, Daoning Yang, Hongfeng Pang. J. Appl. Remote Sens., 15, N 2 (2021) 026505, doi: 10.1117/1.JRS.15.026505Q. Tan, J. Ling, J. Hu, X. Qin, J. Hu. IEEE Access, 8 (2020) 153394—153402, doi: 10.1109/ACCESS.2020.3017894Q. Tan, J. Ling, J. Hu, X. Qin, J. Hu. IEEE Access, 8 (2020) 153394—153402, doi: 10.1109/ACCESS.2020.3017894Y. Koga, H. Miyazaki, R. Shibasaki. Remote Sens., 12 (2020) 575, doi: 10.3390/rs12030575Y. Koga, H. Miyazaki, R. Shibasaki. Remote Sens., 12 (2020) 575, doi: 10.3390/rs12030575L. Yongxi, T. Javidi. Proc. 53rd Annual Allerton Conf. Communication, Control, and Computing (2015) 1091—1098, doi: 10.1109/ALLERTON.2015.7447130L. Yongxi, T. Javidi. Proc. 53rd Annual Allerton Conf. Communication, Control, and Computing (2015) 1091—1098, doi: 10.1109/ALLERTON.2015.7447130W. Shao, W. Yang, G. Liu, J. Liu. Proc. IEEE Int. Geoscience and Remote Sensing Symposium (2012) 4379—4382, doi: 10.1109/IGARSS.2012.6350403W. Shao, W. Yang, G. Liu, J. Liu. Proc. IEEE Int. Geoscience and Remote Sensing Symposium (2012) 4379—4382, doi: 10.1109/IGARSS.2012.6350403D. Vorobjov, I. Zakharova, R. Bohush, S. Ablameyko. Advances in Neural Networks-ISNN2018.D. Vorobjov, I. Zakharova, R. Bohush, S. Ablameyko. Advances in Neural Networks-ISNN2018.Lecture Notes in Computer Science, 10878 (2018) 503—510, doi: 10.1007/978-3-319-92537-0Lecture Notes in Computer Science, 10878 (2018) 503—510, doi: 10.1007/978-3-319-92537-0И. Н. Пугачев, Г. Я. Маркелов, В. С. Тормозов. Вестн. ТОГУ, 45, № 2 (2017) 13—20И. Н. Пугачев, Г. Я. Маркелов, В. С. Тормозов. Вестн. ТОГУ, 45, № 2 (2017) 13—20Xungen Li, Feifei Men, Shuaishuai Lv, Xiao Jiang, Mian Pan, Qi Ma, Haibin Yu. ISPRS Int. J. GeoInformation, 10 (2021) 549, doi: 10.3390/ijgi10080549Xungen Li, Feifei Men, Shuaishuai Lv, Xiao Jiang, Mian Pan, Qi Ma, Haibin Yu. ISPRS Int. J. GeoInformation, 10 (2021) 549, doi: 10.3390/ijgi10080549A. Froidevaux, A. Julier, A. Lifschitz, M. Pham, R. Dambreville, S. Lefèvre, P. Lassalle, T. Huynh. IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, Sept. (2020) 256—259, ff10.1109/IGARSS39084.2020.9323827ff. ffhal-03213855A. Froidevaux, A. Julier, A. Lifschitz, M. Pham, R. Dambreville, S. Lefèvre, P. Lassalle, T. Huynh. IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, Sept. (2020) 256—259, ff10.1109/IGARSS39084.2020.9323827ff. ffhal-03213855R. Girshick, J. Donahue, T. Darrell, J. Malik. IEEE Transact. Pattern Analysis and Machine Intelligence, 38 (2016) 142—158R. Girshick, J. Donahue, T. Darrell, J. Malik. IEEE Transact. Pattern Analysis and Machine Intelligence, 38 (2016) 142—158R. Girshick. Proc. IEEE Int. Conf. Computer Vision. Santiago, Chile (2015) 1440—1448R. Girshick. Proc. IEEE Int. Conf. Computer Vision. Santiago, Chile (2015) 1440—1448S. Ren, K. He, R. Girshick, J. Sun. IEEE Transact. Pattern Analysis and Machine Intelligence, 39 (2015) 1137—1149S. Ren, K. He, R. Girshick, J. Sun. IEEE Transact. Pattern Analysis and Machine Intelligence, 39 (2015) 1137—1149D. R. Lucio, R. Laroca, L. A. Zanlorensi, G. Moreira, D. Menotti. Region Detection Using Coarse Annotations, doi: 10.1109/SIBGRAPI.2019.00032, arXiv:1908.00069D. R. Lucio, R. Laroca, L. A. Zanlorensi, G. Moreira, D. Menotti. Region Detection Using Coarse Annotations, doi: 10.1109/SIBGRAPI.2019.00032, arXiv:1908.00069T.-Yi Lin, P. Dollar, R. Girshick, K. He, B. Hariharan, S. Belongie. Feature Pyramid Networks for Object Detection arXiv:1612.03144v2 [cs.CV] 19 Apr 2017T.-Yi Lin, P. Dollar, R. Girshick, K. He, B. Hariharan, S. Belongie. Feature Pyramid Networks for Object Detection arXiv:1612.03144v2 [cs.CV] 19 Apr 2017https://github.com/jekhor/aerial-cars-datasethttps://github.com/jekhor/aerial-cars-datasetM. Everingham, L. V. Gool, C. K. I. Williams, J. Winn, A. Zisserman. Int. J. Computer Vision, 88 (2010) 303—338, doi: 10.1007/s11263-009-0275-4M. Everingham, L. V. Gool, C. K. I. Williams, J. Winn, A. Zisserman. Int. J. Computer Vision, 88 (2010) 303—338, doi: 10.1007/s11263-009-0275-4https://arxiv.org/pdf/2004.10934.pdfhttps://arxiv.org/pdf/2004.10934.pdf

The authors declare that there are no conflicts of interest present.