zhpsЖурнал прикладной спектроскопииZhurnal Prikladnoii Spektroskopii0514-7506B. I. Stepanov Institute of Physics of the National Academy of Scienceszhps-2088Research ArticleСтатьиSpikeYOLO-RS: усовершенствованная спайк-сверточная нейронная сеть для обнаружения объектов на изображениях дистанционного зондирования ЗемлиSpikeYOLO-RS: Improved Spike-Convolution Neural Network for Remote Sensing Image Object DetectionWuX.WuX.

Минск

Minsk

tigerv5872@gmail.comАбламейкоC. В.AblameykoS. V.

Минск

Minsk

Белорусский государственный университетBelarusian State UniversityБелорусский государственный университет; Объединенный институт проблем информатики НАН БеларусиBelarusian State University; United Institute of Informatics Problems of the National Academy of Sciences of Belarus202622012026931105113Copyright © Wu X., Абламейко C.В., 20262026Wu X., Абламейко C.В.Wu X., Ablameyko S.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://zhps.ejournal.by/jour/article/view/2088

Предлагается новая сеть SpikeYOLO-RS, основанная на комбинации сверточных и импульсных нейронных сетей, для повышения точности анализа изображений дистанционного зондирования (ДЗ) Земли. Реализован механизм динамического затухания мембранного потенциала, где фиксированный коэффициент затухания преобразован в обучаемый параметр. Обновление мембранного потенциала оптимизировано через векторизованные параллельные вычисления. Для улучшения способности слияния признаков введены обучаемые остаточные веса и реструктуризирован вычислительный поток. На наборе данных RSOD достигнуты показатели 96.8 % mAP 50 и 64.8 % mAP 50:95, что на 6.7 и 2.3 % выше предыдущего SpikeYOLO. На датасете NWPU-VHR-10 получено 92.8 % mAP 50, что на 1.5 % превосходит результаты базовой SpikeYOLO при идентичной архитектуре.

This paper studies how to increase accuracy of SpikeYOLO for remote sensing (RS) images analysis, and proposes an improvement method. First, a dynamic membrane potential attenuation mechanism is constructed and the fixed attenuation factor is reconstructed into a learnable parameter. Then, the membrane potential is updated through vectorized parallel computing. Learnable residual weights are introduced to improve the feature fusion capability and; finally, the calculation flow is adjusted. On the RSOD remote sensing dataset, we obtained 96.8% mAP 50 and 64.8% mAP 50:95, which are 6.7 and 2.3% higher than the previous stateof-the-art SpikeYOLO, respectively. On the NWPU-VHR-10 dataset, we obtained 92.8% mAP 50, which is 1.5% higher than SpikeYOLO with the same architecture.

изображения дистанционного зондированияобнаружение объектовспайковые нейронные сетиYOLOSpikeYOLOremote sensing imageobject detectionspiking neural networkYOLOSpikeYOLOReferencesS. C. Liu, K. C. Du, Y. J. Zheng, J. Chen, P. J. Du, X. H. Tong. Nat. Remote Sens. Bull., 27, N 9 (2023) 1975—1987, doi: 10.11834/jrs.20222199.S. C. Liu, K. C. Du, Y. J. Zheng, J. Chen, P. J. Du, X. H. Tong. Nat. Remote Sens. Bull., 27, N 9 (2023) 1975—1987, doi: 10.11834/jrs.20222199.R. Girshick, J. Donahue, T. Darrell, J. Malik. IEEE Conf. Computer Vision and Pattern Recognition (2014) 580—587, https://doi.org/10.1109/CVPR.2014.81R. Girshick, J. Donahue, T. Darrell, J. Malik. IEEE Conf. Computer Vision and Pattern Recognition (2014) 580—587, https://doi.org/10.1109/CVPR.2014.81R. Girshick. IEEE Int. Conf. Computer Vision (ICCV) (2015) 1440—1448, https://doi.org/10.1109/ ICCV.2015.169R. Girshick. IEEE Int. Conf. Computer Vision (ICCV) (2015) 1440—1448, https://doi.org/10.1109/ ICCV.2015.169S. Ren, K. He, R. Girshick, J. Sun. IEEE Transact. Pattern Analysis and Machine Intelligence, 39, N 6 (2017) 1137—1149, https://doi.org/10.1109/TPAMI.2016.2577031S. Ren, K. He, R. Girshick, J. Sun. IEEE Transact. Pattern Analysis and Machine Intelligence, 39, N 6 (2017) 1137—1149, https://doi.org/10.1109/TPAMI.2016.2577031K. He, G. Gkioxari, P. Dollár, R. Girshick. IEEE Int. Conf. Computer Vision (ICCV) (2017) 2980—2988, https://doi.org/10.1109/ICCV.2017.322K. He, G. Gkioxari, P. Dollár, R. Girshick. IEEE Int. Conf. Computer Vision (ICCV) (2017) 2980—2988, https://doi.org/10.1109/ICCV.2017.322W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, A. C. Berg. In Computer Vision – ECCV, Springer International Publishing (2016) 21—37, https://doi.org/10.1007/978-3-319-46448-0_2W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, A. C. Berg. In Computer Vision – ECCV, Springer International Publishing (2016) 21—37, https://doi.org/10.1007/978-3-319-46448-0_2J. Redmon, S. Divvala, R. Girshick, A. Farhadi. IEEE Conf. Computer Vision and Pattern Recognition (CVPR) (2016) 779—788, https://doi.org/10.1109/CVPR.2016.91J. Redmon, S. Divvala, R. Girshick, A. Farhadi. IEEE Conf. Computer Vision and Pattern Recognition (CVPR) (2016) 779—788, https://doi.org/10.1109/CVPR.2016.91S. Ghosh-Dastidar, H. Adeli. Int. J. Neural Systems, 19, N 4 (2009) 295—308, https://doi.org/10.1142/S0129065709002002S. Ghosh-Dastidar, H. Adeli. Int. J. Neural Systems, 19, N 4 (2009) 295—308, https://doi.org/10.1142/S0129065709002002A. Tavanaei, M. Ghodrati, S. R. Kheradpisheh, T. Masquelier, A. Maida. Neural Networks, 111 (2019) 47—63, https://doi.org/10.1016/j.neunet.2018.12.002A. Tavanaei, M. Ghodrati, S. R. Kheradpisheh, T. Masquelier, A. Maida. Neural Networks, 111 (2019) 47—63, https://doi.org/10.1016/j.neunet.2018.12.002G. Chen, G. Wang. IEEE Access, 8 (2020) 53427—53442, https://doi.org/10.1109/ACCESS.2020.2981346G. Chen, G. Wang. IEEE Access, 8 (2020) 53427—53442, https://doi.org/10.1109/ACCESS.2020.2981346J. Hou, W. Chen, G. Yang, L. Cong, X. Qi. 8th Asian Conf. Artificial Intelligence Technology (ACAIT) (2024) 745—749, https://doi.org/10.1109/ACAIT63902.2024.11022103J. Hou, W. Chen, G. Yang, L. Cong, X. Qi. 8th Asian Conf. Artificial Intelligence Technology (ACAIT) (2024) 745—749, https://doi.org/10.1109/ACAIT63902.2024.11022103W. Maass. Neural Networks, 10, N 9 (1997) 1659—1671, https://doi.org/10.1016/S0893-6080(97)00011-7W. Maass. Neural Networks, 10, N 9 (1997) 1659—1671, https://doi.org/10.1016/S0893-6080(97)00011-7P. A. Merolla, J. V. Arthur, R. Alvarez-Icaza, A. S. Cassidy, J. Sawada, F. Akopyan, B. L. Jackson, N. Imam, C. Guo, Y. Nakamura, B. Brezzo, I. Vo, S. K. Esser, R. Appuswamy, B. Taba, A. Amir, M. D. Flickner, W. P. Risk, R. Manohar, D. S. Modha. Science, 345, 6197 (2014) 668—673, https://doi.org/10.1126/science.1254642P. A. Merolla, J. V. Arthur, R. Alvarez-Icaza, A. S. Cassidy, J. Sawada, F. Akopyan, B. L. Jackson, N. Imam, C. Guo, Y. Nakamura, B. Brezzo, I. Vo, S. K. Esser, R. Appuswamy, B. Taba, A. Amir, M. D. Flickner, W. P. Risk, R. Manohar, D. S. Modha. Science, 345, 6197 (2014) 668—673, https://doi.org/10.1126/science.1254642P. U. Diehl, D. Neil, J. Binas, M. Cook, S.-C. Liu, M. Pfeiffer. Int. Joint Conference on Neural Networks (IJCNN) (2015) 1—8, https://doi.org/10.1109/IJCNN.2015.7280696P. U. Diehl, D. Neil, J. Binas, M. Cook, S.-C. Liu, M. Pfeiffer. Int. Joint Conference on Neural Networks (IJCNN) (2015) 1—8, https://doi.org/10.1109/IJCNN.2015.7280696W. Fang, Z. Yu, Y. Chen, T. Huang, T. Masquelier, Y. Tian. arXiv: 2102.04159 (2022), https://arxiv.org/abs/2102.04159W. Fang, Z. Yu, Y. Chen, T. Huang, T. Masquelier, Y. Tian. arXiv: 2102.04159 (2022), https://arxiv.org/abs/2102.04159Y. Lan, Y. Zhang, X. Ma, Y. Qu, Y. Fu. In 2023 IEEE/CVF Int. Conf. Computer Vision (ICCV) (2023) 9177—9186, https://doi.org/10.1109/ICCV51070.2023.00845Y. Lan, Y. Zhang, X. Ma, Y. Qu, Y. Fu. In 2023 IEEE/CVF Int. Conf. Computer Vision (ICCV) (2023) 9177—9186, https://doi.org/10.1109/ICCV51070.2023.00845C. Lee, A. K. Kosta, A. Z. Zhu, K. Chaney, K. Daniilidis, K. Roy. arXiv: 2003.06696 (2020), https://arxiv.org/abs/2003.06696C. Lee, A. K. Kosta, A. Z. Zhu, K. Chaney, K. Daniilidis, K. Roy. arXiv: 2003.06696 (2020), https://arxiv.org/abs/2003.06696Y. Li, S. Deng, X. Dong, S. Gu, Y. Ding. Int. J. Comp. Vision, 132, N 11 (2024), 3586—3609, https://doi.org/10.1007/s11263-024-02046-2Y. Li, S. Deng, X. Dong, S. Gu, Y. Ding. Int. J. Comp. Vision, 132, N 11 (2024), 3586—3609, https://doi.org/10.1007/s11263-024-02046-2J. Ding, Z. Yu, Y. Tian, T. Huang. arXiv: 2105.11654 (2021), https://arxiv.org/abs/2105.11654J. Ding, Z. Yu, Y. Tian, T. Huang. arXiv: 2105.11654 (2021), https://arxiv.org/abs/2105.11654C. Stöckl, W. Maass. Nature Machine Intelligence, 3 (2021) 230—238, https://doi.org/10.1038/s42256-021-00311-4C. Stöckl, W. Maass. Nature Machine Intelligence, 3 (2021) 230—238, https://doi.org/10.1038/s42256-021-00311-4S. Kim, S. Park, B. Na, S. Yoon. arXiv: 1903.06530 (2019), https://arxiv.org/abs/1903.06530S. Kim, S. Park, B. Na, S. Yoon. arXiv: 1903.06530 (2019), https://arxiv.org/abs/1903.06530Q. Su, Y. Chou, Y. Hu, J. Li, S. Mei, Z. Zhang, G. Li. arXiv: 2307.11411 (2023), https://arxiv.org/abs/2307.11411Q. Su, Y. Chou, Y. Hu, J. Li, S. Mei, Z. Zhang, G. Li. arXiv: 2307.11411 (2023), https://arxiv.org/abs/2307.11411M. Yao, J. Hu, T. Hu, Y. Xu, Z. Zhou, Y. Tian, B. Xu, G. Li. The Twelfth Int. Conf. on Learning Representations, Vienna, May 07 2024 (2024), https://openreview.net/forum?id=1SIBN5Xyw7M. Yao, J. Hu, T. Hu, Y. Xu, Z. Zhou, Y. Tian, B. Xu, G. Li. The Twelfth Int. Conf. on Learning Representations, Vienna, May 07 2024 (2024), https://openreview.net/forum?id=1SIBN5Xyw7X. Luo, M. Yao, Y. Chou, B. Xu, G. Li. arXiv: 2407.20708 (2024), https://arxiv.org/abs/2407.20708X. Luo, M. Yao, Y. Chou, B. Xu, G. Li. arXiv: 2407.20708 (2024), https://arxiv.org/abs/2407.20708G. Jocher, J. Qiu, A. Chaurasia. Ultralytics YOLO (Version 8.0.0) [Computer software] (2023), https://github.com/ultralytics/ultralyticsG. Jocher, J. Qiu, A. Chaurasia. Ultralytics YOLO (Version 8.0.0) [Computer software] (2023), https://github.com/ultralytics/ultralytics

The authors declare that there are no conflicts of interest present.