SpikeYOLO-RS: усовершенствованная спайк-сверточная нейронная сеть для обнаружения объектов на изображениях дистанционного зондирования Земли

Предлагается новая сеть SpikeYOLO-RS, основанная на комбинации сверточных и импульсных нейронных сетей, для повышения точности анализа изображений дистанционного зондирования (ДЗ) Земли. Реализован механизм динамического затухания мембранного потенциала, где фиксированный коэффициент затухания преобразован в обучаемый параметр. Обновление мембранного потенциала оптимизировано через векторизованные параллельные вычисления. Для улучшения способности слияния признаков введены обучаемые остаточные веса и реструктуризирован вычислительный поток. На наборе данных RSOD достигнуты показатели 96.8 % mAP 50 и 64.8 % mAP 50:95, что на 6.7 и 2.3 % выше предыдущего SpikeYOLO. На датасете NWPU-VHR-10 получено 92.8 % mAP 50, что на 1.5 % превосходит результаты базовой SpikeYOLO при идентичной архитектуре.

1. S. C. Liu, K. C. Du, Y. J. Zheng, J. Chen, P. J. Du, X. H. Tong. Nat. Remote Sens. Bull., 27, N 9 (2023) 1975—1987, doi: 10.11834/jrs.20222199.

2. R. Girshick, J. Donahue, T. Darrell, J. Malik. IEEE Conf. Computer Vision and Pattern Recognition (2014) 580—587, https://doi.org/10.1109/CVPR.2014.81

3. R. Girshick. IEEE Int. Conf. Computer Vision (ICCV) (2015) 1440—1448, https://doi.org/10.1109/ ICCV.2015.169

4. S. Ren, K. He, R. Girshick, J. Sun. IEEE Transact. Pattern Analysis and Machine Intelligence, 39, N 6 (2017) 1137—1149, https://doi.org/10.1109/TPAMI.2016.2577031

5. K. He, G. Gkioxari, P. Dollár, R. Girshick. IEEE Int. Conf. Computer Vision (ICCV) (2017) 2980—2988, https://doi.org/10.1109/ICCV.2017.322

6. W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, A. C. Berg. In Computer Vision – ECCV, Springer International Publishing (2016) 21—37, https://doi.org/10.1007/978-3-319-46448-0_2

7. J. Redmon, S. Divvala, R. Girshick, A. Farhadi. IEEE Conf. Computer Vision and Pattern Recognition (CVPR) (2016) 779—788, https://doi.org/10.1109/CVPR.2016.91

8. S. Ghosh-Dastidar, H. Adeli. Int. J. Neural Systems, 19, N 4 (2009) 295—308, https://doi.org/10.1142/S0129065709002002

9. A. Tavanaei, M. Ghodrati, S. R. Kheradpisheh, T. Masquelier, A. Maida. Neural Networks, 111 (2019) 47—63, https://doi.org/10.1016/j.neunet.2018.12.002

10. G. Chen, G. Wang. IEEE Access, 8 (2020) 53427—53442, https://doi.org/10.1109/ACCESS.2020.2981346

11. J. Hou, W. Chen, G. Yang, L. Cong, X. Qi. 8th Asian Conf. Artificial Intelligence Technology (ACAIT) (2024) 745—749, https://doi.org/10.1109/ACAIT63902.2024.11022103

12. W. Maass. Neural Networks, 10, N 9 (1997) 1659—1671, https://doi.org/10.1016/S0893-6080(97)00011-7

13. P. A. Merolla, J. V. Arthur, R. Alvarez-Icaza, A. S. Cassidy, J. Sawada, F. Akopyan, B. L. Jackson, N. Imam, C. Guo, Y. Nakamura, B. Brezzo, I. Vo, S. K. Esser, R. Appuswamy, B. Taba, A. Amir, M. D. Flickner, W. P. Risk, R. Manohar, D. S. Modha. Science, 345, 6197 (2014) 668—673, https://doi.org/10.1126/science.1254642

14. P. U. Diehl, D. Neil, J. Binas, M. Cook, S.-C. Liu, M. Pfeiffer. Int. Joint Conference on Neural Networks (IJCNN) (2015) 1—8, https://doi.org/10.1109/IJCNN.2015.7280696

15. W. Fang, Z. Yu, Y. Chen, T. Huang, T. Masquelier, Y. Tian. arXiv: 2102.04159 (2022), https://arxiv.org/abs/2102.04159

16. Y. Lan, Y. Zhang, X. Ma, Y. Qu, Y. Fu. In 2023 IEEE/CVF Int. Conf. Computer Vision (ICCV) (2023) 9177—9186, https://doi.org/10.1109/ICCV51070.2023.00845

17. C. Lee, A. K. Kosta, A. Z. Zhu, K. Chaney, K. Daniilidis, K. Roy. arXiv: 2003.06696 (2020), https://arxiv.org/abs/2003.06696

18. Y. Li, S. Deng, X. Dong, S. Gu, Y. Ding. Int. J. Comp. Vision, 132, N 11 (2024), 3586—3609, https://doi.org/10.1007/s11263-024-02046-2

19. J. Ding, Z. Yu, Y. Tian, T. Huang. arXiv: 2105.11654 (2021), https://arxiv.org/abs/2105.11654

20. C. Stöckl, W. Maass. Nature Machine Intelligence, 3 (2021) 230—238, https://doi.org/10.1038/s42256-021-00311-4

21. S. Kim, S. Park, B. Na, S. Yoon. arXiv: 1903.06530 (2019), https://arxiv.org/abs/1903.06530

22. Q. Su, Y. Chou, Y. Hu, J. Li, S. Mei, Z. Zhang, G. Li. arXiv: 2307.11411 (2023), https://arxiv.org/abs/2307.11411

23. M. Yao, J. Hu, T. Hu, Y. Xu, Z. Zhou, Y. Tian, B. Xu, G. Li. The Twelfth Int. Conf. on Learning Representations, Vienna, May 07 2024 (2024), https://openreview.net/forum?id=1SIBN5Xyw7

24. X. Luo, M. Yao, Y. Chou, B. Xu, G. Li. arXiv: 2407.20708 (2024), https://arxiv.org/abs/2407.20708

25. G. Jocher, J. Qiu, A. Chaurasia. Ultralytics YOLO (Version 8.0.0) [Computer software] (2023), https://github.com/ultralytics/ultralytics