Satellite video object detection (SVOD) for oriented and fine-grained objects plays an important role in satellite applications. Most existing SVOD methods only focus on one or a few coarse-grained categories of moving objects and represent objects with horizontal bounding boxes. They have difficulty extracting complete, accurate, and consistent information about objects in whole satellite videos. In this paper, we propose a satellite video object detection framework based on Temporal Consistency Learning (TCL). TCL adeptly detects oriented and fine-grained objects by leveraging the rich temporal contexts within satellite videos. The framework integrates three key modules: temporal and fine-grained feature aggregation (TFA), structure encoding (SE), and temporal consistency constraint (TCC). TFA and TCC modules facilitate consistent representation learning across frames, while the SE module encodes both appearance and structural information for precise fine-grained recognition. Experimental results on the SAT-MTB benchmark dataset demonstrate TCL's superior performance, achieving a new state-of-the-art oriented and fine-grained detection accuracy of 47.7% mAP--a 4.8% improvement over the baseline. Furthermore, our TCL framework readily accommodates existing image-based detectors, leading to enhanced detection accuracies.


翻译:卫星视频中面向定向细粒度目标的目标检测(SVOD)在卫星应用中扮演着重要角色。现有SVOD方法大多仅关注一种或几种粗粒度类别的运动目标,并使用水平边界框表示目标。这些方法难以从整段卫星视频中提取完整、准确且一致的目标信息。本文提出了一种基于时域一致性学习(TCL)的卫星视频目标检测框架。TCL通过利用卫星视频中丰富的时域上下文信息,能够灵活地检测定向细粒度目标。该框架集成了三个关键模块:时域与细粒度特征聚合模块(TFA)、结构编码模块(SE)以及时域一致性约束模块(TCC)。TFA与TCC模块促进跨帧的一致性表示学习,而SE模块则同时编码外观与结构信息以实现精确的细粒度识别。在SAT-MTB基准数据集上的实验结果表明,TCL展现出卓越性能,在定向细粒度检测精度上达到了47.7% mAP的最新水平——相较于基线方法提升了4.8%。此外,TCL框架可便捷地适配现有的基于图像检测器,从而显著提升检测精度。

0
下载
关闭预览

相关内容

深度学习的遥感图像旋转目标检测综述
专知会员服务
30+阅读 · 2024年4月3日
专知会员服务
39+阅读 · 2021年8月27日
基于深度学习的视频目标检测综述
专知会员服务
85+阅读 · 2021年5月19日
深度学习目标检测方法综述
专知会员服务
281+阅读 · 2020年8月1日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
七月在线实验室
11+阅读 · 2018年7月18日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
综述:深度学习时代的目标检测算法
极市平台
27+阅读 · 2018年3月17日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
VIP会员
最新内容
《履带式无人地面战车技术发展现状》
专知会员服务
4+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
4+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
12+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
10+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
6+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
9+阅读 · 7月31日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员