Object detection in aerial imagery is a critical task in applications such as UAV reconnaissance. Although existing methods have extensively explored feature interaction between different modalities, they commonly rely on simple fusion strategies for feature aggregation. This introduces two critical flaws: it is prone to cross-modal noise and disrupts the hierarchical structure of the feature pyramid, thereby impairing the fine-grained detection of small objects. To address this challenge, we propose the Pyramidal Adaptive Cross-Gating Network (PACGNet), an architecture designed to perform deep fusion within the backbone. To this end, we design two core components: the Symmetrical Cross-Gating (SCG) module and the Pyramidal Feature-aware Multimodal Gating (PFMG) module. The SCG module employs a bidirectional, symmetrical "horizontal" gating mechanism to selectively absorb complementary information, suppress noise, and preserve the semantic integrity of each modality. The PFMG module reconstructs the feature hierarchy via a progressive hierarchical gating mechanism. This leverages the detailed features from a preceding, higher-resolution level to guide the fusion at the current, lower-resolution level, effectively preserving fine-grained details as features propagate. Through evaluations conducted on the DroneVehicle and VEDAI datasets, our PACGNet sets a new state-of-the-art benchmark, with mAP50 scores reaching 82.2% and 82.1% respectively.


翻译:航空影像中的目标检测是无人机侦察等应用中的关键任务。尽管现有方法已广泛探索不同模态间的特征交互,但它们通常依赖简单的融合策略进行特征聚合。这引入了两个关键缺陷:易受跨模态噪声干扰,并破坏特征金字塔的层次结构,从而损害小目标的细粒度检测能力。为应对这一挑战,我们提出金字塔自适应交叉门控网络(PACGNet),该架构设计用于在骨干网络内部实现深度融合。为此,我们设计了两个核心组件:对称交叉门控(SCG)模块和金字塔特征感知多模态门控(PFMG)模块。SCG模块采用双向对称的"水平"门控机制,选择性吸收互补信息、抑制噪声并保持各模态的语义完整性。PFMG模块通过渐进式层次门控机制重建特征层次结构,利用前一层更高分辨率级的细节特征来指导当前较低分辨率级的融合,在特征传播过程中有效保留细粒度细节。通过在DroneVehicle和VEDAI数据集上的评估,我们的PACGNet创造了新的最先进性能基准,mAP50分数分别达到82.2%和82.1%。

0
下载
关闭预览

相关内容

面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
无人机视角下的目标检测研究进展
专知会员服务
126+阅读 · 2023年1月22日
专知会员服务
125+阅读 · 2021年4月29日
深度学习目标检测方法综述
专知会员服务
280+阅读 · 2020年8月1日
专知会员服务
164+阅读 · 2020年4月21日
综述 | CVPR2019目标检测方法进展
计算机视觉life
15+阅读 · 2019年4月3日
基于深度学习的目标检测算法剖析与实现【附PPT与视频资料】
人工智能前沿讲习班
12+阅读 · 2018年12月25日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
博客 | 基于深度学习的目标检测算法综述(二)
AI研习社
11+阅读 · 2018年8月22日
干货 | 基于深度学习的目标检测算法综述(二)
AI科技评论
21+阅读 · 2018年8月20日
基于深度学习的目标检测算法综述
AI研习社
15+阅读 · 2018年4月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员