Object detection in aerial imagery is a critical task in applications such as UAV reconnaissance. Although existing methods have extensively explored feature interaction between different modalities, they commonly rely on simple fusion strategies for feature aggregation. This introduces two critical flaws: it is prone to cross-modal noise and disrupts the hierarchical structure of the feature pyramid, thereby impairing the fine-grained detection of small objects. To address this challenge, we propose the Pyramidal Adaptive Cross-Gating Network (PACGNet), an architecture designed to perform deep fusion within the backbone. To this end, we design two core components: the Symmetrical Cross-Gating (SCG) module and the Pyramidal Feature-aware Multimodal Gating (PFMG) module. The SCG module employs a bidirectional, symmetrical "horizontal" gating mechanism to selectively absorb complementary information, suppress noise, and preserve the semantic integrity of each modality. The PFMG module reconstructs the feature hierarchy via a progressive hierarchical gating mechanism. This leverages the detailed features from a preceding, higher-resolution level to guide the fusion at the current, lower-resolution level, effectively preserving fine-grained details as features propagate. Through evaluations conducted on the DroneVehicle and VEDAI datasets, our PACGNet sets a new state-of-the-art benchmark, with mAP50 scores reaching 82.2% and 82.1% respectively.


翻译:航空影像中的目标检测是无人机侦察等应用中的关键任务。尽管现有方法已广泛探索不同模态间的特征交互,但它们通常依赖简单的融合策略进行特征聚合。这引入了两个关键缺陷:易受跨模态噪声干扰,并破坏特征金字塔的层次结构,从而损害小目标的细粒度检测能力。为应对这一挑战,我们提出金字塔自适应交叉门控网络(PACGNet),该架构设计用于在骨干网络内部实现深度融合。为此,我们设计了两个核心组件:对称交叉门控(SCG)模块和金字塔特征感知多模态门控(PFMG)模块。SCG模块采用双向对称的"水平"门控机制,选择性吸收互补信息、抑制噪声并保持各模态的语义完整性。PFMG模块通过渐进式层次门控机制重建特征层次结构,利用前一层更高分辨率级的细节特征来指导当前较低分辨率级的融合,在特征传播过程中有效保留细粒度细节。通过在DroneVehicle和VEDAI数据集上的评估,我们的PACGNet创造了新的最先进性能基准,mAP50分数分别达到82.2%和82.1%。

0
下载
关闭预览

相关内容

【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
40+阅读 · 2022年11月5日
【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
[NeurIPS 2020] 球形嵌入的深度度量学习
专知会员服务
17+阅读 · 2020年11月8日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员