Reliable unmanned aerial vehicle (UAV) detection is critical for autonomous airspace monitoring but remains challenging when integrating sensor streams that differ substantially in resolution, perspective, and field of view. Conventional fusion methods-such as wavelet-, Laplacian-, and decision-level approaches-often fail to preserve spatial correspondence across modalities and suffer from annotation of inconsistencies, limiting their robustness in real-world settings. This study introduces two fusion strategies, Registration-aware Guided Image Fusion (RGIF) and Reliability-Gated Modality-Attention Fusion (RGMAF), designed to overcome these limitations. RGIF employs Enhanced Correlation Coefficient (ECC)-based affine registration combined with guided filtering to maintain thermal saliency while enhancing structural detail. RGMAF integrates affine and optical-flow registration with a reliability-weighted attention mechanism that adaptively balances thermal contrast and visual sharpness. Experiments were conducted on the Multi-Sensor and Multi-View Fixed-Wing (MMFW)-UAV dataset comprising 147,417 annotated air-to-air frames collected from infrared, wide-angle, and zoom sensors. Among single-modality detectors, YOLOv10x demonstrated the most stable cross-domain performance and was selected as the detection backbone for evaluating fused imagery. RGIF improved the visual baseline by 2.13% mAP@50 (achieving 97.65%), while RGMAF attained the highest recall of 98.64%. These findings show that registration-aware and reliability-adaptive fusion provides a robust framework for integrating heterogeneous modalities, substantially enhancing UAV detection performance in multimodal environments.


翻译:可靠的无人机检测对于自主空域监控至关重要,但在整合分辨率、视角和视场存在显著差异的传感器数据流时,该任务仍具挑战性。传统融合方法——如基于小波、拉普拉斯金字塔和决策级的方法——往往难以保持跨模态的空间对应关系,并受标注不一致性的影响,限制了其在真实场景中的鲁棒性。本研究提出了两种融合策略:注册感知引导图像融合与可靠性门控模态注意力融合,旨在克服这些局限性。RGIF采用基于增强相关系数的仿射配准结合引导滤波,在增强结构细节的同时保持热成像显著性。RGMAF则整合了仿射与光流配准,并采用可靠性加权注意力机制,自适应地平衡热成像对比度与可见光清晰度。实验在包含147,417帧从红外、广角和变焦传感器采集的带标注空对空帧的多传感器多视角固定翼无人机数据集上进行。在单模态检测器中,YOLOv10x展现出最稳定的跨域性能,因此被选为评估融合图像检测性能的骨干网络。RGIF将可见光基线模型的mAP@50提升了2.13%,达到97.65%,而RGMAF则取得了最高的召回率,达98.64%。这些结果表明,注册感知与可靠性自适应的融合为集成异构模态提供了一个鲁棒的框架,在多模态环境中显著提升了无人机检测性能。

0
下载
关闭预览

相关内容

《空基机器人系统的传感器融合技术》美陆军最新58页
专知会员服务
30+阅读 · 2025年4月20日
《无人机群传感器覆盖算法》41页
专知会员服务
33+阅读 · 2025年4月17日
面向无人机视角的多源信息融合目标检测
专知会员服务
21+阅读 · 2025年2月2日
《无人机欺骗和GPS干扰检测:多类攻击诊断方法》
专知会员服务
22+阅读 · 2025年1月12日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
无人机视角下的目标检测研究进展
专知会员服务
126+阅读 · 2023年1月22日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员