Transmission line defect detection remains challenging for automated UAV inspection due to the dominance of small-scale defects, complex backgrounds, and illumination variations. Existing RGB-based detectors, despite recent progress, struggle to distinguish geometrically subtle defects from visually similar background structures under limited chromatic contrast. This paper proposes CMAFNet, a Cross-Modal Alignment and Fusion Network that integrates RGB appearance and depth geometry through a principled purify-then-fuse paradigm. CMAFNet consists of a Semantic Recomposition Module that performs dictionary-based feature purification via a learned codebook to suppress modality-specific noise while preserving defect-discriminative information, and a Contextual Semantic Integration Framework that captures global spatial dependencies using partial-channel attention to enhance structural semantic reasoning. Position-wise normalization within the purification stage enforces explicit reconstruction-driven cross-modal alignment, ensuring statistical compatibility between heterogeneous features prior to fusion. Extensive experiments on the TLRGBD benchmark, where 94.5% of instances are small objects, demonstrate that CMAFNet achieves 32.2% mAP@50 and 12.5% APs, outperforming the strongest baseline by 9.8 and 4.0 percentage points, respectively. A lightweight variant reaches 24.8% mAP50 at 228 FPS with only 4.9M parameters, surpassing all YOLO-based detectors while matching transformer-based methods at substantially lower computational cost.


翻译:输电线路缺陷检测在无人机自动巡检中仍面临挑战,主要源于小尺度缺陷占主导、背景复杂及光照变化。尽管近期取得进展,现有基于RGB的检测器在色彩对比度有限的条件下,难以从视觉相似的背景结构中区分几何特征微弱的缺陷。本文提出CMAFNet,一种通过“先净化后融合”的范式整合RGB外观与深度几何信息的跨模态对齐与融合网络。CMAFNet包含语义重组模块与上下文语义集成框架:前者通过基于字典的特征净化(利用学习得到的码书)抑制模态特异性噪声,同时保留缺陷判别性信息;后者利用部分通道注意力捕获全局空间依赖关系,以增强结构语义推理。净化阶段采用逐位置归一化,通过显式的重构驱动跨模态对齐,确保异质特征在融合前具备统计兼容性。在TLRGBD基准数据集(其中94.5%的实例为小目标)上的大量实验表明,CMAFNet实现了32.2%的mAP@50与12.5%的APs,分别超越最强基线9.8与4.0个百分点。其轻量化变体仅需4.9M参数,在228 FPS下达到24.8%的mAP50,超越了所有基于YOLO的检测器,并以显著更低的计算成本达到了基于Transformer方法的性能水平。

0
下载
关闭预览

相关内容

面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
《Transformer小目标检测》最新综述
专知会员服务
60+阅读 · 2023年9月13日
无人机航拍图像中电力线检测方法研究进展
专知会员服务
25+阅读 · 2023年8月27日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
基于深度学习及FPGA的装备目标检测研究
专知会员服务
51+阅读 · 2023年4月18日
专知会员服务
125+阅读 · 2021年4月29日
小目标检测技术研究综述
专知会员服务
125+阅读 · 2020年12月7日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
编辑推荐 | 红外弱小目标检测算法综述
中国图象图形学报
21+阅读 · 2020年10月12日
基于深度学习的目标检测算法剖析与实现【附PPT与视频资料】
人工智能前沿讲习班
12+阅读 · 2018年12月25日
【机器视觉】表面缺陷检测:机器视觉检测技术
产业智能官
25+阅读 · 2018年5月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
VIP会员
相关VIP内容
面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
《Transformer小目标检测》最新综述
专知会员服务
60+阅读 · 2023年9月13日
无人机航拍图像中电力线检测方法研究进展
专知会员服务
25+阅读 · 2023年8月27日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
基于深度学习及FPGA的装备目标检测研究
专知会员服务
51+阅读 · 2023年4月18日
专知会员服务
125+阅读 · 2021年4月29日
小目标检测技术研究综述
专知会员服务
125+阅读 · 2020年12月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员