Recent advances in video anomaly detection (VAD) mainly focus on ground-based surveillance or unmanned aerial vehicle (UAV) videos with static backgrounds, whereas research on UAV videos with dynamic backgrounds remains limited. Unlike static scenarios, dynamically captured UAV videos exhibit multi-source motion coupling, where the motion of objects and UAV-induced global motion are intricately intertwined. Consequently, existing methods may misclassify normal UAV movements as anomalies or fail to capture true anomalies concealed within dynamic backgrounds. Moreover, many approaches do not adequately address the joint modeling of inter-frame continuity and local spatial correlations across diverse temporal scales. To overcome these limitations, we propose the Frequency-Assisted Temporal Dilation Mamba (FTDMamba) network for UAV VAD, including two core components: (1) a Frequency Decoupled Spatiotemporal Correlation Module, which disentangles coupled motion patterns and models global spatiotemporal dependencies through frequency analysis; and (2) a Temporal Dilation Mamba Module, which leverages Mamba's sequence modeling capability to jointly learn fine-grained temporal dynamics and local spatial structures across multiple temporal receptive fields. Additionally, unlike existing UAV VAD datasets which focus on static backgrounds, we construct a large-scale Moving UAV VAD dataset (MUVAD), comprising 222,736 frames with 240 anomaly events across 12 anomaly types. Extensive experiments demonstrate that FTDMamba achieves state-of-the-art (SOTA) performance on two public static benchmarks and the new MUVAD dataset. The code and MUVAD dataset will be available at: https://github.com/uavano/FTDMamba.


翻译:近年来视频异常检测(VAD)的研究主要集中于地面监控或背景静态的无人机视频,而针对动态背景无人机视频的研究仍较为有限。与静态场景不同,动态拍摄的无人机视频呈现多源运动耦合特性,其中目标运动与无人机自身引发的全局运动错综交织。因此,现有方法可能将正常的无人机运动误判为异常,或难以捕捉隐藏在动态背景中的真实异常。此外,许多方法未能充分解决跨多时间尺度的帧间连续性与局部空间相关性的联合建模问题。为克服这些局限,我们提出面向无人机VAD的频率辅助时序膨胀Mamba网络(FTDMamba),其包含两个核心组件:(1)频率解耦时空关联模块,通过频域分析解耦混合运动模式并建模全局时空依赖;(2)时序膨胀Mamba模块,利用Mamba的序列建模能力,在多重时序感受野中联合学习细粒度时间动态与局部空间结构。此外,区别于现有聚焦静态背景的无人机VAD数据集,我们构建了大规模动态无人机VAD数据集(MUVAD),包含222,736帧图像、涵盖12类异常类型的240个异常事件。大量实验表明,FTDMamba在两个公开静态基准数据集及新构建的MUVAD数据集上均取得了最先进的性能。代码与MUVAD数据集将发布于:https://github.com/uavano/FTDMamba。

0
下载
关闭预览

相关内容

面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
基于深度学习的视频异常检测:综述
专知会员服务
26+阅读 · 2024年9月10日
10年视频异常检测:综述与展望
专知会员服务
22+阅读 · 2024年6月1日
无人机飞控系统故障诊断技术研究综述
专知会员服务
59+阅读 · 2023年12月18日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
无人预警机系统架构及关键技术分析
专知
13+阅读 · 2022年8月6日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
新年快乐!无人机测控通信自组网技术综述
无人机
31+阅读 · 2019年2月5日
无人机集群对抗研究的关键问题
无人机
65+阅读 · 2018年9月16日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
VIP会员
相关VIP内容
面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
基于深度学习的视频异常检测:综述
专知会员服务
26+阅读 · 2024年9月10日
10年视频异常检测:综述与展望
专知会员服务
22+阅读 · 2024年6月1日
无人机飞控系统故障诊断技术研究综述
专知会员服务
59+阅读 · 2023年12月18日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员