Video anomaly detection (VAD) focuses on identifying anomalies in videos. Supervised methods demand substantial in-domain training data and fail to deliver clear explanations for anomalies. In contrast, training-free methods leverage the knowledge reserves and language interactivity of large pre-trained models to detect anomalies. However, the current fixed-length temporal window sampling approaches struggle to accurately capture anomalies with varying temporal spans. Therefore, we propose VADTree that utilizes a Hierarchical Granularityaware Tree (HGTree) structure for flexible sampling in VAD. VADTree leverages the knowledge embedded in a pre-trained Generic Event Boundary Detection (GEBD) model to characterize potential anomaly event boundaries. Specifically, VADTree decomposes the video into generic event nodes based on boundary confidence, and performs adaptive coarse-fine hierarchical structuring and redundancy removal to construct the HGTree. Then, the multi-dimensional priors are injected into the visual language models (VLMs) to enhance the node-wise anomaly perception, and anomaly reasoning for generic event nodes is achieved via large language models (LLMs). Finally, an inter-cluster node correlation method is used to integrate the multi-granularity anomaly scores. Extensive experiments on three challenging datasets demonstrate that VADTree achieves state-of-the-art performance in training-free settings while drastically reducing the number of sampled video segments. The code will be available at https://github.com/wenlongli10/VADTree.


翻译:视频异常检测(VAD)旨在识别视频中的异常事件。有监督方法需要大量域内训练数据,且无法对异常提供清晰的解释。相比之下,免训练方法利用大型预训练模型的知识储备和语言交互能力来检测异常。然而,当前固定长度时间窗口的采样方法难以准确捕捉不同时间跨度的异常。为此,我们提出VADTree,它利用层次化粒度感知树(HGTree)结构在VAD中进行灵活采样。VADTree利用预训练的通用事件边界检测(GEBD)模型中嵌入的知识来刻画潜在的异常事件边界。具体而言,VADTree根据边界置信度将视频分解为通用事件节点,并通过自适应的粗细层次化结构构建与冗余去除来构建HGTree。随后,将多维先验知识注入视觉语言模型(VLMs)以增强节点级的异常感知,并通过大语言模型(LLMs)实现通用事件节点的异常推理。最后,采用一种跨簇节点关联方法来整合多粒度异常评分。在三个具有挑战性的数据集上进行的大量实验表明,VADTree在免训练设置下取得了最先进的性能,同时大幅减少了采样的视频片段数量。代码将在 https://github.com/wenlongli10/VADTree 公开。

0
下载
关闭预览

相关内容

【AAAI2025】核感知图提示学习用于少样本异常检测
专知会员服务
18+阅读 · 2024年12月24日
基于深度学习的视频异常检测:综述
专知会员服务
26+阅读 · 2024年9月10日
10年视频异常检测:综述与展望
专知会员服务
22+阅读 · 2024年6月1日
专知会员服务
34+阅读 · 2021年9月16日
最新《深度学习视频异常检测》2020综述论文,21页pdf
专知会员服务
86+阅读 · 2020年9月30日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员