The rapid proliferation of AI-powered video generation systems has introduced significant challenges in content moderation, particularly with respect to adult and sexually explicit material. Existing detection methods operate on either prompts or decoded pixel-space outputs. Therefore, both approaches are blind to the rich internal representations formed during generation. In this paper, we propose a novel latent space probing framework that intercepts the denoised latent representations produced by the CogVideoX video diffusion model during inference and attaches lightweight classifiers to perform real-time adult content detection. To support this work, we construct a large-scale binary dataset of 11039 ten-second video clips (5086 violating, 5953 non-violating) sourced from adult websites and YouTube respectively. We introduce two lightweight probing classifier architectures. We train and evaluate it on the dataset. Our work demonstrates that latent-space signals encode strong discriminative features for harmful content detection, achieving 97.29% F1 on our held-out test set with an overhead in the 4-6ms range. Our results suggest that probing the latent space results in improvements in both detection performance as well as cost.


翻译:人工智能驱动的视频生成系统的快速普及给内容审核带来了重大挑战,尤其涉及成人及色情内容。现有检测方法仅对提示词或解码后的像素空间输出进行操作,因此这两种方法都无法捕获生成过程中形成的丰富内部表征。本文提出一种新颖的隐空间探测框架,该框架在推理阶段截取CogVideoX视频扩散模型产生的去噪隐空间表征,并附加轻量级分类器以实现实时成人内容检测。为支持本研究,我们构建了一个包含11039个十秒视频片段的大规模二元数据集(其中违规内容5086段,非违规内容5953段),分别来源于成人网站和YouTube。我们引入两种轻量级探测分类器架构,并在该数据集上进行训练与评估。实验表明,隐空间信号编码了可用于有害内容检测的强判别特征,在保留测试集上达到97.29%的F1分数,额外开销仅为4-6毫秒。研究结果表明,隐空间探测能在检测性能与计算成本两方面带来显著提升。

0
下载
关闭预览

相关内容

视频生成基础模型进展
专知会员服务
14+阅读 · 4月9日
《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
AIGC视觉内容生成与溯源研究进展
专知会员服务
27+阅读 · 2024年7月8日
生成技术在时空数据挖掘中的应用
专知会员服务
39+阅读 · 2024年6月5日
《检索增强生成在AIGC中的应用》综述
专知会员服务
93+阅读 · 2024年3月2日
如何检测LLM内容?UCSB等最新首篇《LLM生成内容检测》综述
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
基于视频的目标检测的发展【附PPT与视频资料】
人工智能前沿讲习班
19+阅读 · 2018年12月14日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
基于深度学习的视频内容识别
计算机视觉战队
10+阅读 · 2017年8月18日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
5+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关VIP内容
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员