综述：AI生成视频检测，从视觉取证走向事实保真验证

导读

随着 Sora、Veo、Seedance 等视频生成模型快速进化，AI 生成视频已经从早期“脸部替换、局部篡改”的深伪时代，走向开放域文本生成视频、长视频叙事和多模态内容合成。传统检测器依赖边缘融合痕迹、频域伪影、帧级纹理等低层线索，但这些线索正在被高保真生成模型不断抹平。

综述论文 Detecting AI-Generated Video: A Vision-Language Dual-View Survey 对 221 篇相关工作进行系统梳理，提出一个非常关键的转向：AI 生成视频检测不应只回答“真假二分类”，而应被重新定义为 事实保真验证，即判断视频中隐含的事件、实体、时间、地点、物理过程是否与真实世界一致。 为此，论文提出 视觉-语言双视角四层分类体系：视觉视角覆盖内在痕迹分析与时空一致性，语言视角覆盖跨模态一致性和语言引导的世界级推理。这个框架把早期取证方法、视频时序检测、多模态对齐、VLM/Agent 推理和外部知识验证放在同一张地图中，展示了 AIGC-V 检测从“找伪影”到“验事实”的方法演进。

论文信息

1. Introduction / 引言

现代 AI 生成视频已经不仅是把某个人脸替换到另一段视频里，而是可以从文本、图像、音频或多模态条件直接合成完整视频。视频证据过去承担“谁、何时、何地、发生了什么”的证明功能，但当生成视频具备电影级质感和连贯叙事时，肉眼真实性不再等于事实真实性。 论文指出，检测任务需要从感知层检查转向认知层验证。早期检测器主要寻找低层视觉伪影，例如边界融合、局部纹理异常、频域残差或生理信号异常；但扩散模型和 Transformer 视频生成器正在减少这些明显痕迹。下一代检测器需要同时回答：画面是否合理，运动是否连续，音频与视频是否对齐，文本描述与视觉事件是否一致，视频中的实体、物理过程和世界知识是否成立。

这也是论文提出“事实保真验证”的原因。一个视频可能看起来真实，但如果它展示了不存在的赞助商、违反重力的物体运动，或文本-视频语义明显冲突，那么它仍然不具备事实保真性。

2. Paradigms of AI-Generated Video / AI生成视频范式

论文首先把 AI 生成视频分为三类：局部操纵、音视频编辑、生成式视频合成。三类范式对应不同威胁模型，也决定了检测证据应该从哪里来。

三类生成范式

第一类是局部操纵，典型形式包括换脸、属性编辑和背景修改。这类方法通常保留真实视频作为载体，只修改局部区域或语义属性。因此最强证据往往是局部残留、空间边界、身份不一致和局部几何异常。 第二类是音视频编辑，例如音频驱动的 talking head、唇形同步、声音替换和重新配音。它的关键约束是跨模态耦合：口型、语音、说话人身份、字幕和面部运动是否一致。因此检测重点从图像伪影转向音频-视频同步、说话人一致性和语音语义一致性。 第三类是生成式视频合成，例如文本到视频、图像到视频和长视频生成。这类方法不再依赖真实载体，低层编辑痕迹变弱，检测重心转向长程时序一致性、物理合理性、事件逻辑和外部事实验证。

3. AI-Generated Video Detection / AI生成视频检测

论文将检测任务重新定义为事实保真验证：视频及其元数据所隐含的事实级命题，是否与真实世界一致。一个检测器不应只输出 real/fake 概率，而应输出怀疑分数和证据集合。 证据集合应包含四类信息：第一，证据定位，例如时间片段或空间轨迹；第二，置信度；第三，可读的 claim-check 语句，说明正在验证什么子命题、发现了什么不一致；第四，来源记录，例如工具调用结果、检索事实或外部知识证据。

双视角四层框架

论文的核心贡献是视觉-语言双视角四层分类体系。视觉视角包括第 1 层和第 2 层，负责低层取证和时空一致性；语言视角包括第 3 层和第 4 层，负责跨模态验证和世界级推理。

第 1 层是内在痕迹分析，关注帧级统计差异，例如像素和几何伪影、生理特征、表示分布偏移。第 2 层是时空一致性，关注帧序列关系，例如运动连续性、物理和频域异常、人类行为动态。第 3 层是跨模态一致性，验证音频、视频、文本和元数据之间是否匹配。第 4 层是语言引导的世界级推理，借助 VLM、Agent、工具调用和外部知识判断事件是否符合现实。 这个分类不是按任务硬切，而是按主要证据路径划分。一个系统可以组合多个层的证据，但每个模块应明确说明自己依赖的是帧级痕迹、时序关系、跨模态对齐，还是外部事实验证。

4. Landscape of Detection Methods / 检测方法图谱

论文进一步把代表性方法放入四层框架中，展示从 2020 到 2025 年的演进：早期方法集中在视觉伪影、CNN/RNN 与时序一致性；随后出现视觉 Transformer、音视频对齐和跨模态检测；近两年，Reasoning VLMs、Agentic pipelines 和解释性后训练方法成为重要方向。

第一层：内在痕迹分析

内在痕迹方法假设真实视频和生成视频在底层统计上存在差异。典型证据包括频域指纹、局部纹理残差、头部姿态几何异常、rPPG 心率信号、眨眼模式、风格空间轨迹和表示分布偏移。 这类方法适合局部操纵视频，因为真实载体与合成区域之间常留下残差和边界。但它的弱点也很明显：压缩、转码、降分辨率、域迁移和新生成器都会削弱低层痕迹；生理信号还依赖清晰人脸和稳定拍摄条件。

第二层：时空一致性

时空一致性方法不再独立分类每一帧，而是检查视频流是否满足真实拍摄中的连续运动、相机轨迹和物理约束。典型线索包括帧间运动异常、光流残差、时间频谱异常、局部模糊突变、面部表情轨迹、凝视行为和 3D 几何一致性。 这一层对生成式视频合成非常重要。高保真 T2V 模型可以让单帧看起来真实，但长程运动、物体交互、背景连续性和物理可行性仍可能出错。论文也提醒，短视频、重采样和压缩会稀释时序信号，很多所谓视频检测器仍可能退化为帧级捷径。

第三层：跨模态一致性

跨模态一致性方法检查视频内部不同模态是否互相支持。对音视频编辑而言，唇形与语音是否同步、说话人身份与声音是否一致、字幕与语音是否一致，是核心证据。对文本-视频生成而言，提示词、字幕、视频帧和事件描述之间的语义一致性也很关键。 这一层的意义在于：即使视觉画面本身没有明显伪影，音频、文本或元数据也可能暴露不一致。例如口型运动与音素不同步，人物身份与声纹不匹配，视频展示的动作与标题或描述不一致。

第四层：语言引导的世界级推理

第 4 层是论文强调的新趋势。它不只问“视频内部是否自洽”，还问“视频是否与外部世界事实一致”。这需要 VLM、检索增强、工具调用、物理常识、新闻事实、实体知识和多步推理。 例如，一个生成视频可能在视觉和音频上高度一致，但出现不存在的建筑、错误的历史场景、违反物理的运动或不合逻辑的事件链。此时检测器需要把视频拆成可检查的事实命题，再用外部证据和世界知识验证。

趋势：语言视角正在快速上升

论文对 surveyed detection papers 做了年度统计。2020 到 2022 年，方法主要集中在第 1、2 层，也就是视觉视角；2025 年出现明显变化，48 篇方法中有 30 篇属于语言视角，第 3、4 层成为主要增长点。累计来看，语言视角方法占比从 6.3% 增长到 40.3%。

性能快照也显示，低层视觉方法仍然强；但第 4 层语言引导方法在若干跨数据集协议中已经具备竞争力。论文强调，这张表不能当作简单排行榜，因为不同层回答的是不同验证问题，评测协议也并不完全可比。

5. Evaluation of AIGC-V Detection / 评测体系

评测部分强调一个核心观点：AUC 是必要的，但远远不够。AUC 能衡量某个协议下真假分离能力，却不能说明检测器是否找到了真实证据，也不能说明它是否理解了时空、物理、跨模态或事实层面的错误。

指标应匹配证据路径

视觉视角评测应关注跨数据集泛化、压缩鲁棒性、码率变化、分辨率变化、固定误报率下的召回率，以及视频级而非帧级表现。时空一致性方法需要报告时间扰动、运动消融和视频级聚合结果。 语言视角评测则要关注跨模态对齐、定位、证据 grounding、问答准确性、解释质量和人类偏好。对于世界级验证，仅有分类准确率不足以衡量系统是否真正识别了事实冲突。

基准生态

论文将基准按三类生成范式整理。LMV 基准历史最深，覆盖 FaceForensics++、Celeb-DF、DFDC、ForgeryNet、DeepfakeBench 等；AVE 基准关注音视频局部编辑和同步错误，如 FakeAVCeleb、LAV-DF、AV-Deepfake1M；GVS 基准增长最快，面向完全生成视频、跨生成器泛化和事实保真评测，如 GenVidDet、DVF、GenBuster、AIGVDBench、SynthForensics、MintVid 等。

论文还补充了相邻诊断资源，例如物理规则违反、世界动态与因果、解释性诊断。这些资源虽然不都是传统检测基准，但对“事实保真验证”非常重要，因为它们直接测试视频是否违反物理、常识、事件逻辑或社会行为规律。

6. Challenges and Future / 挑战与未来

论文认为，下一阶段 AIGC-V 检测面临四个关键方向。

诊断式评测

闭集分类指标不能证明检测器可靠。未来评测要能揭示事实保真在哪里破裂：是低层伪影消失后模型失效，还是时序不一致未被捕捉，或是跨模态/外部事实验证失败。评测协议需要包括跨数据集迁移、压缩和分辨率扰动、生成器更新、固定操作点，以及部署场景中的鲁棒性衰减。

命题级与动态评测

论文建议把视频分解为“谁、何时、何地、发生什么”的事实命题，并给每个命题配上时间戳证据。这样评测不只问真假，还能问“哪一条事实是假的”“证据在哪里”。同时，随着生成器快速更新，静态测试集会很快过时，因此需要动态 benchmark 和持续更新的 leaderboard。

统一可解释检测

可信检测不能只平均多个模型分数，而应构建跨层证据图：第 1 层给出低层痕迹，第 2 层给出时空异常，第 3 层给出跨模态冲突，第 4 层给出事实和世界知识验证。系统应保留证据粒度，而不是过早压缩成一个置信分数。

证据优先的可信检测

论文提出 evidence-first 原则：解释应建立在证据抽取之后，而不是分类器输出后的事后文字包装。一个可信系统应先发现候选问题，再定位时空位置，最后解释违反了哪类感知、时序、跨模态或事实约束。对于证据冲突或不完整的情况，系统还应支持校准、不确定性报告和拒答。

7. Related Work / 相关综述

已有综述多从深伪、人脸篡改、多媒体取证或宽泛 AIGC 检测角度组织文献。它们覆盖面很有价值，但往往没有把局部操纵、音视频编辑和生成式视频合成的证据差异系统拆开，也较少把世界级推理和事实保真作为中心任务。 这篇综述的不同之处在于，它不是简单扩充文献列表，而是重构任务定义：从检测“是否生成”转为验证“是否与现实一致”。因此，它把语义线索、解释定位、世界知识、Agent 工具调用和动态证据治理都纳入检测框架。

8. Conclusion / 结论

这篇综述给 AI 生成视频检测提供了一张清晰路线图：传统视觉取证仍然重要，但不足以应对高保真、长叙事、跨模态和开放世界生成视频。未来检测器需要把视觉证据、时空一致性、跨模态验证和世界级事实推理连接起来。 更大的趋势是，AIGC-V 检测将成为计算机视觉、自然语言处理、多模态学习和世界模型研究的交叉任务。CV 提供时空取证和鲁棒感知，NLP 提供命题分解、推理和解释，VLM/Agent 提供跨模态对齐和工具化验证，世界模型研究提供物理、因果和时间一致性先验。 最终，可信检测不应停留在“视频看起来真不真”，而应回答更严格的问题：视频中的实体、事件和动态是否忠实于现实世界的约束。