With the rapid development of AI-generated content (AIGC), video generation has emerged as one of its most dynamic and impactful subfields. In particular, the advancement of video generation foundation models has led to growing demand for controllable video generation methods that can more accurately reflect user intent. Most existing foundation models are designed for text-to-video generation, where text prompts alone are often insufficient to express complex, multi-modal, and fine-grained user requirements. This limitation makes it challenging for users to generate videos with precise control using current models. To address this issue, recent research has explored the integration of additional non-textual conditions, such as camera motion, depth maps, and human pose, to extend pretrained video generation models and enable more controllable video synthesis. These approaches aim to enhance the flexibility and practical applicability of AIGC-driven video generation systems. In this survey, we provide a systematic review of controllable video generation, covering both theoretical foundations and recent advances in the field. We begin by introducing the key concepts and commonly used open-source video generation models. We then focus on control mechanisms in video diffusion models, analyzing how different types of conditions can be incorporated into the denoising process to guide generation. Finally, we categorize existing methods based on the types of control signals they leverage, including single-condition generation, multi-condition generation, and universal controllable generation. For a complete list of the literature on controllable video generation reviewed, please visit our curated repository at https://github.com/mayuelala/Awesome-Controllable-Video-Generation.


翻译:随着人工智能生成内容(AIGC)的快速发展,视频生成已成为其中最具活力与影响力的子领域之一。特别是视频生成基础模型的进步,催生了对于能够更准确反映用户意图的可控视频生成方法日益增长的需求。现有基础模型大多面向文本到视频生成任务,而仅凭文本提示往往不足以表达复杂、多模态且细粒度的用户需求。这一局限性使得用户难以利用现有模型生成具备精确控制的视频。为解决该问题,近期研究探索了整合额外非文本条件(如相机运动、深度图及人体姿态)以扩展预训练视频生成模型,从而实现更可控的视频合成。这些方法旨在提升AIGC驱动视频生成系统的灵活性与实际适用性。本综述系统性地回顾了可控视频生成领域,涵盖理论基础与前沿进展。首先介绍核心概念及常用开源视频生成模型;随后聚焦于视频扩散模型中的控制机制,分析如何将不同类型的条件融入去噪过程以引导生成;最后依据所采用控制信号类型对现有方法进行分类,包括单条件生成、多条件生成与通用可控生成。关于本综述所涉可控视频生成文献的完整列表,请访问我们整理的资源库:https://github.com/mayuelala/Awesome-Controllable-Video-Generation。

0
下载
关闭预览

相关内容

《可控视频生成:综述》
专知会员服务
17+阅读 · 2025年7月24日
交互式生成视频综述
专知会员服务
10+阅读 · 2025年5月4日
视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
【博士论文】可控图像与视频合成,201页pdf
专知会员服务
32+阅读 · 2024年9月17日
AIGC视觉内容生成与溯源研究进展
专知会员服务
27+阅读 · 2024年7月8日
AIGC大模型测评综述:使能技术,安全隐患和应对
专知会员服务
49+阅读 · 2024年7月2日
《检索增强生成在AIGC中的应用》综述
专知会员服务
92+阅读 · 2024年3月2日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
基于视频的目标检测的发展【附PPT与视频资料】
人工智能前沿讲习班
19+阅读 · 2018年12月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《可控视频生成:综述》
专知会员服务
17+阅读 · 2025年7月24日
交互式生成视频综述
专知会员服务
10+阅读 · 2025年5月4日
视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
【博士论文】可控图像与视频合成,201页pdf
专知会员服务
32+阅读 · 2024年9月17日
AIGC视觉内容生成与溯源研究进展
专知会员服务
27+阅读 · 2024年7月8日
AIGC大模型测评综述:使能技术,安全隐患和应对
专知会员服务
49+阅读 · 2024年7月2日
《检索增强生成在AIGC中的应用》综述
专知会员服务
92+阅读 · 2024年3月2日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员