With the rapid development of AI-generated content (AIGC), video generation has emerged as one of its most dynamic and impactful subfields. In particular, the advancement of video generation foundation models has led to growing demand for controllable video generation methods that can more accurately reflect user intent. Most existing foundation models are designed for text-to-video generation, where text prompts alone are often insufficient to express complex, multi-modal, and fine-grained user requirements. This limitation makes it challenging for users to generate videos with precise control using current models. To address this issue, recent research has explored the integration of additional non-textual conditions, such as camera motion, depth maps, and human pose, to extend pretrained video generation models and enable more controllable video synthesis. These approaches aim to enhance the flexibility and practical applicability of AIGC-driven video generation systems. In this survey, we provide a systematic review of controllable video generation, covering both theoretical foundations and recent advances in the field. We begin by introducing the key concepts and commonly used open-source video generation models. We then focus on control mechanisms in video diffusion models, analyzing how different types of conditions can be incorporated into the denoising process to guide generation. Finally, we categorize existing methods based on the types of control signals they leverage, including single-condition generation, multi-condition generation, and universal controllable generation. For a complete list of the literature on controllable video generation reviewed, please visit our curated repository at https://github.com/mayuelala/Awesome-Controllable-Video-Generation.


翻译:随着人工智能生成内容(AIGC)的快速发展,视频生成已成为其中最具活力与影响力的子领域之一。特别是视频生成基础模型的进步,使得对能够更准确反映用户意图的可控视频生成方法的需求日益增长。现有大多数基础模型主要面向文本到视频生成,而仅凭文本提示往往不足以表达复杂、多模态且细粒度的用户需求。这一局限性使得用户难以利用当前模型生成具有精确控制的视频。为解决此问题,近期研究探索了整合额外非文本条件(如相机运动、深度图及人体姿态)的方法,以扩展预训练视频生成模型并实现更可控的视频合成。这些方法旨在增强AIGC驱动视频生成系统的灵活性与实际适用性。本综述系统性地回顾了可控视频生成领域,涵盖其理论基础与最新进展。我们首先介绍关键概念及常用的开源视频生成模型,随后聚焦于视频扩散模型中的控制机制,分析如何将不同类型的条件融入去噪过程以引导生成。最后,我们依据方法所利用的控制信号类型对现有工作进行分类,包括单条件生成、多条件生成与通用可控生成。关于本综述所涵盖的可控视频生成文献的完整列表,请访问我们整理的资源库:https://github.com/mayuelala/Awesome-Controllable-Video-Generation。

0
下载
关闭预览

相关内容

《可控视频生成:综述》
专知会员服务
17+阅读 · 2025年7月24日
视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
【博士论文】可控图像与视频合成,201页pdf
专知会员服务
32+阅读 · 2024年9月17日
AIGC视觉内容生成与溯源研究进展
专知会员服务
27+阅读 · 2024年7月8日
AIGC大模型测评综述:使能技术,安全隐患和应对
专知会员服务
49+阅读 · 2024年7月2日
《检索增强生成在AIGC中的应用》综述
专知会员服务
92+阅读 · 2024年3月2日
复旦等最新《视频扩散模型》综述
专知会员服务
38+阅读 · 2023年10月20日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
基于视频的目标检测的发展【附PPT与视频资料】
人工智能前沿讲习班
19+阅读 · 2018年12月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《可控视频生成:综述》
专知会员服务
17+阅读 · 2025年7月24日
视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
【博士论文】可控图像与视频合成,201页pdf
专知会员服务
32+阅读 · 2024年9月17日
AIGC视觉内容生成与溯源研究进展
专知会员服务
27+阅读 · 2024年7月8日
AIGC大模型测评综述:使能技术,安全隐患和应对
专知会员服务
49+阅读 · 2024年7月2日
《检索增强生成在AIGC中的应用》综述
专知会员服务
92+阅读 · 2024年3月2日
复旦等最新《视频扩散模型》综述
专知会员服务
38+阅读 · 2023年10月20日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员