Recent advances in video generation have produced models capable of synthesizing stunning visual content from simple text prompts. However, these models struggle to generate long-form, coherent narratives from high-level concepts like dialogue, revealing a ``semantic gap'' between a creative idea and its cinematic execution. To bridge this gap, we introduce a novel, end-to-end agentic framework for dialogue-to-cinematic-video generation. Central to our framework is ScripterAgent, a model trained to translate coarse dialogue into a fine-grained, executable cinematic script. To enable this, we construct ScriptBench, a new large-scale benchmark with rich multimodal context, annotated via an expert-guided pipeline. The generated script then guides DirectorAgent, which orchestrates state-of-the-art video models using a cross-scene continuous generation strategy to ensure long-horizon coherence. Our comprehensive evaluation, featuring an AI-powered CriticAgent and a new Visual-Script Alignment (VSA) metric, shows our framework significantly improves script faithfulness and temporal fidelity across all tested video models. Furthermore, our analysis uncovers a crucial trade-off in current SOTA models between visual spectacle and strict script adherence, providing valuable insights for the future of automated filmmaking.


翻译:近期视频生成技术的进展已能通过简单文本提示合成令人惊叹的视觉内容。然而,这些模型在根据对话等高层概念生成长篇幅连贯叙事时仍面临挑战,暴露出创意构想与电影化呈现之间的“语义鸿沟”。为弥合这一鸿沟,我们提出了一种新颖的端到端智能体框架,用于实现对话到电影视频的生成。该框架的核心是ScripterAgent——一个经过训练、能够将粗略对话转化为细粒度可执行电影剧本的模型。为此,我们构建了ScriptBench,这是一个通过专家指导流程标注、具有丰富多模态上下文的大规模新基准。生成的剧本随后指导DirectorAgent,该智能体采用跨场景连续生成策略协调最先进的视频模型,以确保长时程叙事连贯性。我们通过AI驱动的CriticAgent及新提出的视觉-剧本对齐(VSA)指标进行全面评估,结果表明该框架显著提升了所有测试视频模型的剧本忠实度与时间保真度。此外,我们的分析揭示了当前最先进模型在视觉奇观与严格剧本遵循之间存在关键权衡,这为自动化电影制作的未来发展提供了重要启示。

0
下载
关闭预览

相关内容

电影是一种视听媒介,利用胶卷、录像带或数位媒体将影像和声音捕捉,再加上后期的编辑工作而成。
AI 智能体系统:体系架构、应用场景及评估范式
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
文本+视觉,多篇 Visual/Video BERT 论文介绍
AI科技评论
22+阅读 · 2019年8月30日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员