Cutscenes are carefully choreographed cinematic sequences embedded in video games and interactive media, serving as the primary vehicle for narrative delivery, character development, and emotional engagement. Producing cutscenes is inherently complex: it demands seamless coordination across screenwriting, cinematography, character animation, voice acting, and technical direction, often requiring days to weeks of collaborative effort from multidisciplinary teams to produce minutes of polished content. In this work, we present Cutscene Agent, an LLM agent framework for automated end-to-end cutscene generation. The framework makes three contributions: (1)~a Cutscene Toolkit built on the Model Context Protocol (MCP) that establishes \emph{bidirectional} integration between LLM agents and the game engine -- agents not only invoke engine operations but continuously observe real-time scene state, enabling closed-loop generation of editable engine-native cinematic assets; (2)~a multi-agent system where a director agent orchestrates specialist subagents for animation, cinematography, and sound design, augmented by a visual reasoning feedback loop for perception-driven refinement; and (3)~CutsceneBench, a hierarchical evaluation benchmark for cutscene generation. Unlike typical tool-use benchmarks that evaluate short, isolated function calls, cutscene generation requires long-horizon, multi-step orchestration of dozens of interdependent tool invocations with strict ordering constraints -- a capability dimension that existing benchmarks do not cover. We evaluate a range of LLMs on CutsceneBench and analyze their performance across this challenging task.


翻译:过场动画是嵌入在电子游戏与交互媒体中的精心编排的电影化片段,承担着叙事呈现、角色塑造和情感共鸣的核心载体功能。过场动画制作具有固有问题复杂性:它需要编剧、电影摄影、角色动画、配音与导演技术等多环节的无缝协同,通常需要跨学科团队耗费数日至数周的合作努力,才能产出数分钟的精良内容。本文提出Cutscene Agent这一基于大语言智能体框架的自动化端到端过场动画生成方案。该框架贡献如下三方面:(1) 基于模型上下文协议(MCP)构建的过场动画工具包(Cutscene Toolkit),实现大语言智能体与游戏引擎的 *双向* 集成——智能体不仅能调用引擎操作,还可持续观察实时场景状态,从而实现可编辑引擎原生电影资产的全闭环生成;(2) 多智能体系统,由导演智能体统筹管理动画、摄影与音效设计的专业子智能体,并通过视觉推理反馈循环实现感知驱动的精细化迭代;(3) 面向过场动画生成的分层评估基准CutsceneBench。不同于评估简短孤立函数调用的典型工具调用基准,过场动画生成需要长时效、多步骤的编排,严格约束下协调数十个相互依赖的工具调用——这一能力维度是现有基准尚未覆盖的。我们在CutsceneBench上对多种大语言模型进行评估,分析其在此项挑战性任务中的表现。

0
下载
关闭预览

相关内容

电影是一种视听媒介,利用胶卷、录像带或数位媒体将影像和声音捕捉,再加上后期的编辑工作而成。
【NTU博士论文】3D人体动作生成
专知会员服务
12+阅读 · 4月24日
智能体工程(Agent Engineering)
专知会员服务
37+阅读 · 2025年12月31日
多模态数字人建模、合成与驱动综述
专知会员服务
30+阅读 · 2024年9月19日
AI Agent:基于大模型的自主智能体
专知会员服务
250+阅读 · 2023年9月9日
虚拟数字人发展白皮书,37页pdf
专知
10+阅读 · 2022年2月16日
旷视研究院新出8000点人脸关键点,堪比电影级表情捕捉
人工智能前沿讲习班
19+阅读 · 2019年5月4日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
用Python制作3D动画
Python程序员
30+阅读 · 2018年1月17日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 3月11日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
2+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
虚拟数字人发展白皮书,37页pdf
专知
10+阅读 · 2022年2月16日
旷视研究院新出8000点人脸关键点,堪比电影级表情捕捉
人工智能前沿讲习班
19+阅读 · 2019年5月4日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
用Python制作3D动画
Python程序员
30+阅读 · 2018年1月17日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员