Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.


翻译:草图绘制为动画创作中的动态意图表达(即元素如何随时间与空间变化)提供了直观方式,使其成为自动化内容创作的自然媒介。然而,现有方法常将草图限制于固定指令标记或预定义视觉形式,忽略了其自由形式的本质以及人类在意图塑造中的核心作用。为此,我们提出一种交互范式:用户通过自由手绘草图向视觉-语言模型传达动态意图,并在此以草图故事板至动态图形的工作流程实现该范式。我们开发了交互界面,并通过包含24名参与者的三阶段研究对其改进。研究表明:草图如何以极简输入传达运动信息,其固有模糊性如何需要用户参与澄清,以及草图如何通过视觉引导视频优化。我们的发现揭示了草图与人工智能交互在弥合意图与结果之间鸿沟的潜力,并论证了其在三维动画与视频生成领域的适用性。

0
下载
关闭预览

相关内容

专知会员服务
34+阅读 · 2021年10月11日
图表示学习Graph Embedding综述
图与推荐
10+阅读 · 2020年3月23日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
图卷积网络介绍及进展【附PPT与视频资料】
人工智能前沿讲习班
24+阅读 · 2019年1月3日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
专知会员服务
34+阅读 · 2021年10月11日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员