We study object motion path editing in videos, where the goal is to alter a target object's trajectory while preserving the original scene content. Unlike prior video editing methods that primarily manipulate appearance or rely on point-track-based trajectory control, which is often challenging for users to provide during inference, especially in videos with camera motion, we offer a practical, easy-to-use approach to controllable object-centric motion editing. We present Trace, a framework that enables users to design the desired trajectory in a single anchor frame and then synthesizes a temporally consistent edited video. Our approach addresses this task with a two-stage pipeline: a cross-view motion transformation module that maps first-frame path design to frame-aligned box trajectories under camera motion, and a motion-conditioned video re-synthesis module that follows these trajectories to regenerate the object while preserving the remaining content of the input video. Experiments on diverse real-world videos show that our method produces more coherent, realistic, and controllable motion edits than recent image-to-video and video-to-video methods.


翻译:我们研究视频中的目标运动路径编辑问题,目标是在保留原始场景内容的同时改变目标物体的运动轨迹。与主要操控外观或依赖基于点跟踪的轨迹控制(此类方法在推理时往往难以让用户提供信息,尤其是存在相机运动的视频中)等先前的视频编辑方法不同,我们提出一种实用且易于操作的物体中心运动可控编辑方法。我们提出Trace框架,使用户能够在单个锚定帧中设计期望轨迹,然后合成时间一致性编辑视频。该方法采用两阶段流程实现:跨视角运动变换模块将首帧路径设计映射为相机运动下的帧对齐框轨迹,以及运动条件视频重合成模块跟随这些轨迹重新生成目标物体,同时保留输入视频的其余内容。在多样化真实视频上的实验表明,与近期图像到视频和视频到视频方法相比,本方法能产生更连贯、真实且可控的运动编辑效果。

0
下载
关闭预览

相关内容

【ETHZ博士论文】视频通用目标跟踪,175页pdf
专知会员服务
33+阅读 · 2023年10月24日
「视频目标跟踪」最新2022研究进展综述
专知会员服务
82+阅读 · 2022年9月26日
​【CVPR 2021】半监督视频目标分割新算法,实现SOTA性能
专知会员服务
13+阅读 · 2021年4月26日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
38+阅读 · 2021年4月16日
「视频目标跟踪」最新2022研究进展综述
专知
10+阅读 · 2022年9月26日
计算机视觉方向简介 | 多目标跟踪算法(附源码)
计算机视觉life
15+阅读 · 2019年6月26日
视频中的多目标跟踪【附PPT与视频资料】
人工智能前沿讲习班
30+阅读 · 2018年11月29日
目标跟踪算法分类
大数据技术
13+阅读 · 2018年9月17日
入门 | 一文概览视频目标分割
机器之心
10+阅读 · 2017年10月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
0+阅读 · 24分钟前
21世纪的无人机战争
专知会员服务
1+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
1+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员