Character image animation aims to synthesize high-fidelity videos by transferring motion from a driving sequence to a static reference image. Despite recent advancements, existing methods suffer from two fundamental challenges: (1) suboptimal motion injection strategies that lead to a trade-off between identity preservation and motion consistency, manifesting as a "see-saw", and (2) an over-reliance on explicit pose priors (e.g., skeletons), which inadequately capture intricate dynamics and hinder generalization to arbitrary, non-humanoid characters. To address these challenges, we present DreamActor-M2, a universal animation framework that reimagines motion conditioning as an in-context learning problem. Our approach follows a two-stage paradigm. First, we bridge the input modality gap by fusing reference appearance and motion cues into a unified latent space, enabling the model to jointly reason about spatial identity and temporal dynamics by leveraging the generative prior of foundational models. Second, we introduce a self-bootstrapped data synthesis pipeline that curates pseudo cross-identity training pairs, facilitating a seamless transition from pose-dependent control to direct, end-to-end RGB-driven animation. This strategy significantly enhances generalization across diverse characters and motion scenarios. To facilitate comprehensive evaluation, we further introduce AW Bench, a versatile benchmark encompassing a wide spectrum of characters types and motion scenarios. Extensive experiments demonstrate that DreamActor-M2 achieves state-of-the-art performance, delivering superior visual fidelity and robust cross-domain generalization. Project Page: https://grisoon.github.io/DreamActor-M2/


翻译:角色图像动画旨在通过将驱动序列中的运动迁移到静态参考图像上来合成高保真视频。尽管近期取得了进展,现有方法仍面临两个基本挑战:(1)次优的运动注入策略导致身份保持与运动一致性之间存在权衡,表现为一种“跷跷板”效应;(2)过度依赖显式姿态先验(例如骨骼),这些先验无法充分捕捉复杂的动态,并阻碍了对任意非人形角色的泛化。为解决这些挑战,我们提出了DreamActor-M2,一个将运动条件重构为上下文学习问题的通用动画框架。我们的方法遵循两阶段范式。首先,我们通过将参考外观与运动线索融合到一个统一的潜在空间中来弥合输入模态差距,使模型能够利用基础模型的生成先验,同时对空间身份和时序动态进行联合推理。其次,我们引入了一种自举数据合成流程,该流程策划了伪跨身份训练对,促进了从依赖姿态的控制到直接、端到端的RGB驱动动画的无缝过渡。这一策略显著增强了对多样化角色和运动场景的泛化能力。为了便于全面评估,我们进一步引入了AW Bench,这是一个涵盖广泛角色类型和运动场景的通用基准。大量实验表明,DreamActor-M2实现了最先进的性能,提供了卓越的视觉保真度和鲁棒的跨域泛化能力。项目页面:https://grisoon.github.io/DreamActor-M2/

0
下载
关闭预览

相关内容

虚拟人运动控制策略学习方法的研究进展与展望
专知会员服务
19+阅读 · 2024年8月17日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
虚拟人运动控制策略学习方法的研究进展与展望
专知会员服务
19+阅读 · 2024年8月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员