Video Face Swapping (VFS) requires seamlessly injecting a source identity into a target video while meticulously preserving the original pose, expression, lighting, background, and dynamic information. Existing methods struggle to maintain identity similarity and attribute preservation while preserving temporal consistency. To address the challenge, we propose a comprehensive framework to seamlessly transfer the superiority of Image Face Swapping (IFS) to the video domain. We first introduce a novel data pipeline SyncID-Pipe that pre-trains an Identity-Anchored Video Synthesizer and combines it with IFS models to construct bidirectional ID quadruplets for explicit supervision. Building upon paired data, we propose the first Diffusion Transformer-based framework DreamID-V, employing a core Modality-Aware Conditioning module to discriminatively inject multi-model conditions. Meanwhile, we propose a Synthetic-to-Real Curriculum mechanism and an Identity-Coherence Reinforcement Learning strategy to enhance visual realism and identity consistency under challenging scenarios. To address the issue of limited benchmarks, we introduce IDBench-V, a comprehensive benchmark encompassing diverse scenes. Extensive experiments demonstrate DreamID-V outperforms state-of-the-art methods and further exhibits exceptional versatility, which can be seamlessly adapted to various swap-related tasks.


翻译:视频人脸交换(VFS)要求将源身份无缝注入目标视频,同时细致保留原始姿态、表情、光照、背景及动态信息。现有方法难以在保持时序一致性的同时兼顾身份相似性与属性保留。为应对这一挑战,我们提出了一个综合性框架,将图像人脸交换(IFS)的优越性无缝迁移至视频领域。我们首先引入了新型数据流水线SyncID-Pipe,通过预训练身份锚定视频合成器并结合IFS模型构建双向ID四元组以进行显式监督。基于配对数据,我们提出了首个基于扩散Transformer的框架DreamID-V,采用核心的模态感知条件模块以判别式注入多模型条件。同时,我们提出了合成到真实的课程学习机制与身份一致性强化学习策略,以增强复杂场景下的视觉真实感与身份一致性。针对现有基准数据有限的问题,我们构建了涵盖多样化场景的综合基准测试集IDBench-V。大量实验表明DreamID-V优于现有最先进方法,并展现出卓越的泛化能力,可无缝适配多种交换相关任务。

0
下载
关闭预览

相关内容

DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员