We present a training-free, plug-and-play method, namely VFace, for high-quality face swapping in videos. It can be seamlessly integrated with image-based face swapping approaches built on diffusion models. First, we introduce a Frequency Spectrum Attention Interpolation technique to facilitate generation and intact key identity characteristics. Second, we achieve Target Structure Guidance via plug-and-play attention injection to better align the structural features from the target frame to the generation. Third, we present a Flow-Guided Attention Temporal Smoothening mechanism that enforces spatiotemporal coherence without modifying the underlying diffusion model to reduce temporal inconsistencies typically encountered in frame-wise generation. Our method requires no additional training or video-specific fine-tuning. Extensive experiments show that our method significantly enhances temporal consistency and visual fidelity, offering a practical and modular solution for video-based face swapping. Our code is available at https://github.com/Sanoojan/VFace.


翻译:本文提出了一种免训练、即插即用的高质量视频人脸替换方法VFace。该方法可无缝集成于基于扩散模型的图像人脸替换框架。首先,我们提出频谱注意力插值技术,以促进生成过程并保持关键身份特征。其次,通过即插即用的注意力注入机制实现目标结构引导,从而将目标帧的结构特征更好地对齐到生成过程中。第三,我们提出流引导注意力时序平滑机制,在不修改底层扩散模型的前提下增强时空一致性,有效缓解逐帧生成中常见的时序不一致问题。本方法无需额外训练或视频数据微调。大量实验表明,该方法显著提升了时序一致性与视觉保真度,为视频人脸替换提供了实用且模块化的解决方案。代码已开源:https://github.com/Sanoojan/VFace。

0
下载
关闭预览

相关内容

视频人脸识别进展综述
专知会员服务
56+阅读 · 2021年3月12日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
深度学习人脸识别系统DFace
深度学习
17+阅读 · 2018年2月14日
【干货】通过OpenFace来理解人脸识别
专知
56+阅读 · 2018年1月23日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
视频人脸识别进展综述
专知会员服务
56+阅读 · 2021年3月12日
相关资讯
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
深度学习人脸识别系统DFace
深度学习
17+阅读 · 2018年2月14日
【干货】通过OpenFace来理解人脸识别
专知
56+阅读 · 2018年1月23日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员