State-of-the-art 3D-field video-referenced Talking Face Generation (TFG) methods synthesize high-fidelity personalized talking-face videos in real time by modeling 3D geometry and appearance from reference portrait video. This capability raises significant privacy concerns regarding malicious misuse of personal portraits. However, no efficient defense framework exists to protect such videos against 3D-field TFG methods. While image-based defenses could apply per-frame 2D perturbations, they incur prohibitive computational costs, severe video quality degradation, failing to disrupt 3D information for video protection. To address this, we propose a novel and efficient video defense framework against 3D-field TFG methods, which protects portrait video by perturbing the 3D information acquisition process while maintain high-fidelity video quality. Specifically, our method introduces: (1) a similarity-guided parameter sharing mechanism for computational efficiency, and (2) a multi-scale dual-domain attention module to jointly optimize spatial-frequency perturbations. Extensive experiments demonstrate that our proposed framework exhibits strong defense capability and achieves a 47x acceleration over the fastest baseline while maintaining high fidelity. Moreover, it remains robust against scaling operations and state-of-the-art purification attacks, and the effectiveness of our design choices is further validated through ablation studies. Our project is available at https://github.com/Richen7418/VDF.


翻译:当前最先进的三维场视频参考说话人脸生成方法通过从参考肖像视频中建模三维几何与外观,能够实时合成高保真度的个性化说话人脸视频。这种能力引发了关于个人肖像恶意滥用的重大隐私担忧。然而,目前尚不存在高效的防御框架来保护此类视频免受三维场说话人脸生成方法的侵害。虽然基于图像的防御方法可以对每帧施加二维扰动,但会产生极高的计算成本、严重的视频质量退化,且无法破坏用于视频保护的三维信息。为解决这一问题,我们提出了一种新颖高效、针对三维场说话人脸生成方法的视频防御框架,该框架通过扰动三维信息获取过程来保护肖像视频,同时保持高保真度的视频质量。具体而言,我们的方法引入了:(1) 一种基于相似性的参数共享机制以提高计算效率,以及 (2) 一个多尺度双域注意力模块来联合优化空频域扰动。大量实验表明,我们提出的框架展现出强大的防御能力,在保持高保真度的同时,相比最快的基线方法实现了47倍的加速。此外,该框架对缩放操作和最先进的净化攻击保持鲁棒性,且通过消融研究进一步验证了我们设计选择的有效性。我们的项目发布于 https://github.com/Richen7418/VDF。

0
下载
关闭预览

相关内容

《深度伪造检测模型的准确性和鲁棒性》2023最新论文
专知会员服务
41+阅读 · 2023年10月29日
人脸合成技术综述
专知会员服务
25+阅读 · 2021年11月21日
专知会员服务
16+阅读 · 2021年5月13日
视频人脸识别进展综述
专知会员服务
56+阅读 · 2021年3月12日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
目前最好的开源人脸3D重建与密集对齐算法
计算机视觉life
17+阅读 · 2019年4月24日
读者来稿 | 有效遮挡检测的鲁棒人脸识别
计算机视觉战队
19+阅读 · 2019年3月28日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关资讯
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
目前最好的开源人脸3D重建与密集对齐算法
计算机视觉life
17+阅读 · 2019年4月24日
读者来稿 | 有效遮挡检测的鲁棒人脸识别
计算机视觉战队
19+阅读 · 2019年3月28日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员