Recent neural audio codec-based speech generation (CodecFake) produces highly realistic audio, posing a challenge to existing deepfake countermeasure models. While using codec resynthesized speech (CoRS) as proxy data improves performance, it often suffers from limited generalization. We propose Domain-Shift Feature Augmentation (DSFA), which simulates "in-the-wild" variations by transforming deterministic feature statistics into stochastic distributions during fine-tuning. To evaluate generalization, we further introduce Codec-based Speech Generation Extension Evaluation (CoSG ExtEval) dataset, a more challenging extension of the CoSG Eval (from CodecFake+) dataset, featuring 40 unseen generative models and long-form audio. Experimental results demonstrate that combining a post-trained SSL backbone with DSFA effectively narrows the proxy-to-wild domain gap. This approach achieves state-of-the-art performance across diverse CodecFake attacks in both CoSG Eval and CoSG ExtEval.


翻译:近期基于神经音频编解码器的语音生成技术(CodecFake)可产生高度逼真的音频,对现有深度伪造对抗模型构成挑战。虽然使用编解码器重合成语音(CoRS)作为代理数据可提升性能,但常面临泛化能力受限的问题。本文提出域偏移特征增强(DSFA)方法,通过在微调过程中将确定性特征统计量转化为随机分布,模拟"真实世界"变化。为评估泛化性,我们进一步引入基于编解码器的语音生成扩展评估(CoSG ExtEval)数据集,这是CoSG Eval(来自CodecFake+)数据集的更具挑战性的扩展版本,包含40个未见过的生成模型和长时音频。实验结果表明,将后训练SSL骨干网络与DSFA相结合,可有效缩小代理域到真实域的差异。该方法在CoSG Eval和CoSG ExtEval中针对多种CodecFake攻击均实现了最先进性能。

0
下载
关闭预览

相关内容

深度伪造及其取证技术综述
专知会员服务
30+阅读 · 2024年4月26日
深度伪造生成与检测:基准测试和综述
专知会员服务
52+阅读 · 2024年3月27日
【CVPR2024】RegionGPT: 向着区域理解视觉语言模型发展
专知会员服务
21+阅读 · 2024年3月9日
【AI安全系列】从deepfakes深度伪造技术看AI安全,53页ppt
专知会员服务
81+阅读 · 2023年6月27日
专知会员服务
76+阅读 · 2020年12月12日
深度伪造与检测技术综述(中文版),25页pdf
专知
13+阅读 · 2020年12月12日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
3+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员