Speech deepfake detection (DFD) has benefited from diverse acoustic and semantic speech representations, many of which encode valuable speech information and are costly to train. Existing approaches typically enhance DFD by tuning the representations or applying post-hoc classification on frozen features, limiting control over improving discriminative DF cues without distorting original semantics. We find that emotion is encoded across diverse speech features and correlates with DFD. Therefore, we introduce a unified, feature-agnostic, and non-destructive training framework that uses emotion as a bridging constraint to guide speech features toward DFD, treating emotion recognition as a representation alignment objective rather than an auxiliary task, while preserving the original semantic information. Experiments on FakeOrReal and IntheWild show accuracy improvements of up to 6\% and 2\%, respectively, with corresponding reductions in equal error rate. Code is in the supplementary material.


翻译:语音深度伪造检测(DFD)受益于多样化的声学和语义语音表征,其中许多编码了宝贵的语音信息且训练成本高昂。现有方法通常通过调整表征或对冻结特征进行后验分类来增强DFD,这限制了在不扭曲原始语义的情况下改进判别性DF线索的能力。我们发现情感编码于多样化的语音特征中,并与DFD相关。因此,我们引入了一个统一的、特征无关的、非破坏性的训练框架,该框架以情感作为桥梁约束,引导语音特征朝向DFD,将情感识别视为表征对齐目标而非辅助任务,同时保留原始语义信息。在FakeOrReal和IntheWild数据集上的实验显示准确率分别提升了高达6%和2%,并相应降低了等错误率。代码详见补充材料。

0
下载
关闭预览

相关内容

《深度伪造防御系统评估的系统性方法》
专知会员服务
14+阅读 · 3月16日
深度伪造及其取证技术综述
专知会员服务
29+阅读 · 2024年4月26日
深度伪造生成与检测:基准测试和综述
专知会员服务
52+阅读 · 2024年3月27日
《网络战中的深度伪造: 威胁、检测、技术和对策》
专知会员服务
49+阅读 · 2023年11月22日
视觉深度伪造检测技术综述
专知会员服务
37+阅读 · 2022年1月28日
专知会员服务
76+阅读 · 2020年12月12日
深度伪造与检测技术综述(中文版),25页pdf
专知
13+阅读 · 2020年12月12日
就喜欢看综述论文:情感分析中的深度学习
机器之心
13+阅读 · 2018年1月26日
深度学习 | 利用词嵌入对文本进行情感分析
沈浩老师
11+阅读 · 2017年10月19日
深度学习在情感分析中的应用
CSDN大数据
14+阅读 · 2017年8月22日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
美军MAVEN项目全面解析:算法战架构
专知会员服务
2+阅读 · 34分钟前
从俄乌战场看“马赛克战”(万字长文)
专知会员服务
0+阅读 · 51分钟前
最新“指挥控制”领域出版物合集(16份)
专知会员服务
9+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
16+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
5+阅读 · 4月12日
相关VIP内容
《深度伪造防御系统评估的系统性方法》
专知会员服务
14+阅读 · 3月16日
深度伪造及其取证技术综述
专知会员服务
29+阅读 · 2024年4月26日
深度伪造生成与检测:基准测试和综述
专知会员服务
52+阅读 · 2024年3月27日
《网络战中的深度伪造: 威胁、检测、技术和对策》
专知会员服务
49+阅读 · 2023年11月22日
视觉深度伪造检测技术综述
专知会员服务
37+阅读 · 2022年1月28日
专知会员服务
76+阅读 · 2020年12月12日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员