Audio Language Models (ALMs) offer a promising shift towards explainable audio deepfake detections (ADDs), moving beyond \textit{black-box} classifiers by providing some level of transparency into their predictions via reasoning traces. This necessitates a new class of model robustness analysis: robustness of the predictive reasoning under adversarial attacks, which goes beyond existing paradigm that mainly focuses on the shifts of the final predictions (e.g., fake v.s. real). To analyze such reasoning shifts, we introduce a forensic auditing framework to evaluate the robustness of ALMs' reasoning under adversarial attacks in three inter-connected dimensions: acoustic perception, cognitive coherence, and cognitive dissonance. Our systematic analysis reveals that explicit reasoning does not universally enhance robustness. Instead, we observe a bifurcation: for models exhibiting robust acoustic perception, reasoning acts as a defensive \textit{``shield''}, protecting them from adversarial attacks. However, for others, it imposes a performance \textit{``tax''}, particularly under linguistic attacks which reduce cognitive coherence and increase attack success rate. Crucially, even when classification fails, high cognitive dissonance can serve as a \textit{silent alarm}, flagging potential manipulation. Overall, this work provides a critical evaluation of the role of reasoning in forensic audio deepfake analysis and its vulnerabilities.


翻译:音频语言模型为可解释的音频深度伪造检测提供了前景广阔的转变,通过推理轨迹为预测提供一定程度的透明度,从而超越了传统的"黑盒"分类器。这催生了一类新的模型鲁棒性分析需求:对抗性攻击下预测推理过程的鲁棒性分析,其研究范畴超越了现有主要关注最终预测结果偏移(如伪造与真实判定)的范式。为分析此类推理偏移,我们提出了一个取证审计框架,从三个相互关联的维度评估音频语言模型在对抗性攻击下的推理鲁棒性:听觉感知、认知连贯性与认知失调。我们的系统分析表明,显式推理并不能普遍增强模型鲁棒性。相反,我们观察到一种双重分化现象:对于展现稳健听觉感知的模型,推理过程发挥着"防护盾"的防御作用,使其免受对抗性攻击;而对于其他模型,推理过程则会产生性能"税",尤其在语言类攻击下会降低认知连贯性并提高攻击成功率。关键的是,即使分类任务失败,高认知失调也可作为"无声警报",标记潜在的篡改行为。总体而言,本研究对推理在取证音频深度伪造分析中的作用及其脆弱性提供了批判性评估。

0
下载
关闭预览

相关内容

基于深度学习的伪装目标检测研究进展
专知会员服务
30+阅读 · 2025年4月12日
《网络战中的深度伪造: 威胁、检测、技术和对策》
专知会员服务
47+阅读 · 2023年11月22日
《深度伪造检测模型的准确性和鲁棒性》2023最新论文
专知会员服务
41+阅读 · 2023年10月29日
视觉深度伪造检测技术综述
专知会员服务
37+阅读 · 2022年1月28日
近期语音类前沿论文
深度学习每日摘要
14+阅读 · 2019年3月17日
语音关键词检测方法综述【附PPT与视频资料】
人工智能前沿讲习班
10+阅读 · 2019年2月2日
理解人类推理的深度学习
论智
19+阅读 · 2018年11月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员