Audio Language Models (ALMs) offer a promising shift towards explainable audio deepfake detections (ADDs), moving beyond \textit{black-box} classifiers by providing some level of transparency into their predictions via reasoning traces. This necessitates a new class of model robustness analysis: robustness of the predictive reasoning under adversarial attacks, which goes beyond existing paradigm that mainly focuses on the shifts of the final predictions (e.g., fake v.s. real). To analyze such reasoning shifts, we introduce a forensic auditing framework to evaluate the robustness of ALMs' reasoning under adversarial attacks in three inter-connected dimensions: acoustic perception, cognitive coherence, and cognitive dissonance. Our systematic analysis reveals that explicit reasoning does not universally enhance robustness. Instead, we observe a bifurcation: for models exhibiting robust acoustic perception, reasoning acts as a defensive \textit{``shield''}, protecting them from adversarial attacks. However, for others, it imposes a performance \textit{``tax''}, particularly under linguistic attacks which reduce cognitive coherence and increase attack success rate. Crucially, even when classification fails, high cognitive dissonance can serve as a \textit{silent alarm}, flagging potential manipulation. Overall, this work provides a critical evaluation of the role of reasoning in forensic audio deepfake analysis and its vulnerabilities.


翻译:音频语言模型为可解释的音频深度伪造检测提供了前景广阔的转变,通过推理轨迹为预测提供一定程度的透明度,从而超越了传统的"黑盒"分类器。这催生了一类新的模型鲁棒性分析需求:对抗性攻击下预测推理过程的鲁棒性分析,其研究范畴超越了现有主要关注最终预测结果偏移(如伪造与真实判定)的范式。为分析此类推理偏移,我们提出了一个取证审计框架,从三个相互关联的维度评估音频语言模型在对抗性攻击下的推理鲁棒性:听觉感知、认知连贯性与认知失调。我们的系统分析表明,显式推理并不能普遍增强模型鲁棒性。相反,我们观察到一种双重分化现象:对于展现稳健听觉感知的模型,推理过程发挥着"防护盾"的防御作用,使其免受对抗性攻击;而对于其他模型,推理过程则会产生性能"税",尤其在语言类攻击下会降低认知连贯性并提高攻击成功率。关键的是,即使分类任务失败,高认知失调也可作为"无声警报",标记潜在的篡改行为。总体而言,本研究对推理在取证音频深度伪造分析中的作用及其脆弱性提供了批判性评估。

0
下载
关闭预览

相关内容

【NeurIPS2024】迈向具有不完整数据的鲁棒多模态情感分析
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员