Deception detection is a critical and highly challenging task within affective computing and behavioral analysis. Existing deep learning methods typically treat this task as a straightforward classification problem; however, this black-box approach lacks interpretability and fails to capture the complex logical deduction processes utilized by human experts when identifying lies. While Multimodal Large Language Models (MLLMs) have shown potential, applying them effectively requires a bridge between low-level audiovisual cues and high-level logical reasoning. In this paper, we propose DeceptionX, a novel MLLM framework that shifts the paradigm of deception detection from black-box classification to an interpretable Observe-Think-Summarize reasoning process. To address the scarcity of high-quality reasoning data, we first constructed DeceptChain, a high-quality dataset developed through a human-in-the-loop process. This dataset synthesizes fine-grained visual and auditory evidence (such as micro-expressions and vocal tremors) into structured chain-of-thought reasoning data. Furthermore, we propose a three-stage training pipeline and a Discrepancy-Aware Redundancy Elimination~(DARE) strategy for DeceptionX to further enhance the model's generalization capabilities. Extensive experiments demonstrate that DeceptionX not only outperforms existing MLLM baselines and state-of-the-art methods on standard real-world benchmarks but also provides transparent, expert-level reasoning paths, bridging the critical gap between accuracy and interpretability in multimodal deception detection.


翻译:欺骗检测是情感计算和行为分析领域中一项关键且极具挑战性的任务。现有深度学习方法通常将其视为简单的分类问题;然而,这种黑箱方法缺乏可解释性,未能捕捉人类专家在识别谎言时使用的复杂逻辑推理过程。尽管多模态大语言模型(MLLMs)已展现出潜力,但有效应用它们需要在底层视听线索与高层逻辑推理之间建立桥梁。本文提出DeceptionX这一新颖的MLLM框架,将欺骗检测范式从黑箱分类转变为可解释的“观察-思考-总结”推理过程。为应对高质量推理数据稀缺问题,我们首先通过人机协同流程构建了高质量数据集DeceptChain,该数据集将细粒度视觉与听觉证据(如微表情、声音颤抖)合成为结构化思维链推理数据。此外,我们提出了三阶段训练流程以及面向DeceptionX的差异感知冗余消除(DARE)策略,以进一步增强模型泛化能力。大量实验表明,DeceptionX不仅在标准真实世界基准上优于现有MLLM基线及最先进方法,还能提供透明且达到专家水平的推理路径,从而弥合了多模态欺骗检测中准确性与可解释性之间的关键鸿沟。

0
下载
关闭预览

相关内容

DGP双粒度提示框架:图增强大模型助力欺诈检测
专知会员服务
9+阅读 · 2025年8月17日
强化多模态大语言模型:基于强化学习的推理综述
专知会员服务
38+阅读 · 2025年5月3日
《多模态大语言模型评估综述》
专知会员服务
41+阅读 · 2024年8月29日
【CIKM2024】使用大型视觉语言模型的多模态虚假信息检测
《高效多模态大型语言模型》综述
专知会员服务
73+阅读 · 2024年5月20日
ISWC2020最佳论文《可解释假信息检测的链接可信度评价》
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
【智能金融】机器学习在反欺诈中应用
产业智能官
35+阅读 · 2019年3月15日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
25+阅读 · 2023年6月23日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
9+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
8+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
14+阅读 · 7月31日
相关VIP内容
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员