Detecting toxicity in multimodal data remains a significant challenge, as harmful meanings often lurk beneath seemingly benign individual modalities: only emerging when modalities are combined and semantic associations are activated. To address this, we propose a novel detection framework based on Toxicity Association Graphs (TAGs), which systematically model semantic associations between innocuous entities and latent toxic implications. Leveraging TAGs, we introduce the first quantifiable metric for hidden toxicity, the Multimodal Toxicity Covertness (MTC), which measures the degree of concealment in toxic multimodal expressions. By integrating our detection framework with the MTC metric, our approach enables precise identification of covert toxicity while preserving full interpretability of the decision-making process, significantly enhancing transparency in multimodal toxicity detection. To validate our method, we construct the Covert Toxic Dataset, the first benchmark specifically designed to capture high-covertness toxic multimodal instances. This dataset encodes nuanced cross-modal associations and serves as a rigorous testbed for evaluating both the proposed metric and detection framework. Extensive experiments demonstrate that our approach outperforms existing methods across both low- and high-covertness toxicity regimes, while delivering clear, interpretable, and auditable detection outcomes. Together, our contributions advance the state of the art in explainable multimodal toxicity detection and lay the foundation for future context-aware and interpretable approaches. Content Warning: This paper contains examples of toxic multimodal content that may be offensive or disturbing to some readers. Reader discretion is advised.


翻译:多模态数据中的毒性检测仍面临重大挑战,有害含义常潜藏于看似良性的单模态内容之下:仅当多模态组合且语义关联被激活时才显现。为此,我们提出一种基于毒性关联图的新型检测框架,该系统化建模无害实体与潜在毒性含义之间的语义关联。借助毒性关联图,我们首次提出可量化的隐蔽毒性度量标准——多模态毒性隐蔽度,用于衡量毒性多模态表达的隐蔽程度。通过将检测框架与多模态毒性隐蔽度度量相结合,我们的方法能够精准识别隐蔽毒性,同时保持决策过程的完全可解释性,显著提升多模态毒性检测的透明度。为验证方法有效性,我们构建了首个专门针对高隐蔽度毒性多模态实例的基准数据集——隐蔽毒性数据集。该数据集编码了细微的跨模态关联,为评估所提出的度量标准和检测框架提供了严格测试平台。大量实验表明,我们的方法在低隐蔽度与高隐蔽度毒性场景下均优于现有方法,同时提供清晰、可解释且可审计的检测结果。综合而言,我们的研究推动了可解释多模态毒性检测的技术前沿,并为未来情境感知与可解释方法奠定了基础。内容警示:本文包含可能令部分读者感到冒犯或不适的毒性多模态内容示例,建议读者谨慎阅读。

0
下载
关闭预览

相关内容

用于多模态对齐的基础模型表征潜力:一项综述
专知会员服务
18+阅读 · 2025年10月8日
基于深度学习的图异常检测技术综述
专知会员服务
86+阅读 · 2021年7月28日
专知会员服务
110+阅读 · 2020年10月27日
【CMU】基于图神经网络的联合检测与多目标跟踪
专知会员服务
59+阅读 · 2020年6月24日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
相关性≠因果:概率图模型和do-calculus
论智
31+阅读 · 2018年10月29日
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
24+阅读 · 2018年2月27日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员