Multimodal news often loses its image or text as it spreads across Web platforms. Existing methods treat this as information loss, assuming that the original veracity label remains valid. This assumption fails for fake news reusing authentic material, whose remainder may be genuine. Detectors should therefore decouple modality cues and adapt their contributions to modality availability. However, coarse news labels provide little guidance for modality decoupling, while training on complete inputs can induce modality bias. To address these challenges, we propose Head-wise Modality Decoupling and Regulation (HMDR) for multimodal large language models. First, Modality Head Decoupling decouples modality representations through soft head grouping by attention preference. Second, Modality Head Regulation regulates head contributions through compensation for imbalanced modality attention. Finally, Modality Invariance Learning promotes invariance by aligning representations of each modality under replacement of the other. Experiments on two benchmarks show that HMDR improves detection under missing modalities while maintaining performance on complete inputs.


翻译:暂无翻译

0
下载
关闭预览

相关内容

《多模态假新闻检测框架》2023最新80页论文
专知会员服务
45+阅读 · 2023年10月30日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
论文笔记:多任务相关粒子滤波跟踪器
统计学习与视觉计算组
10+阅读 · 2017年7月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
49+阅读 · 2014年12月31日
Arxiv
10+阅读 · 2021年8月4日
Arxiv
13+阅读 · 2020年10月19日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
11+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
4+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关VIP内容
《多模态假新闻检测框架》2023最新80页论文
专知会员服务
45+阅读 · 2023年10月30日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
49+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员