Multimodal Large Language Models (MLLMs) frequently hallucinate due to their reliance on fragile, linear reasoning and weak visual grounding. We propose Visual Attention Reasoning (VAR), a reinforcement learning framework that reformulates reasoning as a hierarchical search with self-verification. VAR enforces traceable evidence grounding by generating explicit bounding boxes, guided by a novel reward function combining geometric precision and semantic sufficiency. Furthermore, it replaces linear Chain-of-Thought with a tree-search policy capable of backtracking to correct logical errors. Theoretical analysis validates the framework's reliability, and extensive experiments demonstrate that VAR significantly outperforms state-of-the-art methods on complex hallucination and safety benchmarks.


翻译:多模态大语言模型(MLLMs)因其依赖脆弱、线性的推理机制和薄弱的视觉基础而频繁产生幻觉。本文提出视觉注意力推理(VAR)——一种强化学习框架,将推理重新构建为具有自验证功能的分层搜索过程。VAR通过生成显式的边界框来强制实现可追溯的证据基础,其指导依据是一种结合几何精度与语义充分性的新型奖励函数。此外,该方法用能够回溯以修正逻辑错误的树搜索策略取代了线性的思维链。理论分析验证了该框架的可靠性,大量实验表明,VAR在复杂的幻觉与安全性基准测试中显著优于现有最先进方法。

0
下载
关闭预览

相关内容

互联网
从感知到推理:深度思考赋能多模态大语言模型
专知会员服务
26+阅读 · 2025年11月19日
强化多模态大语言模型:基于强化学习的推理综述
专知会员服务
38+阅读 · 2025年5月3日
【博士论文】视觉语言交互中的视觉推理研究
专知会员服务
65+阅读 · 2021年12月1日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 1月13日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
8+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
8+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
5+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
9+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
11+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
11+阅读 · 9月21日
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员