Multimodal large language models often generate reasoning chains containing subtle errors that lead to incorrect answers. Current verification approaches have notable limitations. Learned critics need extensive labeled data and show inconsistent performance across different tasks. Meanwhile, existing training-free methods simply average scores from different sources, missing a key insight: when these scores disagree, that disagreement itself carries important information about whether a reasoning step is truly valid or not. We propose a training-free verification approach that treats step-wise verification as a coordination problem among specialized judges. We formalize these judges' interaction as a Nash equilibrium game where agreement signals valid steps while disagreement reveals instability. Our method computes equilibrium scores through a closed-form solution, enabling both disagreement-aware filtering and stability-conscious ranking of reasoning steps. Evaluated across six benchmarks, our approach achieves consistent improvements of 2.4% to 5.2% over baseline models and shows competitive performance against learned critics, demonstrating that cross-modal agreement (not just average confidence) provides robust verification signals without task-specific adaptation.


翻译:多模态大语言模型在生成推理链时常包含细微错误,这些错误会导致最终答案不准确。现有验证方法存在显著局限性:学习型评鉴器需要大量标注数据,且在不同任务间表现不稳定。同时,现有免训练方法仅简单聚合不同来源的评分,忽略了关键要素——即当这些评分存在分歧时,分歧本身所承载的关于推理步骤真实有效性的重要信息。我们提出一种无需训练的验证方法,将逐步验证视作专业评判员间的协同问题。我们通过纳什均衡博弈形式化这些评判员的交互机制,其中一致表示有效步骤,而分歧则揭示不稳定性。本方法通过闭式解计算均衡分数,实现对推理步骤的冲突感知过滤与稳定性感知排序。在六个基准测试上的评估表明,我们的方法相较于基线模型持续提升2.4%至5.2%,且性能与学习型评鉴器相当,证明跨模态一致性(而非平均置信度)能在无需任务适配的情况下提供可靠的验证信号。

0
下载
关闭预览

相关内容

《多模态持续预训练实用指南》,52页pdf
专知会员服务
24+阅读 · 2024年9月3日
视觉语言多模态预训练综述
专知会员服务
122+阅读 · 2022年7月11日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
2+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
5+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
13+阅读 · 7月16日
相关VIP内容
《多模态持续预训练实用指南》,52页pdf
专知会员服务
24+阅读 · 2024年9月3日
视觉语言多模态预训练综述
专知会员服务
122+阅读 · 2022年7月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员