Visual outcomes are increasingly central to multimodal large language models, making reliable and fine-grained verification essential for scaling generalist foundation models. In this work, we investigate multimodal meta-verification, which leverages verifier-generated rationales rather than decision-only signals, and explore how to effectively incorporate meta-verification feedback into multimodal verifier training. We identify two key findings. First, symbolic verifier outputs (e.g., bounding boxes) outperform textual explanations as meta-verification rationales, enabling efficient rule-based reinforcement learning rewards while avoiding reliance on model-based rewards from auxiliary judge models. Second, decoupling reinforcement learning objectives for binary judgment and meta-verification substantially outperforms joint reward optimization, due to intrinsic differences in output structure and learning dynamics. Based on these insights, we train OmniVerifier-M1, a generalist visual verifier leveraging symbolic meta-verification and decoupled reinforcement learning. OmniVerifier-M1 provides robust verification and fine-grained error localization, and further enables M1-TTS, a verifier-driven agentic generation system achieving dynamic region-level self-correction. This approach paves the way for more reliable, interpretable, and fine-grained multimodal verification, supporting safer and more controllable foundation model deployment.


翻译:视觉输出日益成为多模态大语言模型的核心,使得可靠且细粒度的验证对于扩展通用基础模型至关重要。本文研究多模态元验证——利用验证器生成的推理依据而非仅依赖决策信号——并探索如何将元验证反馈有效整合到多模态验证器训练中。我们识别出两项关键发现。首先,符号化验证器输出(如边界框)作为元验证推理依据优于文本解释,能够在避免依赖辅助评判模型基于模型的奖励的同时,实现高效的基于规则的强化学习奖励。其次,将二元判断与元验证的强化学习目标解耦,由于输出结构与学习动态的内在差异,其表现显著优于联合奖励优化。基于这些见解,我们训练了OmniVerifier-M1——一种利用符号化元验证与解耦强化学习的通用视觉验证器。OmniVerifier-M1提供稳健的验证与细粒度错误定位,并进一步支撑M1-TTS——一种实现动态区域级自校正的验证器驱动智能生成系统。该方法为更可靠、可解释且细粒度的多模态验证铺平道路,支持更安全且可控的基础模型部署。

0
下载
关闭预览

相关内容

【NeurIPS2022】M4I:多模态模型成员推断
专知会员服务
15+阅读 · 2022年9月17日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
【ICML2022】Transformer是元强化学习器
专知会员服务
56+阅读 · 2022年6月15日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
致命七类无人机:无人机时代的演进型合成兵种
《异构无人水面艇集群作战自主制导算法》130页
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员