Multimodal large language models (MLLMs) show strong potential as judges. However, existing approaches face a fundamental trade-off: adapting MLLMs to output a single score misaligns with the generative nature of MLLMs and limits fine-grained requirement understanding, whereas autoregressively generating judging analyses is prohibitively slow in high-throughput settings. Observing that judgment reduces to verifying whether inputs satisfy a set of structured requirements, we propose YOFO, a template-conditioned method that judges all requirements in a single forward pass. Built on an autoregressive model, YOFO accepts a structured requirement template and, in one inference step, produces a binary yes/no decision for each requirement by reading the logits of the final token associated with that requirement. This design yields orders-of-magnitude speedups while preserving interpretability. Extensive experiments show that YOFO not only achieves state-of-the-art results on standard recommendation datasets, but also supports dependency-aware analysis -- where subsequent judgments are conditioned on previous ones -- and further benefits from post-hoc CoT.


翻译:多模态大语言模型(MLLMs)展现出作为评判者的强大潜力。然而,现有方法面临一个根本性的权衡:将MLLMs适配为输出单一分数,既与MLLMs的生成本质不符,也限制了对细粒度需求的理解;而通过自回归生成评判分析在高吞吐量场景下则慢得难以接受。我们观察到,评判可归结为验证输入是否满足一组结构化需求。为此,我们提出YOFO,一种基于模板条件化的方法,可在单次前向传播中完成对所有需求的评判。YOFO构建于自回归模型之上,接收一个结构化需求模板,并在一次推理步骤中,通过读取与每个需求相关联的最终标记的对数几率,为每个需求生成一个二元是/否判定。这一设计在保持可解释性的同时,实现了数量级的加速。大量实验表明,YOFO不仅在标准推荐数据集上取得了最先进的结果,还支持依赖感知分析——即后续评判可基于先前结果进行条件化判断——并能进一步受益于事后思维链推理。

0
下载
关闭预览

相关内容

多模态大语言模型遇见多模态情绪识别与推理:综述
专知会员服务
22+阅读 · 2025年10月3日
高效大语言模型推理服务综述
专知会员服务
18+阅读 · 2025年4月30日
【ACL2024】通过直接偏好优化的自训练提升链式思维推理
100+中文词向量,总有一款适合你
专知
12+阅读 · 2018年5月13日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员