综述 | Uncertainty-Aware Decision Making in Multimodal Large Language Models：多模态大模型的不确定性感知决策

论文题目： Uncertainty-Aware Decision Making in Multimodal Large Language Models: A Survey of Sources, Signals, Calibration, and Actions 作者： Abderrahmene Boudiaf, Irfan Hussain, Sajid Javed 机构： Khalifa University of Science and Technology, Abu Dhabi, United Arab Emirates 论文链接： https://arxiv.org/pdf/2608.17084 关键词： 多模态大语言模型、不确定性估计、置信度校准、选择性回答、拒答、可回答性、可信人工智能

导读

多模态大语言模型正在回答越来越多依赖视觉、文本、视频、音频、文档、图表乃至具身观测的问题。它们的错误也因此不再只是“语言生成错误”：一段流畅回答背后，可能隐藏输入模糊、感知失败、视觉 grounding 弱、模态冲突、推理不稳定、分布偏移，或者问题本身无法由给定证据回答。 这篇综述把不确定性研究从“给一个置信度分数”推进到“让不确定性改变系统行为”。作者提出一条决策中心链条：不确定性来源产生可观测信号，信号需要校准或风险控制，校准后的不确定性再决定系统行动。行动不只有回答，还包括谨慎表述、拒答或说不知道、澄清、请求更好输入、检索、自检、路由到更强模型或升级给人类专家。 论文的核心观点非常实用：不确定性不应只按校准误差或置信度质量评价，而应看它是否在证据不足、冲突、分布偏移或高风险场景中改善行为。对于多模态模型而言，正确问题不是“模型有多自信”，而是“模型知道自己为什么不确定，并采取了正确下一步吗”。

Introduction：引言

多模态大语言模型将语言生成扩展到图像、视频、音频、图表、文档和具身观测等输入，使其可用于视觉问答、图表理解、医学影像解释、多模态对话和交互式智能体。但可靠性问题也随之改变：模型可能语言上流畅，却基于模糊图像、遮挡目标、缺失证据或矛盾模态做出错误推断。 文本模型中的不确定性通常关注 token 概率、语义分歧、校准和选择性预测。多模态场景更复杂，因为不确定性可能来自输入质量、感知编码器、跨模态对齐、语言先验、推理链条、部署域，或者任务是否可回答。把这些来源压缩成一个置信度数值，往往无法指导正确行动。 因此，作者将综述组织为“来源 - 信号 - 校准 - 行动”框架。它既是本文路线图，也是多模态可信系统的设计原则。

Scope, Positioning, and Evidence Base：范围、定位与证据基础

本文聚焦 MLLM、视觉语言模型以及与不确定性估计、校准、风险控制、可回答性、拒答和行动选择直接相关的桥接工作。纯文本 LLM 的不确定性研究只作为背景，用来定义方法族和评测概念；通用幻觉、安全和广义 MLLM 综述只在帮助划定边界时讨论。 作者将本文与四类相邻综述区分开：文本不确定性与拒答综述、广义 MLLM 综述、多模态幻觉综述、安全导向综述。本文的差异在于，它不是只讨论“模型是否错了”，而是追问“错误或不确定来自哪里、如何观测、如何校准、应触发什么行动”。 这使得不确定性从评测指标变成决策变量。比如同样是低置信度，如果原因是图像模糊，合理行动可能是请求更清晰输入；如果原因是证据缺失，合理行动可能是拒答或检索；如果原因是高风险部署域，合理行动可能是升级给专家。

Sources of Uncertainty in MLLMs：不确定性来源

感知与输入质量

多模态不确定性首先可能来自感知层。图像可能模糊、低分辨率、被裁剪、遮挡或噪声严重；视频可能时间稀疏；图表轴或文字可能无法可靠读取；音频可能嘈杂。此时额外语言推理未必能修复错误，反而可能把错误放大成更流畅的幻觉。 这类不确定性的合理行动往往是请求更好输入、调用专门 OCR 或感知模块、说明证据不足，或者在关键证据缺失时拒答。

证据锚定与模态冲突

Grounding 不确定性关注答案是否被输入证据支持。跨模态不确定性则关注不同模态是否一致：提示词可能提到图中不存在的对象，图像可能与用户文字相矛盾，检索文本可能与视觉证据冲突，或模型输出与相关区域没有对应关系。 这类问题不能只看最终答案是否自然。系统应检查证据引用、区域归因、跨模态一致性和支持强度；必要时检索、澄清、自检或升级。

语言先验与推理不稳定

MLLM 继承了语言模型的强先验。当视觉证据模糊或缺失时，模型可能根据常见共现关系补全对象、事件或细节。推理不确定性还会出现在中间步骤不稳定、采样推理链给出不同结论，或者正确感知后接上错误推理时。 这类不确定性需要通过语义分歧、自一致性、验证器分数、推理边界检测等方法识别，而不是只依赖输出语气。

可回答性与分布偏移

可回答性不确定性指用户问题无法从给定多模态输入中回答。图像可能没有目标对象，视频可能没有相关事件，图表没有对应数值，或问题需要外部知识。把这类情况当普通错误处理是不够的，模型应学习什么时候说“不知道”、什么时候请求证据、什么时候检索。 部署不确定性则来自分布偏移、对抗输入和高风险域。模型在常见网页图片上校准良好，不代表在医学影像、科学图表、低光视频、机器人观测或文化特定图像上仍可靠。

Observable Signals and Estimation Methods：可观测信号与估计方法

模型内部信号

白盒系统可以访问 logits、隐藏状态、视觉 token、注意力或梯度。常见信号包括 token 概率、logit margin、熵、序列似然和最大 softmax 概率。在视觉语言场景中，这些信号还可以扩展到视觉 token、跨模态注意力或模态特征，用来判断答案是否真正依赖图像。 局限也很明显：许多部署模型只暴露文本输出，不提供内部状态；而且高熵只说明模型不确定，并不自动说明不确定来自感知、推理还是可回答性。

采样分歧与语义不稳定

灰盒方法可以通过多次采样、重写提示、候选答案聚类或工具轨迹观察输出分布。若不同样本在语义层面分歧较大，说明模型对答案或推理路径不稳定。这类信号适合黑盒或半黑盒模型，但成本较高，并且需要把表面措辞差异转化为真正语义差异。

证据锚定与扰动信号

证据 grounding 信号关注答案与输入证据的支持关系。方法包括区域归因、图像遮挡扰动、视觉 token dropout、图文一致性检查、检索证据对齐和自检。若遮挡关键区域后答案不变，或黑图与原图回答相似，就可能说明模型主要依赖语言先验。

口头置信度与验证器

当内部访问受限时，可以让模型表达置信度、指出自己不知道什么，或用独立验证器、judge 模型和工具调用检查答案。口头置信度易收集、易面向用户解释，但也可能与真实校准不一致。验证器更灵活，却引入新的可靠性问题：验证器本身也可能失准。

Calibration and Risk Control：校准与风险控制

校准的目标不是让模型“看起来谨慎”，而是让某个分数或决策规则在给定目标上具有可解释含义。这个目标必须说清楚：校准的是最终答案正确性、视觉 grounding、可回答性、推理步骤、验证器分数，还是风险控制后的行动？ 后验校准可用温度缩放、校准曲线、Brier score 或 ECE 等工具。提示式校准和口头置信度适合黑盒模型，但容易受措辞、格式和任务影响。领域校准要求在医疗、图表、机器人、音频等目标域重新验证，不能假设通用图文基准上的校准能迁移。 论文强调 source-aware 和 decoupled calibration。一个单一置信度值可能混合感知、grounding、推理和可回答性。更好的方式是把不同来源拆开校准，例如分别估计视觉证据质量、答案可回答性和推理稳定性，再映射到不同动作。 保形预测和风险控制提供了更明确的操作目标：在指定覆盖率或风险阈值下回答、返回候选集合、拒答或升级。但它依赖校准数据，一旦部署分布变化，风险保证也可能失效。

From Uncertainty to Action：从不确定性到行动

论文最鲜明的部分，是把不确定性转化为行动策略。 当证据充分且风险在可接受范围内，模型应直接回答，或在必要时给出精确限定。若证据部分可用但存在局限，模型可以 hedge，也就是谨慎表述，但必须说明局限来源，而不是用含糊警告掩盖证据不足。 当关键证据缺失、不兼容或超出模型边界时，应拒答或说不知道。若问题本身指代不清、目标对象不明确或用户意图不足，应澄清。若输入质量低但可以改善，系统应请求更清晰图像、更完整视频或更高质量文档。 当外部证据、工具验证或推理检查能降低不确定性时，模型应检索、自检或调用验证器。若部署风险高、模型能力不足或案例超出自治边界，则应路由到更强模型、专门工具或人类专家。 关键结论是：同一个不确定性分数不应在所有场景触发同一个动作。来源不同，行动不同；风险不同，阈值也不同。

Evaluating Uncertainty-Aware Behavior：不确定性感知行为评测

作者认为，评测不能停留在最终答案准确率或单个校准数值。一个有用的评测协议至少需要四个元素：任务、证据条件或受控证据构造、相关风险上下文、模型可访问的信号与行动策略。 基准可按行为目标分组。普通多模态问答和推理基准可衡量置信度与正确性的关系，但往往无法解释错误来自哪里。不可回答、拒答和视觉 IDK 基准测试模型是否知道证据不足。幻觉和 grounding 基准测试答案是否被证据支持。保形和选择性预测基准测试风险控制。领域特定基准则覆盖医疗、音频、视频、图表、OCR、文档和具身观测等通用基准遗漏的失败模式。 指标也要匹配问题。ECE、Brier score、负对数似然和可靠性图回答“置信度是否校准”；AUROC、AUPRC、F1 和错误检测精度回答“不确定性能否排序风险输出”；覆盖率、风险、risk-coverage 曲线和拒答精度回答“选择性回答是否可靠”；人类评分和行动效用则回答“沟通方式是否真的帮助用户”。

Deployment Landscape：部署图景

在高风险和专家中介场景中，不确定性不是用户体验细节，而是安全策略的一部分。医学图像、临床摘要、法律文件、机器人控制、科学数据分析和金融决策都要求模型在证据不足或风险过高时选择澄清、检索、自检或升级。 不同模态也有不同失败模式。图像有遮挡和模糊，视频有时间缺失和事件定位，音频有噪声和说话人混淆，文档有 OCR 与布局问题，图表有坐标轴与数值读取错误，具身观测有传感器噪声和状态不可见。统一置信度如果不解释来源，用户无法判断下一步该做什么。 面向人的不确定性沟通应具体、行动导向。模型不应只说“我不确定”，而应说明不确定来自输入质量、证据缺失、模态冲突、推理不稳定还是高风险场景，并给出下一步：上传更清晰图像、指定目标对象、补充上下文、允许检索、咨询专家或把答案视作暂定。

Open Problems and Research Agenda：开放问题与研究议程

作者把未来研究分为近、中、长期。 近期重点是打基础：构建 source-aware decomposition，将感知、grounding、推理、可回答性和分布偏移分开标注；建立 evidence-condition labels，让基准知道输入究竟是模糊、遮挡、冲突还是缺证；设计 action-aware benchmarks，让评测覆盖回答、拒答、澄清、检索、自检和升级。 中期重点是让不确定性可靠：发展黑盒不确定性估计，让只有输出访问的商业 MLLM 也能被评估；研究分布偏移下的校准；建立来源到行动的策略，将不同不确定性映射到不同处理流程；把评测从准确率扩展到风险、证据改善和用户行为。 长期重点是部署不确定性感知系统：覆盖更广模态，支持多轮和 agentic 场景，面向人类沟通不确定性，并建立部署治理机制。真正的目标不是让模型永远回答，而是在证据足够时回答，在不确定性可降低时寻求证据，在风险过高时延后或升级。

Limitations of This Survey：本文局限

论文也承认自身限制。首先，MLLM 不确定性文献发展很快，综述很难覆盖所有新工作。其次，不同论文对不确定性、置信度、可回答性、拒答和 hallucination 的定义并不完全一致，跨工作比较仍有困难。 此外，许多方法只在特定模态或基准上评估，未必能迁移到音频、视频、文档、机器人和高风险专业场景。作者因此强调可复现报告：每项研究都应说明基模型版本、模态、基准、提示格式、模型访问级别、不确定性信号、校准数据、目标变量、阈值、行动策略、行动成本和失败案例。

Conclusion：结论

这篇综述的核心贡献，是把多模态大模型的不确定性从“置信度估计”重新组织为“决策质量问题”。对于 MLLM，错误可能来自多个源头；可观测信号需要在访问约束下选择；校准必须绑定目标和风险；最终行动要与不确定性来源对齐。 因此，一个可信多模态系统不应只追求更高准确率或更漂亮的置信度曲线。它应该在证据清楚时回答，在证据可改善时请求或检索，在问题不可回答时说不知道，在高风险场景中升级，并向用户清楚说明不确定性来自哪里。 面向未来，source-aware、action-aware、shift-robust 和 human-centered 将是多模态不确定性研究的关键词。真正可靠的 MLLM，需要把“不知道”变成可诊断、可校准、可行动的系统能力。