AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning 会议：ICML 2026 作者：Jian Lang, Rongpei Hong, Ting Zhong, Fan Zhou 单位：UESTC 代码: https://github.com/Jian-Lang/AOEPT 合集：https://github.com/Jian-Lang/awesome-modality-missing-learning

多模态系统在真实环境中经常面对模态缺失问题：图像可能缺失、文本可能缺失，传感器故障、传输错误或数据采集不完整都会让模型在部署时无法获得完整输入。 近年来，Multimodal Transformer（MT）逐渐成为多模态建模的通用架构。针对 MT 的缺失模态问题，已有方法通常采用 prompt tuning：冻结预训练 MT，只学习少量 prompts，以适应不完整的多模态输入。 AOEPT 的出发点不是简单设计一个新的 prompt，而是重新审视这类方法背后的根本限制。论文指出，现有 modality-missing prompt tuning 方法普遍存在一个被忽略的瓶颈：

Implicit Modality-Reduction (IMR) Bottleneck，即隐式模态降维瓶颈。

为什么缺失模态 Prompt Tuning 仍然不够？ 现有方法通常会根据输入结构或剩余可见模态生成 prompts。例如，当文本缺失时，模型只能利用图像及其对应 prompts；当图像缺失时，模型只能利用文本及其对应 prompts。 这看起来是在适应缺失模态，但 AOEPT 指出：这类范式本质上只是让 MT 适应退化后的输入结构，并没有真正补回缺失模态的信息源。 更具体地说，当双模态样本退化成单模态样本时，现有 prompts 会让 MT 的推理范围被限制在剩余模态子空间内。一个原本应由图文共同建模的问题，被隐式压缩成了单模态预测问题。 这就是论文提出的核心瓶颈： 现有 prompt tuning 机制会无意中把 MT 的推理范围限制在模态降维后的子空间，从而切断模型访问缺失模态潜在信息源的能力。

关键观察：缺失模态信息先验可以缓解瓶颈 为了验证 IMR 瓶颈是否真实存在，论文设计了一个简单的 pilot experiment：在 baseline MAPs 中，把原本随机初始化的 prompts 替换为来自训练集的全局文本或图像信息先验。 实验发现，仅仅引入这些缺失模态相关的信息先验，就能带来明显性能提升。这说明现有方法的性能确实被限制在“退化后的单模态输入结构”中，而不是充分发挥了 MT 在预训练阶段学到的多模态建模能力。

基于这一观察，作者提出了 AOEPT：一种 missing-adaptive modal-contextualized prompting framework。它的核心目标不是被动适应缺失，而是主动为缺失模态补充可用的模态上下文信息。 AOEPT 的核心思想：从“适应退化”转向“主动补偿” AOEPT 将 prompts 重新定义为缺失模态信息的轻量级载体。它不再只根据剩余模态生成 prompts，而是先从训练数据中蒸馏每个模态的全局上下文信息，再在具体样本上选择性激活与当前样本相关的缺失模态信息。 整体来看，AOEPT 包含三个关键步骤： * Modal-Contextualized Prompt Construction：从训练数据中构建模态级信息仓库。 * Instance-Aware Prompt Instantiation：根据当前样本的剩余模态，将全局模态信息实例化为样本相关 prompts。 * Missing-Adaptive Prompt Tuning：将这些 prompts 插入 MT，使模型在缺失模态场景下重新获得更完整的推理范围。

实验 主实验结果 AOEPT 在三个数据集、两种缺失率和三类缺失场景下整体取得最佳表现。相比 MAPs、DCP、RAGPT、MemPrompt、SyP 等 prompt tuning baseline，AOEPT 的优势并不来自更复杂的外部检索或记忆机制，而是来自对 IMR 瓶颈的直接修正：它为 MT 显式补充缺失模态的上下文信息。

NM²I：诊断 IMR 瓶颈的新指标 为了定量分析 prompts 是否真的携带缺失模态信息，论文提出 Normalized Missing-modality Mutual Information (NM²I)。该指标衡量 prompt tokens 与缺失模态 latent representations 之间的归一化互信息。

实验显示，baseline 的 NM²I 接近 0，说明它们的 prompts 几乎没有携带缺失模态信息；而 AOEPT 的 NM²I 明显更高，说明它确实在 prompts 中注入了与缺失模态相关的样本级信息。

模态信息扩展瓶颈 论文进一步发现了另一个重要现象：当训练阶段可访问更多完整模态信息时，许多 baseline 并不能持续受益，性能反而容易平台化甚至下降。作者将其称为 Modality Information Scaling Bottleneck。 这个瓶颈可以看作 IMR 问题的副作用：如果 prompts 本身无法有效承载缺失模态信息，那么训练阶段拥有更多可用模态，也难以转化为测试时的鲁棒性。 相比之下，AOEPT 的 MCPs 能利用更丰富的训练模态信息形成更完整的模态上下文仓库，因此可以随可用信息增加而继续提升。

AOEPT 的核心贡献不只是提出一个新的 prompt tuning 方法，更重要的是指出了缺失模态 prompt tuning 中长期存在但未被明确刻画的瓶颈： 现有方法会把 MT 的推理范围限制在剩余模态子空间，导致多模态问题退化为单模态预测。而AOEPT 在保持轻量开销的同时，突破了这个瓶颈，取得稳定领先表现。