ICML 2026 | RITA：用测试时提示适配增强视觉语言模型对抗鲁棒性

预训练视觉语言模型（VLM）以 CLIP 为代表，已经具备很强的零样本识别能力，但在对抗扰动下仍然非常脆弱：人眼几乎不可察觉的噪声，就可能让图像-文本匹配关系发生严重偏移。ICML 2026 regular 论文 Robustifying Vision-Language Models via Test-Time Prompt Adaptation 针对这一问题提出 RITA，即 Robust test-tIme prompT Adaptation。

RITA 的核心观点很直接：对抗攻击往往破坏原图的整体表征，但经过随机裁剪、翻转等测试时增强后，部分视图仍然保留了可用的语义结构。与其只看单个增强样本的置信度，不如把一组增强视图当成一个视觉分布，再把类别文本提示当成文本原型分布，用最优传输刻画二者之间的结构化对齐关系。同时，RITA 维护一个动态缓存，把测试流中可靠的语义线索逐步积累起来，用于在线修正视觉-文本错配。

论文实验显示，RITA 在多个细粒度分类数据集、ImageNet 及其 OOD 变体、不同攻击类型和不同 CLIP 骨干上均能显著提升对抗鲁棒性，并基本保持干净样本精度。尤其是在 ViT-B/16 上，RITA 将八个细粒度数据集的平均鲁棒精度提升到 52.7%，相比原始 CLIP 的 1.8% 提升非常明显。

论文信息

论文标题：Robustifying Vision-Language Models via Test-Time Prompt Adaptation 论文链接：https://arxiv.org/abs/2607.09450 会议：ICML 2026 regular 作者：Xingyu Zhu, Huanshen Wu, Shuo Wang, Beier Zhu, Jiannan Ge, Jiaheng Zhang, Long Chen 关键词：视觉语言模型、CLIP、测试时适配、提示学习、对抗鲁棒性、最优传输、动态缓存

1. 引言：为什么测试时提示适配还不够鲁棒

CLIP 这类视觉语言模型通过大规模图文对预训练获得了强零样本泛化能力，但它们的图像-文本对齐空间对对抗扰动非常敏感。攻击者只需在图像上加入很小扰动，就可能把视觉嵌入推离正确文本原型，使模型在 Cars、Aircraft 等细粒度数据集上接近失效。 已有防御方法大致有两类。第一类是对抗训练或鲁棒微调，把对抗样本显式加入训练过程。这类方法有效，但通常需要标签、任务数据和较高训练成本，也会削弱基础模型“即插即用”的零样本优势。第二类是测试时适配，例如 TPT、R-TPT 等，在推理阶段只更新提示或预测策略，不改 CLIP 主干参数，更轻量、更适合部署。 问题在于，很多测试时适配方法仍然以“单样本置信度”为中心：对一个测试图像生成多个增强视图，挑出低熵、高置信度视图，然后优化提示。这个策略在干净样本上常常有效，但在对抗场景中容易误判。攻击后的错误预测也可能非常自信，单纯依赖熵或置信度无法区分“真实语义一致”与“自信的错误”。 RITA 的出发点是一个更结构化的观察：对抗扰动通常针对原图的整体配置优化，当图像经过裁剪、翻转等增强后，扰动与图像局部结构的对应关系会被部分打乱。因此，一些增强视图仍可能恢复类别可分性。鲁棒性不应只来自单点筛选，而应来自增强视图分布中的整体语义结构。

2. 相关工作：从对抗训练到推理期鲁棒化

论文首先讨论 VLM 对抗防御。早期工作多围绕训练时鲁棒化展开，包括对抗对比学习、鲁棒微调、多模态攻击防御等。这类方法可以增强模型抗攻击能力，但通常要重新训练或微调模型，并且依赖任务数据，在真实部署中成本较高。 推理期防御则希望不改模型权重，在测试阶段提升稳定性。测试时提示调优是一条重要路线：它为每个测试样本构造增强视图，通过优化可学习文本提示来适配当前输入。TPT 依赖低熵视图做提示更新，R-TPT 等方法进一步考虑鲁棒性，但整体上仍以样本级估计为主。 RITA 与这些方法的关键差别在于：它不再把每个增强视图看作彼此独立的点，而是把增强视图集合建模为一个离散视觉分布；也不再只用一个文本原型表示类别，而是为每个类别构造多个文本提示原型，形成文本分布。这样，图像和类别之间的匹配被转化为“两个分布之间的结构对齐”。 论文还借鉴了最优传输。最优传输适合度量两个离散分布之间的几何差异，能够同时考虑点与点之间的配对关系和全局分布结构。RITA 将这一思想用于视觉增强视图与文本原型之间的跨模态对齐。

3. 方法：从样本级匹配转向分布级对齐

RITA 的整体框架包括三部分：多视图视觉分布建模、多原型文本分布建模、动态缓存驱动的在线分布对齐。 给定一个对抗测试图像，RITA 先生成多个增强视图，并通过冻结的 CLIP 图像编码器得到一组视觉特征。对于每个类别，RITA 使用多个可学习文本提示，通过冻结的 CLIP 文本编码器得到一组文本原型。于是，测试图像不再是单个向量，类别也不再是单个向量，而是两个离散分布。

多原型分布对齐

传统 CLIP 分类通常比较图像特征和类别文本特征的余弦相似度。TPT 类方法则对增强视图做筛选、聚合，再优化提示。RITA 进一步把视觉增强视图集合表示为分布，把某一类别的多个文本提示原型也表示为分布。 对于类别 k，RITA 计算视觉分布和文本原型分布之间的熵正则化最优传输距离。代价矩阵由视觉特征与文本特征之间的余弦距离构成。直观地说，如果一个图像属于某个类别，那么它的多个增强视图应该能以较低代价匹配到该类别的多个文本原型；如果匹配代价较高，则说明视觉-文本结构不一致。 最终预测时，RITA 选择最优传输距离最小的类别。这种判别方式比“单点余弦相似度”更稳，因为它不只看一个全局特征是否接近某个文本向量，还看增强视图和文本原型之间的整体几何关系。

动态缓存与在线修正

仅对单个测试样本做分布对齐仍然不够。实际推理中，测试样本往往以流式方式到来，前面样本中可靠的视觉语义可以帮助后面样本修正对齐。RITA 因此引入类别级动态缓存。 具体来说，RITA 会对每个增强视图估计一个轻量级置信度。如果某个视图熵较低，并且预测类别明确，就把它作为伪标签特征加入对应类别缓存。缓存不是无限增长，而是优先保留低熵、可靠的样本。为了缓解视觉空间和文本空间之间的模态差距，论文还使用正交 Procrustes 对齐，把缓存中的视觉特征映射到更接近文本原型的空间。 在最终推理时，RITA 同时考虑两类最优传输距离：一类是当前视觉分布与文本提示分布的距离，另一类是当前视觉分布与缓存语义分布的距离。二者加权后得到最终类别判别目标。这样，模型既利用当前样本的增强结构，也利用测试流中逐步积累的可靠语义先验。

理论解释

论文从 2-Wasserstein 距离角度解释 RITA 的优势。传统均值对齐可以看作只约束视觉分布和文本分布的中心点，而最优传输目标不仅包含中心对齐项，还包含结构方差项。也就是说，只做均值匹配可能留下可被攻击利用的分布形状偏差；RITA 的分布级对齐则会额外约束增强视图与文本原型之间的结构差异。 这一解释很好地说明了为什么单纯“低熵筛选”不够：低熵只告诉我们模型很自信，却不保证增强视图分布与文本语义分布结构一致。RITA 关心的是跨模态分布整体是否对齐。

4. 实验设置：多数据集、多攻击、多骨干验证

论文在八个细粒度分类数据集上进行主实验，包括 Caltech101、Pets、Cars、Flower102、Aircraft、DTD、EuroSAT 和 UCF101。同时，作者还在 ImageNet 及 ImageNet-A、ImageNet-V2、ImageNet-R、ImageNet-Sketch 等 OOD 变体上做了附加验证。 模型方面，主实验使用 CLIP ViT-B/32 和 ViT-B/16；附录还验证了 RN50、OpenCLIP、EVA-CLIP 等不同骨干。攻击方面，论文默认使用 PGD，并进一步测试 CW、DI、AutoAttack、FGSM 等不同攻击协议。 比较方法包括原始 CLIP、增强视图集成、TPT、C-TPT、MTA、R-TPT 等测试时适配方法。为了评估“能否叠加到已有鲁棒模型上”，论文还把 RITA 接到 TeCoA、PMG、FARE 等对抗微调 CLIP 模型之后进行测试。

5. 主结果：鲁棒精度大幅提升，干净精度基本不损失

在八个细粒度数据集上，原始 CLIP 在对抗扰动下平均鲁棒精度非常低：ViT-B/32 仅 4.7%，ViT-B/16 仅 1.8%。RITA 分别提升到 49.7% 和 52.7%。相比强基线 R-TPT，RITA 在两个骨干上也分别提升 1.8 和 2.2 个百分点。 更重要的是，RITA 并没有牺牲干净样本性能。它在 ViT-B/32 上平均干净精度达到 58.6%，在 ViT-B/16 上达到 62.0%，均为表中最高或并列最优水平。这说明它不是简单地用保守预测换鲁棒性，而是在攻击与非攻击场景之间取得了较好平衡。

RITA 也能与已有对抗微调模型叠加。论文将其分别接入 TeCoA、PMG、FARE。以 FARE 为例，加入 RITA 后平均鲁棒精度从 23.3% 提升到 41.0%；在 Caltech101 上，FARE+RITA 的鲁棒精度达到 81.9%，相比 FARE 基线提升 19.0 个百分点。这表明 RITA 不是某个特定 CLIP 版本的补丁，而是一个可插拔的推理期鲁棒化模块。

6. 不同攻击下的泛化能力

论文进一步用 CW 和 DI 攻击测试 RITA。结果显示，在 CW 攻击下，RITA 的平均鲁棒精度达到 54.0%，高于 R-TPT 的 51.2%；在更具挑战的 DI 攻击下，RITA 仍达到 46.2%，高于 R-TPT 的 44.2%。

这组结果比较关键，因为对抗防御方法很容易出现“只对某种攻击有效”的问题。RITA 的优势来自分布结构对齐和缓存语义修正，因此在攻击方式变化时仍能保持较强稳定性。

7. 消融：增强视图、缓存权重和适配步数

论文对关键超参数做了系统消融。首先是可学习提示数量和增强视图数量。提示数量从 4 增加到 32 时，干净精度和鲁棒精度总体提升；增强视图数量在 96 附近达到较好效果，继续增加到 128 反而略有下降。因此，增强视图并不是越多越好，需要在效率与稳定性之间折中。 动态缓存的贡献也很明显。当缓存权重从 0 增加到 0.1 时，DTD 和 ImageNet 上的性能都有明显提升；之后继续增大时收益趋于稳定。这说明缓存中的可靠视觉先验确实能补充当前样本的语义信息，帮助纠正对抗扰动造成的偏差。 扰动强度方面，当攻击预算从 1.0 增加到 4.0 时，鲁棒精度会下降，这符合预期。但在不同扰动强度下，增加少量测试时适配步数都能带来额外收益。

适配步数实验显示，从 0 步到 1 步会带来巨大提升，2 步通常达到峰值，4 步则可能略微下降。论文因此默认采用较少的 TTA 步数，以保持实时推理效率。

8. 效率与算法流程

RITA 的推理时间为 1.76 秒每图，略慢于 TPT、C-TPT、MTA 和 R-TPT，但鲁棒精度更高。与最快的 MTA 相比，RITA 多出一定时间开销，但鲁棒精度高出 11.8 个百分点。对于对抗鲁棒性要求较高的场景，这个额外开销是比较有竞争力的。 从算法流程看，RITA 并不需要重新训练 CLIP，也不需要访问标注数据。它只在测试阶段生成增强视图、计算视觉与文本原型分布、更新动态缓存，并基于文本分布距离和缓存分布距离完成最终预测。

9. 结论与启示

RITA 的价值在于把 VLM 对抗鲁棒性的焦点从“单个样本是否自信”转向“增强视图分布是否与文本语义分布一致”。在对抗场景中，置信度本身并不可靠；真正可靠的是多视图之间能否形成稳定语义结构，以及这种结构能否与类别文本原型建立低代价匹配。 从方法上看，RITA 有三个值得关注的设计：第一，用多视图增强抵消原图级对抗扰动的局部脆弱性；第二，用最优传输捕捉视觉分布与文本原型分布之间的结构化关系；第三，用动态缓存将测试流中的可靠语义逐步积累起来，实现在线修正。 当然，RITA 也有边界。论文主要聚焦图像分类场景，作者也指出未来需要扩展到开放词表检测、视觉问答等更复杂任务。同时，最优传输、多视图增强和缓存机制会带来额外推理开销，如何在大规模部署中进一步压缩延迟，也是后续值得研究的问题。 总体来看，这篇论文为 VLM 的推理期鲁棒化提供了一个清晰方向：不一定要重训大模型，也不必只依赖单样本熵筛选；通过分布级对齐和在线语义缓存，基础模型可以在保持零样本能力的同时获得更强对抗稳定性。