综述：计算机视觉持续测试时自适应方法、基准与未来方向

论文标题： Continual Test-Time Adaptation in Computer Vision: Methods, Benchmarks, and Future Directions 论文链接： https://arxiv.org/abs/2607.08164 作者： Sarthak Kumar Maharana、Shambhavi Mishra、Yunbei Zhang、Shuaicheng Niu、Taki Hasan Rafi、Jihun Hamm、Marco Pedersoli、Jose Dolz、Yunhui Guo 等 备注： TMLR 2026

导读

模型在实验室里常被默认训练集和测试集同分布，但真实部署环境从来不这么配合：摄像头会遇到雨雾、夜晚、压缩伪影、传感器变化，自动驾驶会经历城市、天气和季节切换，医疗影像会受到设备和采集协议差异影响。持续测试时自适应（Continual Test-Time Adaptation，CTTA）关注的正是这种部署后的长期非平稳分布漂移：模型不能访问源域数据，也拿不到目标域标签，只能在测试流到来时边预测、边更新、边避免越适应越坏。 这篇综述系统梳理 CTTA 在计算机视觉中的问题设定、评测协议、方法谱系、代表模型、基准实验和未来方向。作者将现有方法归纳为三大类：基于优化的方法、参数高效方法和基于架构的方法，并强调两个核心难点：长期自训练会导致伪标签错误积累，持续更新也可能遗忘源模型中的通用知识。 这篇综述的价值在于给出完整分类框架，也提醒我们不要把 CIFAR-C、ImageNet-C 等腐蚀基准上的数字直接等同于真实部署能力。CTTA 正在从“让模型适应测试分布”走向更难的命题：让模型在开放、长期、有资源约束且可能存在安全风险的环境中可靠自适应。

1. Introduction / 引言

深度神经网络在分类、检测、分割等任务上表现突出，但通常默认训练数据和测试数据同分布。现实部署中，这一假设经常被破坏：自然图像会受天气、光照、相机、压缩和运动模糊影响；医疗图像会受设备、协议和人群差异影响；机器人或自动驾驶系统也会连续遇到新的地点和场景。 传统鲁棒性研究给出了多种思路。域泛化试图在训练阶段学到对未知域稳健的表示；域自适应允许模型利用目标域数据调整自身；普通测试时自适应（TTA）把适应推迟到部署阶段。但 CTTA 更严格：目标数据不是一次性静态集合，而是连续到来的测试流；分布可能多次、反复或渐进变化；模型还必须在没有源数据和目标标签的情况下持续更新。 论文指出，CTTA 的关键不只是“适应当前域”，而是“在长期测试流中稳定适应”。这会引出两个失败模式：伪标签或自监督信号不可靠，错误经由梯度更新被放大；模型在新域上持续更新后，逐渐损失源域知识和跨域通用能力。 因此，CTTA 是测试时自适应、源自由域自适应、持续学习和鲁棒部署之间的交叉问题，目标是在没有人工标注和源数据支撑的情况下，让模型面对连续漂移仍保持可用、稳定和高效。

2. Preliminary Details / 问题设定

CTTA 通常从源域训练好的模型开始。部署时，模型接收按时间顺序到来的未标注目标样本流，不同时间段可能对应不同目标域或漂移状态。模型需要输出预测，同时利用当前和历史测试样本更新参数、统计量或外接模块。 与离线域自适应不同，CTTA 不假设可反复遍历完整目标集；与普通 TTA 不同，它不只处理单一静态目标域；与持续学习不同，它缺少任务标签和监督信号，也通常不能保存大量历史数据。 论文将 CTTA 更新过程抽象为：给定源模型、连续测试批次和无监督目标损失，方法需要决定更新哪些参数、使用什么目标、是否维护记忆或教师模型，以及如何避免噪声梯度破坏源知识。 一个重要细节是批大小。许多 CTTA 方法在标准基准中使用较大 batch，有利于估计 BatchNorm 统计量和稳定伪标签。但真实在线系统常常只有小 batch 甚至单样本流，此时归一化统计和自训练信号都会变差。

3. Continual Domain Shifts / 持续域漂移

CTTA 的“持续”体现在测试分布并非一次性从源域切到目标域，而是随时间变化。论文讨论了逐步变化、突变、周期性变化、混合变化以及开放环境下的未知变化。 在腐蚀基准中，常见协议会让模型依次经历若干腐蚀类型和强度，例如高斯噪声、运动模糊、雨雪、JPEG 压缩等。它便于复现，也能考察多域切换稳定性。但这仍是受控环境：类别空间固定，漂移类型有限，样本顺序通常人为设计，不少实验还使用较大的测试批次。 真实部署中的漂移更复杂。自动驾驶系统可能先遇到光照变化，再遇到天气变化，随后进入不同城市；医学模型可能同时受到设备、疾病谱和人群差异影响。这些因素可能叠加出现，且不一定能被预定义腐蚀覆盖。 因此，CTTA 评测不能只看平均错误率，还应关注长期稳定性、恢复能力、源知识保留、计算开销、内存开销和延迟。短序列表现好但长期崩溃的方法，很难成为可靠部署方案。

4. Taxonomy of Continual Test-Time Adaptation Methods / 方法分类

论文将 CTTA 方法按“适应什么”和“如何更新”分为三大类：基于优化的方法、参数高效方法和基于架构的方法。这一分类有助于把分散工作放到同一坐标系比较。

基于优化的方法

基于优化的方法主要关注测试时的自训练目标和更新规则。典型思路包括熵最小化、伪标签学习、参数恢复和拓扑保持。熵最小化希望让模型在目标样本上输出更确定的预测；伪标签学习则把高置信预测当作监督信号；参数恢复试图在适应新域的同时定期拉回或重置部分参数，避免模型走向错误方向。 这类方法形式直接，通常不需要改动模型结构；局限也明显：当初始预测不可靠时，熵最小化可能让错误更自信，伪标签也会污染后续更新。长期 CTTA 中，错误积累比单次 TTA 更严重，因此常需配合置信筛选、随机恢复、教师平均或记忆机制。

参数高效方法

参数高效方法强调只更新少量参数或统计量，以降低计算、内存和过拟合风险。最典型的是 BatchNorm 相关方法：在测试时重新估计 BN 均值和方差，或只更新归一化层仿射参数。由于很多漂移会直接影响特征统计，归一化适应常能以低成本带来收益。 但这种思路也存在结构限制。现代视觉 Transformer 通常不使用 BatchNorm，而是更多依赖 LayerNorm；如果方法强依赖 BN，它在 ViT 或多模态基础模型上就难以直接迁移。此外，在小 batch 或单样本场景下，测试统计量本身不稳定，可能导致适应效果波动。 另一类参数高效方法尝试选择性更新参数，例如只更新对当前域最敏感或最安全的部分，或者使用轻量模块承载适应能力。这类方法更适合边缘设备和实时系统，但需要在表达能力和稳定性之间取得平衡。

基于架构的方法

基于架构的方法通过引入额外结构提升长期适应稳定性。最有代表性的是教师-学生框架：教师模型通常由学生模型的指数滑动平均得到，用更稳定的预测指导学生更新。CoTTA、RMT 等方法都体现了这一思想。 此外，适配器、视觉提示、掩码建模等方法也被纳入这一类。适配器通过小模块吸收域变化，减少对主干参数的破坏；视觉提示通过输入侧或特征侧提示调整模型行为；掩码建模则利用自监督重建信号增强表示适应能力。 这类方法通常更稳定，但代价更高。教师-学生方法需要维护两份模型或额外状态，内存成本接近翻倍；适配器和掩码建模也可能引入额外开销。

5. Methods / 方法

论文进一步按三类方法展开代表性工作。早期 CTTA 多从熵最小化和归一化统计更新出发，随后逐渐引入教师-学生、记忆缓冲、参数恢复、视觉提示和基础模型适配等机制。

熵最小化与伪标签

熵最小化是测试时自适应中的经典目标。它不需要标签，只要求模型在目标样本上的预测分布更尖锐。TENT 是代表方法，通过更新 BatchNorm 仿射参数适应目标分布。 但在 CTTA 中，单纯追求低熵并不总是安全。若模型面对严重漂移时已经预测错误，降低熵只会让错误更坚定。伪标签也有类似问题：高置信不等于正确，连续域切换后，上一域偏差还可能影响下一域判断。 因此，后续方法通常加入置信阈值、样本筛选、类别平衡、数据增强一致性或教师平滑等策略，目标是从不确定测试流中提取尽量可靠的更新信号。

参数恢复与长期稳定

参数恢复关注“适应到哪里应该停下来”。在长期测试流中，模型参数如果一直沿无监督目标更新，可能逐渐偏离源模型的稳健区域。随机恢复、周期性恢复或重要参数保护可以缓解这种漂移。 CoTTA 的随机恢复机制是典型例子：方法保留源模型参数，并随机将部分参数恢复到源值，从而降低灾难性遗忘风险。其直觉是，源模型虽不能完美适应所有目标域，但仍携带通用视觉知识，是长期稳定的锚点。

归一化层适应

归一化层适应是参数高效 CTTA 的核心分支。许多分布漂移会改变中间特征的均值和方差，因此更新 BatchNorm 统计量或仿射参数常常能快速提升性能。

不过，BN 方法有三个限制：依赖 batch 统计，在线单样本场景更难；对 CNN 更友好，对 Transformer 不一定适用；更新归一化统计虽轻量，但未必足以处理复杂语义漂移或组合漂移。因此，BN 适应是重要基线，而不是完整答案。

教师-学生框架

教师-学生框架是当前 CTTA 中稳定性较强的一类方案。学生模型根据测试样本更新，教师模型通过 EMA 聚合学生历史参数，生成更平滑、更稳定的伪标签或一致性目标。这样可以降低单批噪声对更新方向的冲击。

这类方法在多个基准上表现强，但代价明显：需要额外模型副本、更多显存和更复杂的状态维护。服务器端可能可以接受；边缘端、机器人或移动设备则会面临内存和延迟压力。

适配器、提示与掩码建模

适配器和视觉提示代表了更贴近基础模型时代的 CTTA 思路。与其直接更新大模型主干，不如引入小规模可训练模块，让模型通过少量参数吸收域变化。这可以减少遗忘，也更适合大规模预训练模型。 视觉提示参数效率很高，但表达能力可能不足；面对大幅协变量偏移或复杂场景变化时，提示参数未必覆盖所有调整需求。掩码建模提供不依赖标签的自监督信号，适合视觉 Transformer，但会带来额外训练开销。

6. Source Model Variants / 源模型差异

论文专门讨论源模型变体对 CTTA 结论的影响。同一种适应策略在 CNN、ViT、CLIP 或其他基础模型上的行为可能完全不同。 在 CNN 上，BatchNorm 层提供了天然适应入口，因此 BN 统计更新、BN 仿射参数优化和特征调制容易发挥作用。但在 Transformer 中，BatchNorm 通常不存在，直接套用会失效。此时，LayerNorm、提示、适配器、低秩更新或自监督目标可能更合适。 源模型的预训练方式也会改变适应难度。监督预训练模型可能更依赖训练分布中的判别边界；自监督或多模态预训练模型表示更通用，但在下游任务上仍需谨慎适配。比较 CTTA 方法时，不能只看方法名，还要看主干架构、预训练方式、更新参数范围和资源约束。

7. Need for Online Continual Adaptation / 在线持续适应的必要性

CTTA 的核心场景是在线部署，而不是离线调参。模型在真实系统中必须边接收数据边预测，无法等待完整目标域收集完毕再统一训练。因此，方法必须满足在线性、低延迟、有限内存和安全可控等要求。 在线设定还带来顺序问题。测试样本到达顺序会影响模型状态，早期错误可能改变后续适应方向；如果分布周期性回到旧域，模型还需要恢复能力；如果目标域差异很大，连续更新可能导致新旧知识相互干扰。 论文强调，CTTA 不应只追求静态目标域平均性能，而应评估长时间序列行为：性能是否退化，遇到新域能否快速适应，回到旧域时能否保持性能，在小 batch、类别不平衡和时间相关样本下是否稳定。

8. Benchmarks & Experiments / 基准与实验

论文总结了 CTTA 常用基准和实验设置。图像分类中，CIFAR-10-C、CIFAR-100-C 和 ImageNet-C 是最常见腐蚀基准，包含噪声、模糊、天气和数字失真等 15 类腐蚀。ImageNet-R、ImageNet-A、ImageNet-V2 等则用于补充评估渲染偏移、自然对抗样本和分布重采样。

语义分割中，常见评测包括 Cityscapes 到 ACDC、GTA5 到 Cityscapes 等设置，用于考察驾驶场景中的天气、夜晚、合成到真实等域偏移。分割任务对空间结构和像素级预测更敏感，适应过程也更容易受局部错误影响。 从实验观察看，教师-学生方法通常表现强劲，因为 EMA 教师能平滑噪声更新；参数恢复和类别平衡采样对长期稳定很重要；归一化方法在 CNN 腐蚀基准上有竞争力，但在 Transformer 或复杂场景中会受限；参数高效方法适合资源受限部署，但需权衡性能上限。 论文也区分了“稳健结论”和“依赖基准的结论”。BN 方法难以用于无 BN 的 Transformer，这是结构性事实；伪标签质量会随漂移下降，也是普遍风险。但某些教师-学生方法在大 batch 腐蚀基准上表现突出，可能部分受益于评测协议，不能直接外推到小 batch 实时系统。 因此，实践中应根据模型架构和资源条件选择方法：CNN 场景可优先考虑归一化适应和参数恢复；内存充足时，教师-学生框架较稳健；边缘端或实时场景应关注 EcoTTA、MECTA、FOA 等效率导向方法；面对 ViT 和基础模型时，需要参数高效且架构兼容的适配策略。

9. Emerging Trends and Future Directions / 未来方向

论文认为 CTTA 正进入新阶段，未来研究将从经典视觉腐蚀基准扩展到更广泛的模型、任务和部署形态。

多模态与基础模型

视觉语言模型、生成式模型和大规模基础模型拥有更强泛化能力，但也带来新问题。它们参数规模巨大，全量更新成本高、风险大；文本提示、视觉提示、跨模态对齐和检索增强都可能成为测试时适应入口。 未来 CTTA 需要回答：如何只更新少量参数而不破坏基础模型能力；如何在无标签条件下判断多模态输出是否可靠；如何在长期漂移中保持语言、视觉和任务知识一致。

白盒与黑盒系统

很多现实系统并不允许访问模型梯度或内部参数，只能通过 API 得到输出。这使黑盒 CTTA 成为重要方向。黑盒适应可能依赖提示优化、输入变换、检索记忆、输出校准或外部控制器，而不是传统反向传播。 这类设定更贴近商业模型部署，但评估更困难：调用成本、延迟、输出随机性、接口限制和安全策略都会影响适应效果。

安全性与鲁棒性

测试时更新本身可能成为攻击面。攻击者可以构造输入流诱导模型错误适应，使后续正常样本性能下降。当前许多 CTTA 基准主要关注自然腐蚀，对对抗样本、开放集样本、异常输入和恶意数据流覆盖不足。 未来方法需要具备更新门控、异常检测、回滚和不确定性估计能力。可靠 CTTA 系统不应对所有测试样本盲目学习，而应知道何时适应、何时拒绝更新、何时恢复到安全状态。

更真实的评测协议

论文呼吁建立更接近真实部署的 CTTA 基准。未来基准应覆盖渐进漂移、突变、周期变化和复合漂移；应纳入资源预算，将显存、延迟、能耗和吞吐量作为一等指标；还应进行长周期评测，考察知识保留、前向迁移和稳定性。 现有 CIFAR-C、ImageNet-C 仍然重要，因为它们可复现、可比较。但如果研究停留在固定腐蚀序列和大 batch 评测上，CTTA 很难走向可靠部署。

10. Conclusion / 结论

这篇综述将持续测试时自适应定义为视觉模型真实部署中的关键问题：在没有源数据和目标标签的条件下，模型需要面对连续、非平稳、长期变化的测试分布，并在预测过程中持续调整。 论文的主要贡献是给出清晰方法分类：基于优化的方法设计自训练目标，参数高效方法选择性更新统计量或少量参数，基于架构的方法通过教师-学生、适配器、视觉提示和掩码建模提升稳定性。同时，论文总结了常用基准、代表实验结论和未来挑战。 从当前证据看，CTTA 已经从早期熵最小化和 BN 统计更新，发展为更综合的鲁棒部署方向。它既要处理分布漂移，也要处理长期稳定、资源约束、架构差异和安全风险。下一阶段的关键，不只是让模型在腐蚀基准上分数更高，而是让模型在真实、开放、持续变化的环境中可以被信任地运行。