Test-time adaptation (TTA), a key component of lifelong learning in edge devices, refers to the ability of a pre-trained model to adapt itself to new environments during test time. Due to its practical ability, TTA has attracted significant attention and experienced a rapid performance boost these days. In this paper, we present an under-explored yet more realistic TTA scenario and provide a strong baseline favorable to this scenario, named cyclical compound domain (CCD). The CCD represents the real-world scenario in which the target domain contains multiple sub-target domains (i.e., compound domain due to weather or time change) and the sub-target domains are likely to rise cyclically. Unfortunately, existing works do not faithfully account for this plausible scenario, only focusing on adapting to the current sub-target domain while discarding the past knowledge acquired from repeated sub-target domains. Therefore, we first propose a lightweight domain-matching algorithm that allows the TTA model to manage knowledge from the compound domain. This algorithm identifies the type of domain among sub-target domains by continuously matching the current image's distribution with reference domain points. Moreover, our newly proposed regularization method compares the present distribution with source one in order to regularize the adaptation pace according to each data in sub-target domains. Qualitatively, we demonstrate that our simple-yet-effective approach improves the adaptation performance on various benchmarks, including image classification on ImageNet-C and semantic segmentation on GTA5, C-driving datasets, and Cityscapes with corruptions.


翻译:测试时自适应(TTA)作为边缘设备终身学习的关键组成部分,指预训练模型在测试阶段适应新环境的能力。因其实际应用价值,TTA近年来备受关注并取得性能的快速提升。本文提出一种尚未充分探索但更具现实意义的TTA场景,并为此场景提供名为周期复合域(CCD)的强基线方法。CCD描述了目标域包含多个子目标域(如因天气或时间变化形成的复合域)且子目标域可能周期性出现的真实场景。然而现有研究未能充分处理这一合理场景,仅关注适应当前子目标域而丢弃从重复出现的子目标域中获取的历史知识。为此,我们首先提出轻量级域匹配算法,使TTA模型能够管理复合域中的知识。该算法通过连续匹配当前图像分布与参考域特征点,识别当前图像所属的子目标域类型。此外,我们提出的新型正则化方法通过比较当前分布与源域分布,根据子目标域中每个数据特性调控适应节奏。实验结果表明,这种简单高效的方法在多种基准测试中提升了自适应性能,包括ImageNet-C的图像分类任务,以及GTA5、C-driving数据集和添加扰动的Cityscapes上的语义分割任务。

0
下载
关闭预览

相关内容

让 iOS 8 和 OS X Yosemite 无缝切换的一个新特性。 > Apple products have always been designed to work together beautifully. But now they may really surprise you. With iOS 8 and OS X Yosemite, you’ll be able to do more wonderful things than ever before.

Source: Apple - iOS 8
专知会员服务
24+阅读 · 2021年6月14日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2023年5月14日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
3+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
5+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
专知会员服务
24+阅读 · 2021年6月14日
相关基金
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员