开放世界本质上是动态的,其特征是不断演变的概念和分布。在这种动态开放世界环境中,持续学习 (CL) 面临着如何有效泛化到未见测试类别的重大挑战。为应对这一挑战,我们引入了一种新的实际 CL 设置,专为开放世界的视觉表征学习设计。在该设置中,后续数据流系统地引入了与先前训练阶段中所见类别不相交的全新类别,同时这些类别也与未见测试类别保持区别。对此,我们提出了动态提示与表征学习器 (DPaRL),这是一种简单但有效的基于提示的持续学习 (PCL) 方法。我们的 DPaRL 学会为推理生成动态提示,而不是依赖于以往 PCL 方法中的静态提示池。此外,DPaRL 在每个训练阶段共同学习动态提示生成和判别性表征,而以往的 PCL 方法仅在整个过程中细化提示学习。实验结果表明,我们的方法优于现有的最先进方法,在公认的开放世界图像检索基准上平均提高了 4.7% 的 Recall@1 性能。

成为VIP会员查看完整内容
25

相关内容

【NeurIPS2023】跨情境课程设计的Transformer智能体
专知会员服务
27+阅读 · 2023年10月14日
【CVPR2023】基于文本驱动软掩码的多模态表示学习
专知会员服务
21+阅读 · 2023年4月10日
【NAACL2022】自然语言处理的对比数据与学习
专知会员服务
46+阅读 · 2022年7月10日
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
专知会员服务
34+阅读 · 2022年3月13日
专知会员服务
35+阅读 · 2021年9月18日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
22+阅读 · 2021年4月11日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
38+阅读 · 2021年4月9日
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
28+阅读 · 2020年4月1日
综述| 当图神经网络遇上强化学习
图与推荐
35+阅读 · 2022年7月1日
【KDD2020】图神经网络:基础与应用,322页ppt
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
深度学习与计算机视觉任务应用综述
深度学习与NLP
51+阅读 · 2018年12月18日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
A Survey of Large Language Models
Arxiv
500+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
技术、多域威慑与海上战争(报告)
专知会员服务
0+阅读 · 9分钟前
“在云端防御”:提升北约数据韧性(报告)
专知会员服务
0+阅读 · 19分钟前
人工智能及其在海军行动中的整合(综述)
专知会员服务
0+阅读 · 今天14:07
美军MAVEN项目全面解析:算法战架构
专知会员服务
15+阅读 · 今天8:36
从俄乌战场看“马赛克战”(万字长文)
专知会员服务
10+阅读 · 今天8:19
最新“指挥控制”领域出版物合集(16份)
专知会员服务
16+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
22+阅读 · 4月12日
相关VIP内容
【NeurIPS2023】跨情境课程设计的Transformer智能体
专知会员服务
27+阅读 · 2023年10月14日
【CVPR2023】基于文本驱动软掩码的多模态表示学习
专知会员服务
21+阅读 · 2023年4月10日
【NAACL2022】自然语言处理的对比数据与学习
专知会员服务
46+阅读 · 2022年7月10日
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
专知会员服务
34+阅读 · 2022年3月13日
专知会员服务
35+阅读 · 2021年9月18日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
22+阅读 · 2021年4月11日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
38+阅读 · 2021年4月9日
【CVPR2020-旷视】DPGN:分布传播图网络的小样本学习
专知会员服务
28+阅读 · 2020年4月1日
相关资讯
综述| 当图神经网络遇上强化学习
图与推荐
35+阅读 · 2022年7月1日
【KDD2020】图神经网络:基础与应用,322页ppt
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
深度学习与计算机视觉任务应用综述
深度学习与NLP
51+阅读 · 2018年12月18日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员