Continual learning aims to enable models to acquire new knowledge while retaining previously learned information. Prompt-based methods have shown remarkable performance in this domain; however, they typically rely on key-value pairing, which can introduce inter-task interference and hinder scalability. To overcome these limitations, we propose a novel approach employing task-specific Prompt-Prototype (ProP), thereby eliminating the need for key-value pairs. In our method, task-specific prompts facilitate more effective feature learning for the current task, while corresponding prototypes capture the representative features of the input. During inference, predictions are generated by binding each task-specific prompt with its associated prototype. Additionally, we introduce regularization constraints during prompt initialization to penalize excessively large values, thereby enhancing stability. Experiments on several widely used datasets demonstrate the effectiveness of the proposed method. In contrast to mainstream prompt-based approaches, our framework removes the dependency on key-value pairs, offering a fresh perspective for future continual learning research.


翻译:持续学习旨在使模型能够获取新知识,同时保留先前学习的信息。基于提示的方法在该领域已展现出卓越的性能;然而,这些方法通常依赖于键值配对,这可能引入任务间干扰并阻碍可扩展性。为克服这些限制,我们提出了一种采用任务特定提示-原型(ProP)的新方法,从而消除了对键值对的需求。在我们的方法中,任务特定提示促进了当前任务更有效的特征学习,而相应的原型则捕获了输入的代表性特征。在推理过程中,通过将每个任务特定提示与其关联的原型进行绑定来生成预测。此外,我们在提示初始化阶段引入了正则化约束,以惩罚过大的数值,从而增强稳定性。在多个广泛使用的数据集上进行的实验证明了所提方法的有效性。与主流的基于提示的方法相比,我们的框架消除了对键值对的依赖,为未来的持续学习研究提供了一个新的视角。

0
下载
关闭预览

相关内容

持续学习(continuallearning,CL) 是 模 拟 大 脑 学 习 的 过 程,按 照 一 定 的 顺 序 对 连 续 非 独 立 同 分 布 的 (independentlyandidenticallydistributed,IID)流数据进行学习,进而根据任务的执行结果对模型进行 增量式更新.持续学习的意义在于高效地转化和利用已经学过的知识来完成新任务的学习,并且能够极 大程度地降低遗忘带来的问题.连续学习研究对智能计算系统自适应地适应环境改变具有重要的意义
【CVPR2024】卷积提示"遇见了语言模型的持续学习
专知会员服务
18+阅读 · 2024年4月1日
【综述】持续学习与预训练模型综述
专知会员服务
54+阅读 · 2024年1月30日
【牛津大学博士论文】持续学习的高效机器学习,213页pdf
专知会员服务
84+阅读 · 2022年10月19日
专知会员服务
35+阅读 · 2021年9月18日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
22+阅读 · 2021年4月11日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
37+阅读 · 2020年2月27日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Meta-Learning 元学习:学会快速学习
GAN生成式对抗网络
20+阅读 · 2018年12月8日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员