Data streams are rarely static in dynamic environments like Industry 4.0. Instead, they constantly change, making traditional offline models outdated unless they can quickly adjust to the new data. This need can be adequately addressed by continual learning (CL), which allows systems to gradually acquire knowledge without incurring the prohibitive costs of retraining them from scratch. Most research on continual learning focuses on classification problems, while very few studies address regression tasks. We propose the first prototype-based generative replay framework designed for online task-free continual regression. Our approach defines an adaptive output-space discretization model, enabling prototype-based generative replay for continual regression without storing raw data. Evidence obtained from several benchmark datasets shows that our framework reduces forgetting and provides more stable performance than other state-of-the-art solutions.


翻译:在工业4.0等动态环境中,数据流很少是静态的。相反,它们不断变化,使得传统的离线模型迅速过时,除非这些模型能够快速适应新数据。持续学习(CL)能够充分应对这一需求,它使系统能够逐步获取知识,而无需承担从头重新训练的高昂成本。目前大多数持续学习研究集中于分类问题,而针对回归任务的研究极少。本文提出了首个基于原型的生成式回放框架,专为在线无任务持续回归而设计。我们的方法定义了一种自适应输出空间离散化模型,使得无需存储原始数据即可实现基于原型的生成式回放,以支持持续回归。在多个基准数据集上获得的实验证据表明,相较于其他先进解决方案,我们的框架能够有效减少灾难性遗忘,并提供更稳定的性能表现。

0
下载
关闭预览

相关内容

持续学习(continuallearning,CL) 是 模 拟 大 脑 学 习 的 过 程,按 照 一 定 的 顺 序 对 连 续 非 独 立 同 分 布 的 (independentlyandidenticallydistributed,IID)流数据进行学习,进而根据任务的执行结果对模型进行 增量式更新.持续学习的意义在于高效地转化和利用已经学过的知识来完成新任务的学习,并且能够极 大程度地降低遗忘带来的问题.连续学习研究对智能计算系统自适应地适应环境改变具有重要的意义
【牛津博士论文】考虑计算成本的可扩展持续深度学习
专知会员服务
16+阅读 · 2025年3月2日
多模态持续学习的最新进展:综合综述
专知会员服务
47+阅读 · 2024年10月10日
【CVPR2024】卷积提示"遇见了语言模型的持续学习
专知会员服务
18+阅读 · 2024年4月1日
【综述】持续学习与预训练模型综述
专知会员服务
54+阅读 · 2024年1月30日
持续学习:研究综述
专知会员服务
83+阅读 · 2023年1月30日
「连续学习Continual learning, CL」最新2022研究综述
专知会员服务
85+阅读 · 2022年6月26日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
37+阅读 · 2020年2月27日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
Meta-Learning 元学习:学会快速学习
GAN生成式对抗网络
20+阅读 · 2018年12月8日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
VIP会员
相关VIP内容
【牛津博士论文】考虑计算成本的可扩展持续深度学习
专知会员服务
16+阅读 · 2025年3月2日
多模态持续学习的最新进展:综合综述
专知会员服务
47+阅读 · 2024年10月10日
【CVPR2024】卷积提示"遇见了语言模型的持续学习
专知会员服务
18+阅读 · 2024年4月1日
【综述】持续学习与预训练模型综述
专知会员服务
54+阅读 · 2024年1月30日
持续学习:研究综述
专知会员服务
83+阅读 · 2023年1月30日
「连续学习Continual learning, CL」最新2022研究综述
专知会员服务
85+阅读 · 2022年6月26日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
37+阅读 · 2020年2月27日
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员