Continual learning systems face a fundamental tension between plasticity -- acquiring new knowledge -- and stability -- retaining prior knowledge. We introduce MPCS (Multi-Plasticity Continual System), a neuroplastic architecture that integrates eleven complementary mechanisms: task-driven neurogenesis, Fourier-encoded inputs, EWC regularization, meta-replay, mixed consolidation, hybrid gating, synapse pruning/regeneration, Hebbian updates, task similarity routing, adaptive growth control, and continuous neuron importance tracking. We evaluate MPCS on MEP-BENCH, a multi-track benchmark spanning 31 tasks across regression, classification, logic, and mixed domains, using a three-dimensional Pareto criterion over task performance (Perf), representation diversity (RD), and gradient conflict rate (GCR). Across 15 ablation configurations (3 seeds x 4 tracks x 2000 epochs), MPCS achieves a Normalized Efficiency Score of 94.2, placing it on the Pareto frontier among 9 of 14 gate-passing systems. Key findings: (i) Fourier encoding is the single most critical component (removal drops Perf by 30.7 pp and fails the MEP gate on 14% of tasks); (ii) global EWC degrades performance (NES = -4.2); topology-local EWC reduces this penalty (NES 90.5->91.8) but does not eliminate it; removing EWC entirely yields MPCS_EFFICIENT, the highest-Perf system -- establishing a monotone relationship in the high task-similarity regime (s_bar ~= 0.95): global EWC < topology EWC < no EWC; (iii) the Pareto status assessment is predictive: removing the two Pareto-dominated components (EWC + Hebbian) jointly yields MPCS_EFFICIENT, which improves Perf by 0.6 pp at 4.7x lower compute cost (127 vs. 602 min), validating the Pareto frontier as an actionable model-compression guide.


翻译:持续学习系统面临可塑性(获取新知识)与稳定性(保持已有知识)之间的根本性矛盾。我们提出MPCS(多可塑性持续系统),这是一种融合十一种互补机制的神经可塑性架构:任务驱动神经发生、傅里叶编码输入、EWC正则化、元回放、混合巩固、混合门控、突触修剪/再生、赫布更新、任务相似性路由、自适应生长控制及连续神经元重要性跟踪。我们在涵盖回归、分类、逻辑与混合领域共31项任务的多轨道基准MEP-BENCH上,采用基于任务性能(Perf)、表征多样性(RD)与梯度冲突率(GCR)的三维帕累托准则对MPCS进行评估。在15种消融配置(3种子×4轨道×2000轮次)下,MPCS实现了94.2的标准化效率分数(NES),在14个门控通过系统中占据9个系统的帕累托前沿前沿。关键发现:(i)傅里叶编码是最关键的单一组件(移除后Perf下降30.7个百分点,并在14%任务上未通过MEP门控);(ii)全局EWC降低性能(NES=-4.2);拓扑局部化EWC可减轻惩罚(NES从90.5提升至91.8)但未完全消除;完全移除EWC得到最高性能系统MPCS_EFFICIENT,在高任务相似性区域(s_bar≈0.95)形成单调关系:全局EWC < 拓扑EWC < 无EWC;(iii)帕累托状态评估具有预测性:联合移除两个被帕累托支配的组件(EWC+赫布更新)得到MPCS_EFFICIENT,性能提升0.6个百分点的同时计算成本降低4.7倍(127分钟 vs 602分钟),验证了帕累托前沿作为可操作模型压缩指南的有效性。

0
下载
关闭预览

相关内容

深度强化学习中的可塑性损失:综述
专知会员服务
22+阅读 · 2024年11月8日
多模态持续学习的最新进展:综合综述
专知会员服务
47+阅读 · 2024年10月10日
持续学习的研究进展与趋势
专知会员服务
46+阅读 · 2024年3月8日
【综述】持续学习与预训练模型综述
专知会员服务
55+阅读 · 2024年1月30日
专知会员服务
33+阅读 · 2020年10月2日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员