While current federated multimodal continual learning over mixture-of-experts low-rank adaptation (MoE-LoRA) is built on the unverified assumption that routing isolates task-specific knowledge into disjoint experts, we argue that routing operates per-sample, while forgetting accumulates across the task sequence, and gradient conflict persists within each expert even when routing is maximally polarized. Moreover, activation-subspace protection can also fail because, under parameter-efficient fine-tuning, it entangles tasks due to a dimension-counting bound, and federated averaging (FedAvg) disrupts client-side orthogonality. To address this, we propose PRISM (Per-expert Routing-projection Interference-informed Subspace Method), which maintains a per-expert gradient subspace basis whose orthogonality is preserved under FedAvg and reinterprets MoE routing as a capacity allocator. Our results show that, on LLaVA-1.5-7B, LLaVA-1.5-13B, and Qwen2.5-VL-7B across CoIN-6 and CoIN-Long-10, PRISM outperforms sixteen the state of the art baselines in average accuracy. Compared to the best federated multimodal baseline, the performance margin increases from +3.23 pp on CoIN-6 to +6.06 pp on CoIN-Long-10.


翻译:现有基于混合专家低秩适配(MoE-LoRA)的联邦多模态持续学习方法,建立在路由机制将任务特定知识隔离至互不相交专家模块这一未经验证的假设之上。我们论证:路由执行的是逐样本操作,而遗忘沿任务序列持续累积,即使在路由极化达到最大时,每个专家内部仍存在梯度冲突。此外,激活子空间保护机制也可能失效——在参数高效微调场景下,由于维度计数限制,该机制会导致任务纠缠,且联邦平均(FedAvg)会破坏客户端侧的向量正交性。为解决上述问题,我们提出PRISM(逐专家路由-投影干扰感知子空间方法),该方法维护逐专家梯度子空间基,该基可在FedAvg下保持正交性,并重新诠释MoE路由作为容量分配器的角色。实验结果表明,在LLaVA-1.5-7B、LLaVA-1.5-13B及Qwen2.5-VL-7B模型上,面对CoIN-6与CoIN-Long-10基准测试集,PRISM在平均准确率上全面超越十六个当前最优基线方法。相较于最优联邦多模态基线,性能优势从CoIN-6上的+3.23个百分点扩展至CoIN-Long-10上的+6.06个百分点。

0
下载
关闭预览

相关内容

多模态持续学习的最新进展:综合综述
专知会员服务
47+阅读 · 2024年10月10日
概述联邦持续学习最新研究进展
专知会员服务
31+阅读 · 2023年6月18日
专知会员服务
236+阅读 · 2020年5月6日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
多模态持续学习的最新进展:综合综述
专知会员服务
47+阅读 · 2024年10月10日
概述联邦持续学习最新研究进展
专知会员服务
31+阅读 · 2023年6月18日
专知会员服务
236+阅读 · 2020年5月6日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员