Gait-based Parkinson's disease assessment increasingly relies on heterogeneous sensors, but clinical systems rarely collect all modalities simultaneously. New sensors may arrive through device upgrades, protocol changes, or multi-center deployment, while historical patient data are often unavailable because of privacy and storage constraints. This modality-incremental setting faces three challenges: unreliable cross-modal distillation, modality-specific statistical shifts, and reduced plasticity after preservation. We propose MOSAIC, a compact continual learning framework. First, we identify the Toxic Teacher phenomenon and introduce Modality-Specific Warm-Up to stabilize newly learned modality representations before distillation. Second, we propose a statistics-decoupled MSBN architecture that isolates sensor statistics while maintaining a shared semantic backbone. Third, we design a curriculum-guided repulsive objective for Plasticity Recovery, preserving legacy knowledge while recovering modality-specific capacity. Experiments on three multimodal Parkinson's gait datasets show that MOSAIC improves final performance and mitigates forgetting. Project code is available at: https://github.com/minlinzeng/MOSAIC_Modality-Specific-Adaptation-for-Incremental-Continual-Learning-in-PD-Gait-Assessment.git


翻译:基于步态的帕金森病评估日益依赖异构传感器,但临床系统极少同时采集所有模态。设备升级、方案变更或多中心部署可能引入新传感器,而历史患者数据因隐私和存储限制常不可用。这种模态增量场景面临三大挑战:不可靠的跨模态蒸馏、模态特异性统计偏移以及保留能力后的可塑性下降。本文提出MOSAIC——一种紧凑的持续学习框架。首先,我们识别"毒性教师"现象,并引入模态特异性预热机制,在蒸馏前稳定新习得的模态表征。其次,提出统计解耦的MSBN架构,在保持共享语义主干的同时隔离传感器统计特性。第三,设计基于课程引导的排斥性目标实现可塑性恢复,在保留历史知识的同时恢复模态特异性容量。在三个多模态帕金森步态数据集上的实验表明,MOSAIC提升了最终性能并缓解了遗忘问题。项目代码地址:https://github.com/minlinzeng/MOSAIC_Modality-Specific-Adaptation-for-Incremental-Continual-Learning-in-PD-Gait-Assessment.git

0
下载
关闭预览

相关内容

利用表示学习推动多机构电子健康记录数据研究
专知会员服务
16+阅读 · 2025年2月17日
多模态持续学习的最新进展:综合综述
专知会员服务
47+阅读 · 2024年10月10日
【AI与医学】多模态机器学习精准医疗健康
专知会员服务
83+阅读 · 2022年4月25日
专知会员服务
53+阅读 · 2021年8月13日
专知会员服务
63+阅读 · 2021年3月25日
专知会员服务
237+阅读 · 2020年5月6日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
【AI与医学】多模态机器学习精准医疗健康
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
人工智能顶刊TPAMI2019最新《多模态机器学习综述》
人工智能学家
29+阅读 · 2019年1月19日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
无人机已改变战场,但并未解决指挥问题
专知会员服务
3+阅读 · 8月14日
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
10+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
15+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
相关VIP内容
利用表示学习推动多机构电子健康记录数据研究
专知会员服务
16+阅读 · 2025年2月17日
多模态持续学习的最新进展:综合综述
专知会员服务
47+阅读 · 2024年10月10日
【AI与医学】多模态机器学习精准医疗健康
专知会员服务
83+阅读 · 2022年4月25日
专知会员服务
53+阅读 · 2021年8月13日
专知会员服务
63+阅读 · 2021年3月25日
专知会员服务
237+阅读 · 2020年5月6日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员