Gait-based Parkinson's disease assessment increasingly relies on heterogeneous sensors, but clinical systems rarely collect all modalities simultaneously. New sensors may arrive through device upgrades, protocol changes, or multi-center deployment, while historical patient data are often unavailable because of privacy and storage constraints. This modality-incremental setting faces three challenges: unreliable cross-modal distillation, modality-specific statistical shifts, and reduced plasticity after preservation. We propose MOSAIC, a compact continual learning framework. First, we identify the Toxic Teacher phenomenon and introduce Modality-Specific Warm-Up to stabilize newly learned modality representations before distillation. Second, we propose a statistics-decoupled MSBN architecture that isolates sensor statistics while maintaining a shared semantic backbone. Third, we design a curriculum-guided repulsive objective for Plasticity Recovery, preserving legacy knowledge while recovering modality-specific capacity. Experiments on three multimodal Parkinson's gait datasets show that MOSAIC improves final performance and mitigates forgetting. Project code is available at: https://github.com/minlinzeng/MOSAIC_Modality-Specific-Adaptation-for-Incremental-Continual-Learning-in-PD-Gait-Assessment.git


翻译:基于步态的帕金森病评估日益依赖异构传感器,但临床系统很少同时采集全部模态。设备升级、方案变更或多中心部署可能引入新传感器,而历史患者数据因隐私和存储限制难以获取。这种模态增量场景面临三大挑战:不可靠的跨模态蒸馏、模态特定的统计偏移以及保留后的可塑性退化。我们提出MOSAIC——一种轻量级持续学习框架。首先,识别"有毒教师"现象并引入模态特定预热机制,在蒸馏前稳定新学模态表征;其次,提出统计解耦的MSBN架构,在保持共享语义骨干的同时隔离传感器统计特性;最后,设计课程引导的排斥性目标函数用于可塑性恢复,在保护旧知识的同时恢复模态特定容量。在三个多模态帕金森步态数据集上的实验表明,MOSAIC提升了最终性能并缓解了灾难性遗忘。项目代码见:https://github.com/minlinzeng/MOSAIC_Modality-Specific-Adaptation-for-Incremental-Continual-Learning-in-PD-Gait-Assessment.git

0
下载
关闭预览

相关内容

遥感中基于深度学习的领域自适应方法:全面综述
专知会员服务
20+阅读 · 2025年10月20日
【AI与医学】多模态机器学习精准医疗健康
专知会员服务
83+阅读 · 2022年4月25日
专知会员服务
53+阅读 · 2021年8月13日
专知会员服务
63+阅读 · 2021年3月25日
专知会员服务
237+阅读 · 2020年5月6日
【AI与医学】多模态机器学习精准医疗健康
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
8+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
14+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
边缘计算的军事应用
专知会员服务
12+阅读 · 8月9日
相关VIP内容
遥感中基于深度学习的领域自适应方法:全面综述
专知会员服务
20+阅读 · 2025年10月20日
【AI与医学】多模态机器学习精准医疗健康
专知会员服务
83+阅读 · 2022年4月25日
专知会员服务
53+阅读 · 2021年8月13日
专知会员服务
63+阅读 · 2021年3月25日
专知会员服务
237+阅读 · 2020年5月6日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员