Foundation models (FMs) show great promise for robust downstream performance across medical imaging tasks and modalities, including cardiac magnetic resonance (CMR), following task-specific adaptation. However, adaptation using single-site data may lead to suboptimal performance and increased model bias, while centralized fine-tuning on clinical data is often infeasible due to privacy constraints. Federated fine-tuning offers a privacy-preserving alternative; yet conventional approaches struggle under heterogeneous, non-IID multi-center data and incur substantial communication overhead when adapting large models. In this work, we study federated FM fine-tuning for 3D CMR disease detection and propose Med-DualLoRA, a client-aware parameter-efficient fine-tuning (PEFT) federated framework that disentangles globally shared and local low-rank adaptations (LoRA) through additive decomposition. Global and local LoRA modules are trained locally, but only the global component is shared and aggregated across sites, keeping local adapters private. This design improves personalization while significantly reducing communication cost, and experiments show that adapting only two transformer blocks preserves performance while further improving efficiency. We evaluate our method on a multi-center state-of-the-art cine 3D CMR FM fine-tuned for disease detection using ACDC and combined M\&Ms datasets, treating each vendor as a federated client. Med-DualLoRA achieves statistically significant improved performance (balanced accuracy 0.768, specificity 0.612) compared to other federated PEFT baselines, while maintaining communication efficiency. Our approach provides a scalable solution for local federated adaptation of medical FMs under realistic clinical constraints.


翻译:基础模型在医学影像任务和模态(包括心脏磁共振)中展现出强大的下游性能潜力,但通常需要进行任务特定的自适应。然而,使用单中心数据进行自适应可能导致性能欠佳并加剧模型偏差,而由于隐私限制,对临床数据进行集中式微调往往不可行。联邦微调提供了一种隐私保护的替代方案;然而,传统方法在异构、非独立同分布的多中心数据下表现不佳,且在适配大模型时会产生巨大的通信开销。在本研究中,我们探索了面向三维心脏磁共振疾病检测的联邦基础模型微调,并提出Med-DualLoRA——一种客户端感知的参数高效微调联邦框架。该框架通过加法分解解耦全局共享与局部低秩自适应模块。全局和局部LoRA模块均在本地训练,但仅全局组件在各中心间共享与聚合,局部适配器保持私有。这一设计在提升个性化性能的同时显著降低了通信成本,实验表明仅适配两个Transformer模块即可保持性能并进一步提升效率。我们在一个多中心、最先进的电影三维心脏磁共振基础模型上评估了所提方法,该模型使用ACDC和组合的M\&Ms数据集针对疾病检测进行微调,并将不同设备厂商视为联邦客户端。与其他联邦参数高效微调基线方法相比,Med-DualLoRA取得了统计学意义上显著提升的性能(平衡准确率0.768,特异度0.612),同时保持了通信效率。我们的方法为在现实临床约束下实现医学基础模型的局部联邦自适应提供了可扩展的解决方案。

0
下载
关闭预览

相关内容

【NTU博士论文】基础模型的高效适配
专知会员服务
15+阅读 · 3月24日
面向医学影像大模型的联邦学习:全面综述
专知会员服务
16+阅读 · 2025年8月29日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
【AI与医学】多模态机器学习精准医疗健康
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
人工智能即服务与未来战争(印度视角)
专知会员服务
0+阅读 · 今天7:57
《美国战争部2027财年军事人员预算》
专知会员服务
0+阅读 · 今天7:44
伊朗战争中的电子战
专知会员服务
3+阅读 · 今天7:04
大语言模型平台在国防情报应用中的对比
专知会员服务
5+阅读 · 今天3:12
美海军“超配项目”
专知会员服务
6+阅读 · 今天2:13
《美陆军条例:陆军指挥政策(2026版)》
专知会员服务
10+阅读 · 4月21日
《军用自主人工智能系统的治理与安全》
专知会员服务
7+阅读 · 4月21日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员