Multimodal federated learning enables privacy-preserving collaborative model training across healthcare institutions. However, a fundamental challenge arises from modality heterogeneity: many clinical sites possess only a subset of modalities due to resource constraints or workflow variations. Existing approaches address this through feature imputation networks that synthesize missing modality representations, yet these methods produce point estimates without reliability measures, forcing downstream classifiers to treat all imputed features as equally trustworthy. In safety-critical medical applications, this limitation poses significant risks. We propose the Probabilistic Feature Imputation Network (P-FIN), which outputs calibrated uncertainty estimates alongside imputed features. This uncertainty is leveraged at two levels: (1) locally, through sigmoid gating that attenuates unreliable feature dimensions before classification, and (2) globally, through Fed-UQ-Avg, an aggregation strategy that prioritizes updates from clients with reliable imputation. Experiments on federated chest X-ray classification using CheXpert, NIH Open-I, and PadChest demonstrate consistent improvements over deterministic baselines, with +5.36% AUC gain in the most challenging configuration.


翻译:多模态联邦学习能够在医疗保健机构间实现隐私保护的协作模型训练。然而,一个根本性挑战源于模态异质性:许多临床站点因资源限制或工作流程差异仅拥有部分模态数据。现有方法通过特征补全网络来合成缺失的模态表征,但这些方法仅生成点估计而不提供可靠性度量,迫使下游分类器将所有补全特征视为同等可信。在安全关键的医疗应用中,这一局限带来了显著风险。我们提出概率化特征补全网络(P-FIN),该网络能够在输出补全特征的同时提供校准的不确定性估计。这种不确定性在两个层面被利用:(1)局部层面,通过sigmoid门控机制在分类前抑制不可靠的特征维度;(2)全局层面,通过Fed-UQ-Avg聚合策略,优先采用来自可靠补全客户端的更新。在基于CheXpert、NIH Open-I和PadChest数据集的联邦胸部X光分类实验中,相较于确定性基线方法,本方法在最具挑战性的配置下取得了+5.36% AUC的提升,展现出持续的性能改进。

0
下载
关闭预览

相关内容

联邦长尾学习研究综述
专知会员服务
15+阅读 · 2025年5月1日
联邦学习中的成员推断攻击与防御:综述
专知会员服务
17+阅读 · 2024年12月15日
低质量数据的多模态融合综述
专知会员服务
59+阅读 · 2024年5月4日
联邦学习攻防研究综述
专知会员服务
58+阅读 · 2022年7月15日
视觉语言多模态预训练综述
专知会员服务
122+阅读 · 2022年7月11日
专知会员服务
27+阅读 · 2021年2月2日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员