Multimodal clinical data are characterized by high dimensionality, heterogeneous representations, and structured missingness, posing significant challenges for predictive modeling, data integration, and interpretability. We propose BIONIC (Bayesian Integration of Nonlinear Incomplete Clinical data), a unified probabilistic framework that integrates heterogeneous multimodal data under missingness through a joint generative-discriminative latent architecture. BIONIC uses pretrained embeddings for complex modalities such as medical images and clinical text, while incorporating structured clinical variables directly within a Bayesian multimodal formulation. The proposed framework enables robust learning in partially observed and semi-supervised settings by explicitly modeling modality-level and variable-level missingness, as well as missing labels. We evaluate BIONIC on three multimodal clinical and biomedical datasets, demonstrating strong and consistent discriminative performance compared to representative multimodal baselines, particularly under incomplete data scenarios. Beyond predictive accuracy, BIONIC provides intrinsic interpretability through its latent structure, enabling population-level analysis of modality relevance and supporting clinically meaningful insight.


翻译:多模态临床数据具有高维性、异质性表征和结构化缺失的特点,这对预测建模、数据集成和可解释性提出了重大挑战。我们提出了BIONIC(非线性不完整临床数据的贝叶斯集成),这是一个统一的概率框架,通过联合生成-判别式潜在架构,在数据缺失条件下集成异质多模态数据。BIONIC对医学影像和临床文本等复杂模态使用预训练嵌入,同时将结构化临床变量直接纳入贝叶斯多模态公式中。该框架通过对模态级和变量级缺失以及标签缺失进行显式建模,能够在部分观测和半监督设置下实现稳健学习。我们在三个多模态临床和生物医学数据集上评估了BIONIC,与代表性多模态基线方法相比,特别是在不完整数据场景下,BIONIC展现出强大且一致的判别性能。除了预测准确性,BIONIC还通过其潜在结构提供内在可解释性,支持模态相关性的群体水平分析,并有助于获得具有临床意义的洞见。

0
下载
关闭预览

相关内容

【MIT博士论文】异构医疗数据表示学习,193页pdf
专知会员服务
60+阅读 · 2022年9月3日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月5日
Arxiv
0+阅读 · 2月3日
VIP会员
相关VIP内容
相关资讯
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员