Accurate and early diagnosis of Alzheimer's disease (AD) is critical for effective intervention and requires integrating complementary information from multimodal neuroimaging data. However, conventional fusion approaches often rely on simple concatenation of features, which cannot adaptively balance the contributions of biomarkers such as amyloid PET and MRI across brain regions. In this work, we propose MREF-AD, a Multimodal Regional Expert Fusion model for AD diagnosis. It is a Mixture-of-Experts (MoE) framework that models mesoscopic brain regions within each modality as independent experts and employs a gating network to learn subject-specific fusion weights. Utilizing tabular neuroimaging and demographic information from the Alzheimer's Disease Neuroimaging Initiative (ADNI), MREF-AD achieves competitive performance over strong classic and deep baselines while providing interpretable, modality- and region-level insight into how structural and molecular imaging jointly contribute to AD diagnosis. The source code is available at https://github.com/PennShenLab/mref-ad.


翻译:阿尔茨海默病(AD)的准确早期诊断对有效干预至关重要,需要整合多模态神经影像数据中的互补信息。然而,传统融合方法往往依赖特征简单拼接,无法自适应平衡不同脑区中淀粉样蛋白PET和MRI等生物标志物的贡献。本文提出MREF-AD——多模态区域专家融合AD诊断模型。该模型基于混合专家(MoE)框架,将各模态中的中观脑区建模为独立专家,并通过门控网络学习个体化融合权重。利用阿尔茨海默病神经影像学倡议(ADNI)的表格化神经影像和人口统计学信息,MREF-AD在强经典与深度基线方法中展现出竞争性能,同时能从模态和区域层面提供可解释性洞见,揭示结构影像与分子影像如何共同影响AD诊断。源代码已开源:https://github.com/PennShenLab/mref-ad。

0
下载
关闭预览

相关内容

Nature Medicine | 多模态的生物医学AI
专知会员服务
31+阅读 · 2022年9月25日
多模态情绪识别研究综述
专知会员服务
170+阅读 · 2020年12月21日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
AI综述专栏|多模态学习研究进展综述
人工智能前沿讲习班
64+阅读 · 2018年7月13日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
4+阅读 · 今天7:07
《无人机空中监控:通信实验洞察》
专知会员服务
3+阅读 · 今天7:05
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
6+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
13+阅读 · 7月31日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员