Multimodal neuroimaging provides complementary insights for Alzheimer's disease diagnosis, yet clinical datasets frequently suffer from missing modalities. We propose ACADiff, a framework that synthesizes missing brain imaging modalities through adaptive clinical-aware diffusion. ACADiff learns mappings between incomplete multimodal observations and target modalities by progressively denoising latent representations while attending to available imaging data and clinical metadata. The framework employs adaptive fusion that dynamically reconfigures based on input availability, coupled with semantic clinical guidance via GPT-4o-encoded prompts. Three specialized generators enable bidirectional synthesis among sMRI, FDG-PET, and AV45-PET. Evaluated on ADNI subjects, ACADiff achieves superior generation quality and maintains robust diagnostic performance even under extreme 80\% missing scenarios, outperforming all existing baselines. To promote reproducibility, code is available at https://github.com/rongzhou7/ACADiff


翻译:多模态神经影像为阿尔茨海默病诊断提供了互补性见解,然而临床数据集常存在模态缺失问题。本文提出ACADiff框架,通过自适应临床感知扩散合成缺失的脑成像模态。ACADiff通过渐进去噪潜在表征,同时关注可用的影像数据和临床元数据,学习不完整多模态观测与目标模态间的映射关系。该框架采用基于输入可用性动态重构的自适应融合机制,并结合通过GPT-4o编码提示实现的语义临床引导。三个专用生成器实现了sMRI、FDG-PET与AV45-PET之间的双向合成。在ADNI受试者上的评估表明,ACADiff在生成质量上表现优异,即使在极端80%缺失场景下仍保持稳健的诊断性能,超越所有现有基线方法。为促进可复现性,代码已发布于https://github.com/rongzhou7/ACADiff

0
下载
关闭预览

相关内容

Nature Medicine | 多模态的生物医学AI
专知会员服务
31+阅读 · 2022年9月25日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
8+阅读 · 9月3日
何为协作武器?
专知会员服务
10+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
14+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
10+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
《美陆军野战手册(2026年):特种部队》
专知会员服务
10+阅读 · 8月31日
相关VIP内容
Nature Medicine | 多模态的生物医学AI
专知会员服务
31+阅读 · 2022年9月25日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员