Magnetic resonance imaging (MRI) is a powerful and versatile imaging technique, offering a wide spectrum of information about the anatomy by employing different acquisition modalities. However, in the clinical workflow, it is impractical to collect all relevant modalities due to the scan time and cost constraints. Virtual full-stack scanning aims to impute missing MRI modalities from available but incomplete acquisitions, offering a cost-efficient solution to enhance data completeness and clinical usability. Existing imputation methods often depend on global conditioning or modality-specific designs, which limit their generalisability across patient cohorts and imaging protocols. To address these limitations, we propose CodeBrain, a unified framework that reformulates various ``any-to-any'' imputation tasks as a region-level full-stack code prediction problem. CodeBrain adopts a two-stage pipeline: (1) it learns the compact representation of a complete MRI modality set by encoding it into scalar-quantised codes at the region level, enabling high-fidelity image reconstruction after decoding these codes along with modality-agnostic common features; (2) it trains a projection encoder to predict the full-stack code map from incomplete modalities via a grading-based design for diverse imputation scenarios. Extensive experiments on two public brain MRI datasets, i.e., IXI and BraTS 2023, demonstrate that CodeBrain consistently outperforms state-of-the-art methods, establishing a new benchmark for unified brain MRI imputation and enabling virtual full-stack scanning. Our code will be released at https://github.com/ycwu1997/CodeBrain.


翻译:磁共振成像(MRI)是一种强大且多功能的成像技术,通过采用不同的采集模态提供广泛的解剖学信息。然而,在临床工作流程中,由于扫描时间和成本的限制,收集所有相关模态是不切实际的。虚拟全序列扫描旨在从可用但不完整的采集数据中补全缺失的MRI模态,为提高数据完整性和临床可用性提供了一种经济高效的解决方案。现有的补全方法通常依赖于全局条件约束或模态特定设计,这限制了它们在患者群体和成像协议间的泛化能力。为解决这些局限性,我们提出了CodeBrain,一个统一的框架,将各种“任意到任意”补全任务重新定义为区域级全序列码预测问题。CodeBrain采用两阶段流程:(1)通过将完整的MRI模态集编码为区域级的标量量化码来学习其紧凑表示,使得在解码这些码与模态无关的共有特征后能够实现高保真图像重建;(2)训练一个投影编码器,通过针对不同补全场景的分级设计,从不完整模态预测全序列码图。在两个公开脑部MRI数据集(即IXI和BraTS 2023)上的大量实验表明,CodeBrain始终优于现有最先进方法,为统一的脑部MRI补全建立了新基准,并实现了虚拟全序列扫描。我们的代码将在https://github.com/ycwu1997/CodeBrain发布。

0
下载
关闭预览

相关内容

可解释的人工智能在生物医学图像分析中的应用综述
专知会员服务
14+阅读 · 2025年7月11日
【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
专知会员服务
46+阅读 · 2020年12月4日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
超全总结:神经网络加速之量化模型 | 附带代码
MATLAB计算机视觉与深度学习实战
炼数成金订阅号
21+阅读 · 2017年8月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 4月12日
相关VIP内容
可解释的人工智能在生物医学图像分析中的应用综述
专知会员服务
14+阅读 · 2025年7月11日
【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
专知会员服务
46+阅读 · 2020年12月4日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员