Multi-contrast magnetic resonance imaging (MRI) provides complementary information for clinical diagnosis. However, acquiring all MRI sequences is often time-consuming and costly. Recent generative models perform cross-contrast synthesis to address this issue by inferring absent contrasts from the available ones. Nevertheless, synthesizing 3D MRI presents significant challenges. Due to the massive volume sizes, operating directly in the pixel space is computationally prohibitive; therefore, a common approach is to first compress the 3D volumes into a latent space and subsequently train generative models in that space. We observe that existing compression architectures face several critical issues: they under-preserve long-range anatomical coherence, discard clinically meaningful semantics, and rely on optimization objectives that lead to over-smoothed reconstructions. Ultimately, these shortcomings compromise the performance of subsequent generative models. In this work, we propose a semantics-first latent modeling framework for 3D MRI reconstruction and cross-contrast synthesis. Specifically, we introduce a Latent Harmonization Encoder (LHE) to capture global anatomical dependencies, ensuring coherent volumetric representations. To mitigate semantic degradation during latent compression, we further design a Semantic Recovery Block (SRB) that injects high-level priors from a self-supervised semantic teacher, enhancing contrast-aware separability in the latent space. Additionally, we propose an Anatomy-aware Frequency Loss (AFL) to adaptively preserve diagnostically relevant high-frequency structures. Extensive experiments on two public multi-contrast MRI datasets demonstrate consistent improvements in reconstruction fidelity and cross-contrast synthesis quality. Our code is available at https://github.com/script-Yang/RSF.


翻译:多对比度磁共振成像(MRI)为临床诊断提供互补信息。然而,获取全部MRI序列通常耗时且昂贵。现有生成模型通过从可用对比度推断缺失对比度来应对这一问题,从而实现跨对比度合成。尽管如此,合成3D MRI仍面临重大挑战。由于数据量巨大,直接在像素空间操作在计算上难以实现;因此,常见的方法是首先将3D体数据压缩到潜在空间,随后在该空间中训练生成模型。我们发现现有压缩架构存在若干关键问题:它们未能充分保持长程解剖一致性、丢弃了具有临床意义的语义信息,并依赖导致重建结果过度平滑的优化目标。这些问题最终损害了后续生成模型的性能。在本工作中,我们提出了一种语义优先的潜在建模框架,用于3D MRI重建与跨对比度合成。具体而言,我们引入潜在协调编码器(LHE)以捕获全局解剖依赖关系,确保体数据表征的一致性。为缓解潜在压缩过程中的语义退化,我们进一步设计了语义恢复模块(SRB),该模块从自监督语义教师模型中注入高层先验知识,增强潜在空间中对比度感知的可分离性。此外,我们提出解剖感知频率损失(AFL)以自适应保留具有诊断相关性的高频结构。在两个公开多对比度MRI数据集上的大量实验表明,该方法在重建保真度和跨对比度合成质量上均实现了一致性提升。我们的代码已开源至https://github.com/script-Yang/RSF。

0
下载
关闭预览

相关内容

【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
目前最好的开源人脸3D重建与密集对齐算法
计算机视觉life
17+阅读 · 2019年4月24日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
面向2027年及未来的海军情报改革
专知会员服务
3+阅读 · 8月5日
相关VIP内容
【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员