Recently, Multi-Contrast MR Reconstruction (MCMR) has emerged as a hot research topic that leverages high-quality auxiliary modalities to reconstruct undersampled target modalities of interest. However, existing methods often struggle to generalize across different k-space undersampling patterns, requiring the training of a separate model for each specific pattern, which limits their practical applicability. To address this challenge, we propose UniFS, a Unified Frequency-Spatial Fusion model designed to handle multiple k-space undersampling patterns for MCMR tasks without any need for retraining. UniFS integrates three key modules: a Cross-Modal Frequency Fusion module, an Adaptive Mask-Based Prompt Learning module, and a Dual-Branch Complementary Refinement module. These modules work together to extract domain-invariant features from diverse k-space undersampling patterns while dynamically adapt to their own variations. Another limitation of existing MCMR methods is their tendency to focus solely on spatial information while neglect frequency characteristics, or extract only shallow frequency features, thus failing to fully leverage complementary cross-modal frequency information. To relieve this issue, UniFS introduces an adaptive prompt-guided frequency fusion module for k-space learning, significantly enhancing the model's generalization performance. We evaluate our model on the BraTS and HCP datasets with various k-space undersampling patterns and acceleration factors, including previously unseen patterns, to comprehensively assess UniFS's generalizability. Experimental results across multiple scenarios demonstrate that UniFS achieves state-of-the-art performance. Our code is available at https://github.com/LIKP0/UniFS.


翻译:近年来,多对比度磁共振重建(MCMR)已成为研究热点,其利用高质量的辅助模态来重建欠采样的目标模态。然而,现有方法通常难以泛化至不同的k空间欠采样模式,需要为每种特定模式单独训练模型,这限制了其实际应用。为解决这一挑战,我们提出了UniFS,一种统一的频域-空间融合模型,旨在无需重新训练即可处理MCMR任务中的多种k空间欠采样模式。UniFS整合了三个关键模块:跨模态频域融合模块、基于自适应掩码的提示学习模块和双分支互补优化模块。这些模块协同工作,从多样化的k空间欠采样模式中提取领域不变特征,同时动态适应其自身变化。现有MCMR方法的另一个局限是倾向于仅关注空间信息而忽略频率特性,或仅提取浅层频率特征,从而未能充分利用互补的跨模态频率信息。为缓解此问题,UniFS引入了自适应提示引导的频域融合模块用于k空间学习,显著提升了模型的泛化性能。我们在BraTS和HCP数据集上评估了模型,涵盖了多种k空间欠采样模式和加速因子(包括先前未见过的模式),以全面评估UniFS的泛化能力。多场景实验结果表明,UniFS实现了最先进的性能。我们的代码发布于https://github.com/LIKP0/UniFS。

0
下载
关闭预览

相关内容

专知会员服务
23+阅读 · 2021年6月22日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员