We propose VL-DUN, a principled framework for joint All-in-One Medical Image Restoration and Segmentation (AiOMIRS) that bridges the gap between low-level signal recovery and high-level semantic understanding. While standard pipelines treat these tasks in isolation, our core insight is that they are fundamentally synergistic: restoration provides clean anatomical structures to improve segmentation, while semantic priors regularize the restoration process. VL-DUN resolves the sub-optimality of sequential processing through two primary innovations. (1) We formulate AiOMIRS as a unified optimization problem, deriving an interpretable joint unfolding mechanism where restoration and segmentation are mathematically coupled for mutual refinement. (2) We introduce a frequency-aware Mamba mechanism to capture long-range dependencies for global segmentation while preserving the high-frequency textures necessary for restoration. This allows for efficient global context modeling with linear complexity, effectively mitigating the spectral bias of standard architectures. As a pioneering work in the AiOMIRS task, VL-DUN establishes a new state-of-the-art across multi-modal benchmarks, improving PSNR by 0.92 dB and the Dice coefficient by 9.76\%. Our results demonstrate that joint collaborative learning offers a superior, more robust solution for complex clinical workflows compared to isolated task processing. The codes are provided in https://github.com/cipi666/VLDUN.


翻译:我们提出VL-DUN,一个用于联合"一体化医学图像恢复与分割"(AiOMIRS)的原则性框架,旨在弥合低层信号恢复与高层语义理解之间的鸿沟。传统流程通常孤立处理这些任务,而我们的核心见解在于它们本质上是协同的:恢复提供清晰的解剖结构以改进分割,而语义先验则对恢复过程进行正则化。VL-DUN通过两项主要创新解决了顺序处理的次优性问题。(1) 我们将AiOMIRS表述为统一的优化问题,推导出一个可解释的联合展开机制,其中恢复与分割在数学上相互耦合以实现迭代优化。(2) 我们引入频率感知Mamba机制,在捕获用于全局分割的长程依赖关系的同时,保留恢复所需的高频纹理特征。该机制能以线性复杂度实现高效的全局上下文建模,有效缓解了标准架构的频谱偏差。作为AiOMIRS任务的开创性工作,VL-DUN在多模态基准测试中确立了新的性能标杆,将PSNR提升0.92 dB,Dice系数提高9.76%。我们的结果表明,与孤立任务处理相比,联合协同学习为复杂临床工作流程提供了更优越、更鲁棒的解决方案。代码已发布于https://github.com/cipi666/VLDUN。

0
下载
关闭预览

相关内容

用于三维医学影像理解的综合语言–图像预训练
专知会员服务
7+阅读 · 2025年11月5日
【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
基于UNet的医学图像分割综述
专知会员服务
38+阅读 · 2023年8月8日
专知会员服务
50+阅读 · 2021年8月28日
最新《医学图像深度语义分割》综述论文
专知会员服务
97+阅读 · 2020年6月7日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
用Attention玩转CV,一文总览自注意力语义分割进展
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
本周精选共读论文《计算机视觉图像分割》六篇
人工智能前沿讲习班
10+阅读 · 2019年4月1日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员