High-resolution (HR) medical videos are vital for accurate diagnosis, yet are hard to acquire due to hardware limitations and physiological constraints. Clinically, the collected low-resolution (LR) medical videos present unique challenges for video super-resolution (VSR) models, including camera shake, noise, and abrupt frame transitions, which result in significant optical flow errors and alignment difficulties. Additionally, tissues and organs exhibit continuous and nuanced structures, but current VSR models are prone to introducing artifacts and distorted features that can mislead doctors. To this end, we propose MedVSR, a tailored framework for medical VSR. It first employs Cross State-Space Propagation (CSSP) to address the imprecise alignment by projecting distant frames as control matrices within state-space models, enabling the selective propagation of consistent and informative features to neighboring frames for effective alignment. Moreover, we design an Inner State-Space Reconstruction (ISSR) module that enhances tissue structures and reduces artifacts with joint long-range spatial feature learning and large-kernel short-range information aggregation. Experiments across four datasets in diverse medical scenarios, including endoscopy and cataract surgeries, show that MedVSR significantly outperforms existing VSR models in reconstruction performance and efficiency. Code released at https://github.com/CUHK-AIM-Group/MedVSR.


翻译:高分辨率医学视频对于精确诊断至关重要,但由于硬件限制和生理约束难以获取。临床上,采集的低分辨率医学视频给视频超分辨率模型带来了独特挑战,包括相机抖动、噪声和帧间突变,这些因素导致显著的光流误差和对齐困难。此外,组织和器官呈现连续且细微的结构,但现有VSR模型容易引入伪影和失真特征,可能误导医生诊断。为此,我们提出MedVSR——一个专为医学视频超分辨率设计的框架。该方法首先采用跨状态空间传播技术,通过将远距离帧投影为状态空间模型中的控制矩阵来解决对齐不精确问题,从而选择性地将一致且信息丰富的特征传播至相邻帧以实现有效对齐。此外,我们设计了内部状态空间重建模块,通过联合远程空间特征学习与大核短程信息聚合,增强组织结构并减少伪影。在涵盖内窥镜和白内障手术等多种医学场景的四个数据集上的实验表明,MedVSR在重建性能与效率方面显著优于现有VSR模型。代码发布于https://github.com/CUHK-AIM-Group/MedVSR。

0
下载
关闭预览

相关内容

深度学习视频超分辨率综述
专知会员服务
14+阅读 · 2025年6月5日
【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
深度学习视频超分辨率技术概述
专知会员服务
38+阅读 · 2022年7月18日
基于深度学习的视频超分辨率重构进展综述
专知会员服务
19+阅读 · 2022年3月7日
专知会员服务
29+阅读 · 2021年9月6日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员