Endoscopes featuring a miniaturized design have significantly enhanced operational flexibility, portability, and diagnostic capability while substantially reducing the invasiveness of medical procedures. Recently, single-use endoscopes equipped with an ultra-compact analogue image sensor measuring less than 1mm x 1mm bring revolutionary advancements to medical diagnosis. They reduce the structural redundancy and large capital expenditures associated with reusable devices, eliminate the risk of patient infections caused by inadequate disinfection, and alleviate patient suffering. However, the limited photosensitive area results in reduced photon capture per pixel, requiring higher photon sensitivity settings to maintain adequate brightness. In high-contrast medical imaging scenarios, the small-sized sensor exhibits a constrained dynamic range, making it difficult to simultaneously capture details in both highlights and shadows, and additional localized digital gain is required to compensate. Moreover, the simplified circuit design and analog signal transmission introduce additional noise sources. These factors collectively contribute to significant noise issues in processed endoscopic images. In this work, we developed a comprehensive noise model for analog image sensors in medical endoscopes, addressing three primary noise types: fixed-pattern noise, periodic banding noise, and mixed Poisson-Gaussian noise. Building on this analysis, we propose a hybrid denoising system that synergistically combines traditional image processing algorithms with advanced learning-based techniques for captured raw frames from sensors. Experiments demonstrate that our approach effectively reduces image noise without fine detail loss or color distortion, while achieving real-time performance on FPGA platforms and an average PSNR improvement from 21.16 to 33.05 on our test dataset.


翻译:采用微型化设计的内窥镜显著提升了操作灵活性、便携性与诊断能力,同时大幅降低了医疗过程的侵入性。近年来,配备尺寸小于1mm×1mm超紧凑模拟图像传感器的单次使用内窥镜为医学诊断带来了革命性进步。它们减少了可复用设备存在的结构冗余与高昂资本支出,消除了因消毒不彻底导致的患者感染风险,并减轻了患者痛苦。然而,有限的光敏区域导致每个像素捕获的光子数减少,需采用更高的光子灵敏度设置以维持足够亮度。在高对比度的医学成像场景中,小型传感器表现出受限的动态范围,难以同时捕捉高光与阴影区域的细节,需要额外的局部数字增益进行补偿。此外,简化的电路设计与模拟信号传输引入了额外的噪声源。这些因素共同导致处理后的内窥镜图像存在显著噪声问题。本研究针对医用内窥镜中的模拟图像传感器建立了综合噪声模型,涵盖三种主要噪声类型:固定模式噪声、周期性条带噪声以及混合泊松-高斯噪声。基于此分析,我们提出了一种混合去噪系统,将传统图像处理算法与先进的基于学习的技术协同结合,用于处理传感器采集的原始帧数据。实验表明,该方法能有效降低图像噪声,同时避免细节损失与色彩失真,在FPGA平台上实现了实时处理性能,并在测试数据集上使平均PSNR从21.16提升至33.05。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2025年10月20日
Arxiv
0+阅读 · 2025年10月17日
Arxiv
0+阅读 · 2025年10月17日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关论文
Arxiv
0+阅读 · 2025年10月20日
Arxiv
0+阅读 · 2025年10月17日
Arxiv
0+阅读 · 2025年10月17日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员