Obstructions such as raindrops, fences, or dust degrade captured images, especially when mechanical cleaning is infeasible. Conventional solutions to obstructions rely on a bulky compound optics array or computational inpainting, which compromise compactness or fidelity. Metalenses composed of subwavelength meta-atoms promise compact imaging, but simultaneous achievement of broadband and obstruction-free imaging remains a challenge, since a metalens that images distant scenes across a broadband spectrum cannot properly defocus near-depth occlusions. Here, we introduce a learned split-spectrum metalens that enables broadband obstruction-free imaging. Our approach divides the spectrum of each RGB channel into pass and stop bands with multi-band spectral filtering and learns the metalens to focus light from far objects through pass bands, while filtering focused near-depth light through stop bands. This optical signal is further enhanced using a neural network. Our learned split-spectrum metalens achieves broadband and obstruction-free imaging with relative PSNR gains of 32.29% and improves object detection and semantic segmentation accuracies with absolute gains of +13.54% mAP, +48.45% IoU, and +20.35% mIoU over a conventional hyperbolic design. This promises robust obstruction-free sensing and vision for space-constrained systems, such as mobile robots, drones, and endoscopes.


翻译:雨滴、栅栏或灰尘等遮挡物会降低捕获图像的质量,尤其在机械清洁不可行的情况下更为明显。传统的遮挡处理方案依赖于笨重的复合光学阵列或计算修复技术,这些方法往往在紧凑性或保真度上有所妥协。由亚波长超原子构成的超透镜为实现紧凑成像提供了可能,但同时实现宽带和无遮挡成像仍面临挑战,因为能够在宽带光谱范围内对远距离场景成像的超透镜无法正确地对近深度遮挡物进行散焦处理。本文提出一种学习型分光谱超透镜,实现了宽带无遮挡成像。该方法通过多波段光谱滤波将每个RGB通道的光谱划分为通带和阻带,并训练超透镜使远距离物体光线通过通带聚焦,同时通过阻带滤除近深度聚焦光线。该光学信号进一步通过神经网络进行增强。我们的学习型分光谱超透镜实现了宽带无遮挡成像,相对峰值信噪比提升32.29%,并在目标检测和语义分割精度上相比传统双曲线设计获得绝对提升:平均精度均值提升+13.54%,交并比提升+48.45%,平均交并比提升+20.35%。这项技术为空间受限系统(如移动机器人、无人机和内窥镜)提供了鲁棒的无遮挡感知与视觉能力。

0
下载
关闭预览

相关内容

扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
深度学习视频超分辨率技术概述
专知会员服务
38+阅读 · 2022年7月18日
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员