Bokeh and monocular depth estimation are tightly coupled through the same lens imaging geometry, yet current methods exploit this connection in incomplete ways. High-quality bokeh rendering pipelines typically depend on noisy depth maps, which amplify estimation errors into visible artifacts, while modern monocular metric depth models still struggle on weakly textured, distant and geometrically ambiguous regions where defocus cues are most informative. We introduce BokehDepth, a two-stage framework that decouples bokeh synthesis from depth prediction and treats defocus as an auxiliary supervision-free geometric cue. In Stage-1, a physically guided controllable bokeh generator, built on a powerful pretrained image editing backbone, produces depth-free bokeh stacks with calibrated bokeh strength from a single sharp input. In Stage-2, a lightweight defocus-aware aggregation module plugs into existing monocular depth encoders, fuses features along the defocus dimension, and exposes stable depth-sensitive variations while leaving downstream decoder unchanged. Across challenging benchmarks, BokehDepth improves visual fidelity over depth-map-based bokeh baselines and consistently boosts the metric accuracy and robustness of strong monocular depth foundation models.


翻译:散景与单目深度估计通过相同的镜头成像几何紧密耦合,但现有方法对此关联的利用尚不充分。高质量的散景渲染流程通常依赖于含噪声的深度图,这会将估计误差放大为可见伪影;而现代单目度量深度模型在纹理稀疏、距离遥远及几何模糊的区域仍表现不佳,而这些区域正是离焦线索最具信息量的场景。本文提出BokehDepth,一种两阶段框架,将散景合成与深度预测解耦,并将离焦视为无需辅助监督的几何线索。在第一阶段,基于强大预训练图像编辑主干构建的物理引导可控散景生成器,从单张清晰输入中生成具有标定散景强度的无深度散景堆栈。在第二阶段,轻量级的离焦感知聚合模块嵌入现有单目深度编码器,沿离焦维度融合特征,在保持下游解码器不变的同时提取稳定的深度敏感变化。在多个挑战性基准测试中,BokehDepth在视觉保真度上优于基于深度图的散景基线方法,并持续提升了强单目深度基础模型的度量精度与鲁棒性。

0
下载
关闭预览

相关内容

[CVPR 2020]BEDSR-Net:单张文档图像的阴影去除深度网络
专知会员服务
26+阅读 · 2020年9月29日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员