Panoramic depth estimation provides a comprehensive solution for capturing complete $360^\circ$ environmental structural information, offering significant benefits for robotics and AR/VR applications. However, while extensively studied in indoor settings, its zero-shot generalization to open-world domains lags far behind perspective images, which benefit from abundant training data. This disparity makes transferring capabilities from the perspective domain an attractive solution. To bridge this gap, we present Depth Anything in $360^\circ$ (DA360), a panoramic-adapted version of Depth Anything V2. Our key innovation involves learning a shift parameter from the ViT backbone, transforming the model's scale- and shift-invariant output into a scale-invariant estimate that directly yields well-formed 3D point clouds. This is complemented by integrating circular padding into the DPT decoder to eliminate seam artifacts, ensuring spatially coherent depth maps that respect spherical continuity. Evaluated on standard indoor benchmarks and our newly curated outdoor dataset, Metropolis, DA360 shows substantial gains over its base model, achieving over 50\% and 10\% relative depth error reduction on indoor and outdoor benchmarks, respectively. Furthermore, DA360 significantly outperforms robust panoramic depth estimation methods, achieving about 30\% relative error improvement compared to PanDA across all three test datasets and establishing new state-of-the-art performance for zero-shot panoramic depth estimation.


翻译:全景深度估计为捕获完整的$360^\circ$环境结构信息提供了全面的解决方案,对机器人技术和AR/VR应用具有显著优势。然而,尽管在室内场景中已得到广泛研究,其在开放世界领域的零样本泛化能力远落后于受益于丰富训练数据的透视图像。这种差距使得从透视领域迁移能力成为一个有吸引力的解决方案。为弥合这一鸿沟,我们提出了全景版Depth Anything(DA360),即Depth Anything V2的全景适配版本。我们的核心创新在于从ViT骨干网络学习一个平移参数,将模型的尺度与平移不变性输出转换为尺度不变性估计,从而直接生成结构良好的3D点云。该方法还通过将循环填充集成到DPT解码器中以消除接缝伪影,确保生成尊重球面连续性的空间连贯深度图。在标准室内基准和我们新构建的室外数据集Metropolis上的评估表明,DA360相较于其基础模型取得了显著提升,在室内和室外基准上分别实现了超过50%和10%的相对深度误差降低。此外,DA360显著优于现有的鲁棒全景深度估计方法,在全部三个测试数据集上相比PanDA实现了约30%的相对误差改进,为零样本全景深度估计确立了新的最先进性能。

0
下载
关闭预览

相关内容

[NeurIPS 2020] 球形嵌入的深度度量学习
专知会员服务
17+阅读 · 2020年11月8日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员