Monocular depth estimation aims to recover the depth information of 3D scenes from 2D images. Recent work has made significant progress, but its reliance on large-scale datasets and complex decoders has limited its efficiency and generalization ability. In this paper, we propose a lightweight and data-centric framework for zero-shot monocular depth estimation. We first adopt DINOv3 as the visual encoder to obtain high-quality dense features. Secondly, to address the inherent drawbacks of the complex structure of the DPT, we design the Simple Depth Transformer (SDT), a compact transformer-based decoder. Compared to the DPT, it uses a single-path feature fusion and upsampling process to reduce the computational overhead of cross-scale feature fusion, achieving higher accuracy while reducing the number of parameters by approximately 85%-89%. Furthermore, we propose a quality-based filtering strategy to filter out harmful samples, thereby reducing dataset size while improving overall training quality. Extensive experiments on five benchmarks demonstrate that our framework surpasses the DPT in accuracy. This work highlights the importance of balancing model design and data quality for achieving efficient and generalizable zero-shot depth estimation. Code: https://github.com/AIGeeksGroup/AnyDepth. Website: https://aigeeksgroup.github.io/AnyDepth.


翻译:单目深度估计旨在从二维图像中恢复三维场景的深度信息。近期研究已取得显著进展,但其对大规模数据集和复杂解码器的依赖限制了效率与泛化能力。本文提出一种轻量级且以数据为中心的零样本单目深度估计框架。我们首先采用DINOv3作为视觉编码器以获取高质量稠密特征;其次,针对DPT复杂结构的固有缺陷,设计了基于Transformer的紧凑型解码器——Simple Depth Transformer(SDT)。相较于DPT,该解码器采用单路径特征融合与上采样流程,降低了跨尺度特征融合的计算开销,在减少约85%-89%参数量的同时实现了更高精度。此外,我们提出基于质量的过滤策略以筛除有害样本,从而在缩减数据集规模的同时提升整体训练质量。在五个基准数据集上的大量实验表明,本框架在精度上超越DPT。本研究揭示了平衡模型设计与数据质量对于实现高效且可泛化的零样本深度估计的重要性。代码:https://github.com/AIGeeksGroup/AnyDepth。项目网站:https://aigeeksgroup.github.io/AnyDepth。

0
下载
关闭预览

相关内容

专知会员服务
63+阅读 · 2020年3月4日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【NeurIPS2019】图变换网络:Graph Transformer Network
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月5日
Arxiv
0+阅读 · 2025年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员