Relying on in-domain annotations and precise sensor-rig priors, existing 3D occupancy prediction methods are limited in both scalability and out-of-domain generalization. While recent visual geometry foundation models exhibit strong generalization capabilities, they were mainly designed for general purposes and lack one or more key ingredients required for urban occupancy prediction, namely metric prediction, geometry completion in cluttered scenes and adaptation to urban scenarios. We address this gap and present OccAny, the first unconstrained urban 3D occupancy model capable of operating on out-of-domain uncalibrated scenes to predict and complete metric occupancy coupled with segmentation features. OccAny is versatile and can predict occupancy from sequential, monocular, or surround-view images. Our contributions are three-fold: (i) we propose the first generalized 3D occupancy framework with (ii) Segmentation Forcing that improves occupancy quality while enabling mask-level prediction, and (iii) a Novel View Rendering pipeline that infers novel-view geometry to enable test-time view augmentation for geometry completion. Extensive experiments demonstrate that OccAny outperforms all visual geometry baselines on 3D occupancy prediction task, while remaining competitive with in-domain self-supervised methods across three input settings on two established urban occupancy prediction datasets. Our code is available at https://github.com/valeoai/OccAny .


翻译:依赖领域内标定数据和精确的传感器参数先验,现有三维占用量测预测方法在可扩展性和跨域泛化方面均存在局限。尽管近期视觉几何基础模型展现出强泛化能力,但这类模型主要面向通用场景设计,缺乏城市占用量测预测所需的关键要素:度量预测、杂波场景几何补全及城市场景适应能力。为此,我们提出OccAny——首个能处理域外无标定场景的无约束城市三维占用量测模型,可对度量占用量测进行预测和补全,并联合输出分割特征。OccAny具有高度通用性,支持从序列图像、单目图像或环视图像中预测占用量测。本文贡献包含三方面:(i)首次提出通用三维占用量测框架;(ii)提出分割强制策略(Segmentation Forcing),在提升占用量测质量的同时实现掩码级预测;(iii)构建新视角渲染管线,通过推断新视角几何实现测试阶段视角增强以完成几何补全。大量实验表明,OccAny在三维占用量测预测任务上超越所有视觉几何基线方法,同时在两个主流城市占用量测预测数据集上的三种输入配置下,与领域内自监督方法保持竞争力。代码已开源:https://github.com/valeoai/OccAny

0
下载
关闭预览

相关内容

城市大数据认知计算研究与应用进展
专知会员服务
29+阅读 · 2024年7月18日
百度《城市数字化转型》白皮书,78页pdf
专知会员服务
52+阅读 · 2022年8月19日
什么是泛在计算?「泛在计算安全」最新2022研究综述
专知会员服务
40+阅读 · 2022年5月13日
艾瑞咨询2019中国智慧城市发展报告,附PPT下载
智能交通技术
25+阅读 · 2019年4月18日
【学科发展报告】智慧城市
中国自动化学会
10+阅读 · 2019年1月14日
GIS最新热点以及未来发展热门
人工智能学家
10+阅读 · 2018年3月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员