Understanding dynamic 3D environments in a spatially continuous and temporally consistent manner is fundamental for robotics and autonomous driving. While recent advances in occupancy prediction provide a unified representation of scene geometry and semantics, progress in 4D panoptic occupancy tracking remains limited by the lack of benchmarks that support surround-view fisheye sensing, long temporal sequences, and instance-level voxel tracking. To address this gap, we present OccTrack360, a new benchmark for 4D panoptic occupancy tracking from surround-view fisheye cameras. OccTrack360 provides substantially longer and more diverse sequences (174~2234 frames) than prior benchmarks, together with principled voxel visibility annotations, including an all-direction occlusion mask and an MEI-based fisheye field-of-view mask. To establish a strong fisheye-oriented baseline, we further propose Focus on Sphere Occ (FoSOcc), a framework that addresses two core challenges in fisheye occupancy tracking: distorted spherical projection and inaccurate voxel-space localization. FoSOcc includes a Center Focusing Module (CFM) to enhance instance-aware spatial localization through supervised focus guidance, and a Spherical Lift Module (SLM) that extends perspective lifting to fisheye imaging under the Unified Projection Model. Extensive experiments on Occ3D-Waymo and OccTrack360 show that our method improves occupancy tracking quality with notable gains on geometrically regular categories, and establishes a strong baseline for future research on surround-view fisheye 4D occupancy tracking. The benchmark and source code will be made publicly available at https://github.com/YouthZest-Lin/OccTrack360.


翻译:以空间连续且时间一致的方式理解动态三维环境是机器人与自动驾驶领域的基础任务。尽管占据预测的最新进展为场景几何与语义提供了统一表示,但4D全景占据跟踪的发展仍受限于缺乏支持环视鱼眼感知、长时序序列及实例级体素跟踪的基准数据集。为填补这一空白,本文提出OccTrack360——一个基于环视鱼眼相机的4D全景占据跟踪新基准。OccTrack360提供了比现有基准更长且更多样化的序列(174~2234帧),并包含经过理论推导的体素可见性标注,包括全方向遮挡掩码和基于MEI的鱼眼视场掩码。为建立强鲁棒的鱼眼专用基线,我们进一步提出Focus on Sphere Occ(FoSOcc)框架,该框架解决了鱼眼占据跟踪中的两个核心挑战:扭曲的球面投影与不准确的体素空间定位。FoSOcc包含一个中心聚焦模块(CFM),通过监督式聚焦引导增强实例感知的空间定位能力;以及一个球面提升模块(SLM),该模块在统一投影模型下将透视提升扩展至鱼眼成像。在Occ3D-Waymo和OccTrack360上的大量实验表明,我们的方法显著提升了占据跟踪质量,在几何规则类别上取得明显增益,并为未来环视鱼眼4D占据跟踪研究建立了强基线。本基准数据集与源代码将在https://github.com/YouthZest-Lin/OccTrack360 公开。

0
下载
关闭预览

相关内容

飞越鸿沟:从视角到全景视觉的综述
专知会员服务
24+阅读 · 2025年9月5日
27页综述,354篇参考文献!最详尽的视觉定位综述来了
专知会员服务
21+阅读 · 2025年2月20日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
推荐|caffe-orc主流ocr算法:CNN+BLSTM+CTC架构实现!
全球人工智能
19+阅读 · 2017年10月29日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
最新内容
《人工智能赋能电磁战》(报告)
专知会员服务
1+阅读 · 今天14:47
【CMU博士论文】迈向可扩展的开放世界三维感知
专知会员服务
1+阅读 · 今天14:06
前馈式三维场景建模
专知会员服务
1+阅读 · 今天14:03
(译文)认知战:以士兵为目标,塑造战略
专知会员服务
3+阅读 · 今天3:12
相关VIP内容
飞越鸿沟:从视角到全景视觉的综述
专知会员服务
24+阅读 · 2025年9月5日
27页综述,354篇参考文献!最详尽的视觉定位综述来了
专知会员服务
21+阅读 · 2025年2月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员