Urban sidewalk navigation presents significant challenges due to complex structural layouts, dynamic pedestrian behaviors, and long distances. While recent visual navigation models offer a promising solution, the lack of a unified benchmark hinders quantitative and reproducible evaluation. To bridge this gap, we propose SidewalkBench, a comprehensive benchmark designed for visual navigation on urban sidewalks. Built upon NVIDIA Isaac Sim, SidewalkBench brings GPU-accelerated simulation of diverse, high-fidelity sidewalk environments, including both procedurally generated and real-world scanned scenes. We further populate the scenes with rich, reactive event-based pedestrian behaviors and flexible, efficient animation, enabling standardized model evaluation under realistic real-world settings. We conduct a comprehensive evaluation of 9 visual navigation models on 330 unit-test scenarios, 800 pedestrian-reactive scenarios, and 105 long-horizon scenarios. Our findings highlight that pedestrian interaction and long-horizon robustness remain critical bottlenecks for existing models, and scaling up sidewalk training with synthetic data emerges as a promising solution.


翻译:城市人行道导航面临显著挑战,包括复杂的结构布局、动态的行人行为以及远距离导航需求。尽管近期视觉导航模型提供了有前景的解决方案,但缺乏统一基准阻碍了量化评估与可重复性研究。为填补这一空白,我们提出SidewalkBench——一个专为城市人行道视觉导航设计的综合基准框架。该基准基于NVIDIA Isaac Sim构建,支持GPU加速的高保真度多样化人行道环境模拟,涵盖程序化生成场景与真实世界扫描场景。我们进一步为场景注入基于事件的丰富响应式行人行为模型与灵活高效的动画系统,使模型能在逼真的现实场景下进行标准化评估。我们在330个单元测试场景、800个人行响应测试场景及105个长时域测试场景上系统评估了9种视觉导航模型。实验结果表明,行人交互处理与长时域鲁棒性仍是现有模型的关键瓶颈,而利用合成数据扩展人行道训练数据成为有前景的解决方案。

0
下载
关闭预览

相关内容

自动驾驶中的轨迹预测大型基础模型:全面综述
专知会员服务
16+阅读 · 2025年9月18日
《城市三维环境下无人机路径规划算法效能比较分析》
专知会员服务
32+阅读 · 2025年3月25日
基于深度学习的行人检测方法综述
专知会员服务
71+阅读 · 2021年4月14日
【AAAI2021】Graph Diffusion Network提升交通流量预测精度
专知会员服务
54+阅读 · 2021年1月21日
【ECCV2020-华为】车道线架构搜索框架
专知会员服务
23+阅读 · 2020年9月23日
专知会员服务
22+阅读 · 2020年9月8日
【紫冬声音】基于人体骨架的行为识别
中国自动化学会
17+阅读 · 2019年1月30日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
干货!一文读懂行人检测算法
全球人工智能
11+阅读 · 2018年5月31日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关资讯
【紫冬声音】基于人体骨架的行为识别
中国自动化学会
17+阅读 · 2019年1月30日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
干货!一文读懂行人检测算法
全球人工智能
11+阅读 · 2018年5月31日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员