While current navigation benchmarks prioritize task success in simplified settings, they neglect the multidimensional economic constraints essential for the real-world commercialization of autonomous delivery systems. We introduce CostNav, an Economic Navigation Benchmark that evaluates physical AI agents through comprehensive economic cost-revenue analysis aligned with real-world business operations. By integrating industry-standard data - such as SEC filings and AIS injury reports - with Isaac Sim's detailed collision and cargo dynamics, CostNav transcends simple task completion to accurately evaluate business value in complex, real-world scenarios. To our knowledge, CostNav is the first work to quantitatively expose the gap between navigation research metrics and commercial viability, revealing that optimizing for task success on a simplified task fundamentally differs from optimizing for real-world economic deployment. Our evaluation of rule-based Nav2 navigation shows that current approaches are not economically viable: the contribution margin is -22.81/run (AMCL) and -12.87/run (GPS), resulting in no break-even point. We challenge the community to develop navigation policies that achieve economic viability on CostNav. We remain method-agnostic, evaluating success solely on the metric of cost rather than the underlying architecture. All resources are available at https://github.com/worv-ai/CostNav.


翻译:当前导航基准主要关注简化环境下的任务成功率,却忽视了自主配送系统实现现实世界商业化所必需的多维经济约束。我们提出了CostNav——一个经济导航基准,通过对齐现实商业运营的全面经济成本-收益分析来评估物理AI智能体。通过整合行业标准数据(如SEC财报和AIS工伤报告)与Isaac Sim精细的碰撞及货物动力学模拟,CostNav超越了简单的任务完成度评估,能够精准衡量复杂现实场景中的商业价值。据我们所知,CostNav是首个定量揭示导航研究指标与商业可行性之间差距的工作,研究表明:针对简化任务的任务成功率优化与面向现实世界经济部署的优化存在根本性差异。我们对基于规则的Nav2导航系统的评估表明,当前方法在经济上不可行:边际贡献为-22.81美元/次(AMCL)和-12.87美元/次(GPS),无法达到盈亏平衡点。我们呼吁学界开发能在CostNav上实现经济可行性的导航策略。本基准保持方法无关性,仅依据成本指标而非底层架构评估性能。所有资源已发布于https://github.com/worv-ai/CostNav。

0
下载
关闭预览

相关内容

【NVDIA】Cosmos世界基础模型平台用于物理人工智能
专知会员服务
27+阅读 · 2025年1月13日
《迈向智能世界》计算白皮书,48页pdf,华为发布
专知会员服务
60+阅读 · 2022年12月17日
面向智慧交通的图像处理与边缘计算
专知会员服务
67+阅读 · 2022年6月23日
【图计算】人工智能之图计算
产业智能官
17+阅读 · 2020年4月3日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
计算机视觉方向简介 | 视觉惯性里程计(VIO)
计算机视觉life
64+阅读 · 2019年6月16日
基于深度学习的目标检测算法剖析与实现【附PPT与视频资料】
人工智能前沿讲习班
12+阅读 · 2018年12月25日
视觉里程计:起源、优势、对比、应用
计算机视觉life
18+阅读 · 2017年7月17日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月27日
VIP会员
相关VIP内容
【NVDIA】Cosmos世界基础模型平台用于物理人工智能
专知会员服务
27+阅读 · 2025年1月13日
《迈向智能世界》计算白皮书,48页pdf,华为发布
专知会员服务
60+阅读 · 2022年12月17日
面向智慧交通的图像处理与边缘计算
专知会员服务
67+阅读 · 2022年6月23日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员