While current navigation benchmarks prioritize task success in simplified settings, they neglect the multidimensional economic constraints essential for the real-world commercialization of autonomous delivery systems. We introduce CostNav, an Economic Navigation Benchmark that evaluates physical AI agents through comprehensive economic cost-revenue analysis aligned with real-world business operations. By integrating industry-standard data - such as SEC filings and AIS injury reports - with Isaac Sim's detailed collision and cargo dynamics, CostNav transcends simple task completion to accurately evaluate business value in complex, real-world scenarios. To our knowledge, CostNav is the first work to quantitatively expose the gap between navigation research metrics and commercial viability, revealing that optimizing for task success on a simplified task fundamentally differs from optimizing for real-world economic deployment. Our evaluation of rule-based Nav2 navigation shows that current approaches are not economically viable: the contribution margin is -22.81/run (AMCL) and -12.87/run (GPS), resulting in no break-even point. We challenge the community to develop navigation policies that achieve economic viability on CostNav. We remain method-agnostic, evaluating success solely on the metric of cost rather than the underlying architecture. All resources are available at https://github.com/worv-ai/CostNav.


翻译:当前导航基准主要关注简化环境下的任务成功率,却忽视了自主配送系统实现真实世界商业化所必需的多维经济约束。我们提出了CostNav——一个经济导航基准,通过对齐真实商业运营的全面经济成本-收益分析来评估物理AI智能体。通过整合行业标准数据(如SEC财报和AIS工伤报告)与Isaac Sim的精细碰撞及货物动力学模拟,CostNav超越了简单的任务完成度评估,能够精准衡量复杂真实场景中的商业价值。据我们所知,CostNav是首个定量揭示导航研究指标与商业可行性之间差距的工作,表明在简化任务上优化成功率与优化真实世界经济部署存在本质差异。我们对基于规则的Nav2导航系统的评估显示,当前方法在经济上不可行:边际贡献为-22.81美元/次(AMCL)和-12.87美元/次(GPS),无法达到盈亏平衡点。我们呼吁研究社区开发能在CostNav上实现经济可行性的导航策略。本基准保持方法无关性,仅依据成本指标而非底层架构评估性能。所有资源已发布于https://github.com/worv-ai/CostNav。

0
下载
关闭预览

相关内容

智能体工程(Agent Engineering)
专知会员服务
28+阅读 · 2025年12月31日
【NVDIA】Cosmos世界基础模型平台用于物理人工智能
专知会员服务
27+阅读 · 2025年1月13日
《迈向智能世界》计算白皮书,48页pdf,华为发布
专知会员服务
60+阅读 · 2022年12月17日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
计算机视觉方向简介 | 视觉惯性里程计(VIO)
计算机视觉life
64+阅读 · 2019年6月16日
【泡泡图灵智库】评估视觉惯性里程计的TUM VI基准(IROS)
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
【泡泡图灵智库】基于CPU的实时6D物体姿态估计(arXiv)
泡泡机器人SLAM
12+阅读 · 2019年1月26日
视觉里程计:起源、优势、对比、应用
计算机视觉life
18+阅读 · 2017年7月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月27日
VIP会员
相关VIP内容
智能体工程(Agent Engineering)
专知会员服务
28+阅读 · 2025年12月31日
【NVDIA】Cosmos世界基础模型平台用于物理人工智能
专知会员服务
27+阅读 · 2025年1月13日
《迈向智能世界》计算白皮书,48页pdf,华为发布
专知会员服务
60+阅读 · 2022年12月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员