Embodied agents must close a perception-to-action loop on embedded hardware under tight latency, memory, and energy budgets, making deployment a system-level co-design problem rather than a model-accuracy problem. We study this challenge for modular Object Goal Navigation (ObjectNav), where our profiling shows semantic mapping dominates per-step latency while goal prediction dominates peak memory. We formulate edge embodied navigation deployment as a budget-constrained design-space problem and introduce two orthogonal optimization knobs: SKIP, an adaptive sensorimotor scheduler that formalizes safe skipping as a bounded map-impact criterion and learns a lightweight predictor to estimate it from cheap sensor cues at each \texttt{FORWARD} step, exposing a principled quality-efficiency knob (depth-based updates are always retained); and SCOUT, a sparse-context encoder that couples submanifold sparse convolutions on active map regions with a lightweight dense context stream. On HM3D across server and embedded platforms, SKIP+SCOUT delivers up to 1.7x end-to-end speedup, 50.5% lower peak memory, and 7.1% higher SPL than the dense baseline at the selected operating point, outperforming naively smaller perception backbones. SKIP transfers to a second modular pipeline (PONI) with near-lossless performance and remains robust under depth-sensor noise. Together, SKIP+SCOUT expose a family of device-aware Pareto operating points for edge physical AI systems.


翻译:具身智能体必须在嵌入式硬件上在严格的延迟、内存和能量预算下完成从感知到行动的闭环,这使得部署成为一个系统级协同设计问题,而非模型精度问题。我们针对模块化目标导航(ObjectNav)研究了这一挑战,其中性能分析显示语义映射主导每步延迟,而目标预测主导峰值内存。我们将边缘具身导航部署形式化为一个预算约束的设计空间问题,并引入两个正交优化旋钮:SKIP——一种自适应感知运动调度器,将安全跳步形式化为有界地图影响准则,并学习一个轻量级预测器,在每个FORWARD步骤中利用廉价传感器线索估计该准则,从而暴露一个原理性的质量-效率旋钮(基于深度的更新始终保留);SCOUT——一种稀疏上下文编码器,将活动地图区域上的子流形稀疏卷积与轻量级稠密上下文流耦合。在HM3D数据集上,跨服务器和嵌入式平台,在选定操作点,SKIP+SCOUT相比稠密基线实现了高达1.7倍的端到端加速、50.5%的峰值内存降低和7.1%的SPL提升,优于朴素的小型感知主干网络。SKIP可迁移至第二个模块化流水线(PONI),性能几乎无损,且在深度传感器噪声下保持鲁棒。SKIP+SCOUT共同为边缘物理AI系统揭示了一系列设备感知的帕累托操作点族。

0
下载
关闭预览

相关内容

《基于二元优化与图学习的多智能体行动方案自动生成》
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN
数据挖掘入门与实战
13+阅读 · 2018年4月6日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
《基于二元优化与图学习的多智能体行动方案自动生成》
相关资讯
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN
数据挖掘入门与实战
13+阅读 · 2018年4月6日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员