Efficient navigation in dynamic environments requires anticipating how motion patterns evolve beyond the robot's immediate perceptual range, enabling preemptive rather than purely reactive planning in crowded scenes. Maps of Dynamics (MoDs) offer a structured representation of motion tendencies in space useful for long-term global planning, but constructing them traditionally requires global environment observations over extended periods of time. We introduce EgoMoD, the first approach that learns to predict future MoDs directly from short egocentric video clips collected during robot operation. Our method learns to infer environment-wide motion tendencies from local dynamic cues using a video- and pose-conditioned architecture trained with MoDs computed from external observations as privileged supervision, allowing local observations to serve as predictive signals of global motion structure. Thanks to this, we offer the capacity to forecast future motion dynamics over the whole environment rather than merely extend past patterns in the robot's field of view. As a site-specific dynamic prior, EgoMoD replaces the external global sensing infrastructure required by prior MoD methods at inference time with standard onboard sensors. Experiments in large simulated environments show that EgoMoD predicts future MoDs under limited observability, while evaluation with real images showcases its zero-shot transferability to real systems.


翻译:在动态环境中高效导航需要预判超越机器人即时感知范围的运动模式演化,从而在拥挤场景中实现先发制人而非纯粹反应式规划。动态地图(MoDs)提供了空间中运动倾向的结构化表示,有助于长期全局规划,但传统构建方法需要长时段全局环境观测。我们提出EgoMoD——首个学习从机器人运行期间采集的短时自我中心视频片段直接预测未来MoDs的方法。该方法利用视频与姿态条件架构,通过外部观测计算所得的MoDs作为特权监督进行训练,从而从局部动态线索推断环境全局运动倾向,使局部观测成为全局运动结构的预测信号。由此,我们具备预测全环境未来运动动态的能力,而非仅扩展机器人视野中的历史模式。作为场景特定的动态先验,EgoMoD在推理时以标准车载传感器替代先前MoD方法所需的外部全局感知基础设施。大规模仿真环境实验表明,EgoMoD能在有限可观测性下预测未来MoDs,而真实图像评估则展示了其向真实系统的零样本迁移能力。

0
下载
关闭预览

相关内容

自动驾驶地图:全流程综述与前沿进展
专知会员服务
21+阅读 · 2025年9月20日
自动驾驶中的轨迹预测大型基础模型:全面综述
专知会员服务
16+阅读 · 2025年9月18日
《动态对抗环境下无人机路径规划算法》
专知会员服务
42+阅读 · 2025年7月22日
《主动地形辅助导航》176页论文
专知会员服务
48+阅读 · 2023年12月21日
IROS2020|机器人自主探索与建图算法,代码已开源!
中国图象图形学报
34+阅读 · 2020年9月8日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
【泡泡一分钟】变化环境下激光地图辅助视觉惯性定位
泡泡机器人SLAM
15+阅读 · 2019年5月22日
Elasticsearch地理信息存储及查询之Geo_Point
Analysys易观
13+阅读 · 2018年12月29日
GIS最新热点以及未来发展热门
人工智能学家
10+阅读 · 2018年3月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员