Embodied intelligence aims to enable robots to learn, reason, and generalize robustly across complex real-world environments. However, existing approaches often struggle with partial observability, fragmented spatial reasoning, and inefficient integration of heterogeneous memories, limiting their capacity for long-horizon adaptation. To address this, we introduce RoboMemory, a brain-inspired framework that unifies Spatial, Temporal, Episodic, and Semantic memory within a parallelized architecture for efficient long-horizon planning and interactive learning. Its core innovations are a dynamic spatial knowledge graph for scalable, consistent memory updates and a closed-loop planner with a critic module for adaptive decision-making. Extensive experiments on EmbodiedBench show that RoboMemory, instantiated with Qwen2.5-VL-72B-Ins, improves the average success rate by 26.5% over its strong baseline and even surpasses the closed-source SOTA, Claude-3.5-Sonnet. Real-world trials further confirm its capability for cumulative learning, with performance consistently improving over repeated tasks. Our results position RoboMemory as a scalable foundation for memory-augmented embodied agents, bridging insights from cognitive neuroscience with practical robotic autonomy.


翻译:具身智能旨在使机器人能够在复杂的现实环境中稳健地学习、推理和泛化。然而,现有方法通常难以应对部分可观测性、碎片化的空间推理以及异构记忆体的低效整合,限制了其进行长时域适应的能力。为解决这些问题,我们提出了RoboMemory,这是一种受大脑启发的框架,它将空间记忆、时间记忆、情景记忆和语义记忆统一在一个并行化架构中,以实现高效的长时域规划和交互式学习。其核心创新在于一个用于可扩展、一致性记忆更新的动态空间知识图谱,以及一个包含评判器模块的闭环规划器,用于自适应决策。在EmbodiedBench上进行的大量实验表明,以Qwen2.5-VL-72B-Ins实例化的RoboMemory,其平均成功率比其强大的基线模型提高了26.5%,甚至超越了闭源的SOTA模型Claude-3.5-Sonnet。真实世界试验进一步证实了其进行累积学习的能力,在重复任务中性能持续提升。我们的研究结果确立了RoboMemory作为记忆增强型具身智能体的可扩展基础,将认知神经科学的洞见与实用的机器人自主性连接起来。

0
下载
关闭预览

相关内容

基于多模态大模型的具身智能体研究进展与展望
专知会员服务
25+阅读 · 2025年7月2日
【牛津大学博士论文】深度具身智能体的空间推理与规划
多模态大模型时代的全球首篇《具身智能》综述
专知会员服务
76+阅读 · 2024年7月26日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关VIP内容
基于多模态大模型的具身智能体研究进展与展望
专知会员服务
25+阅读 · 2025年7月2日
【牛津大学博士论文】深度具身智能体的空间推理与规划
多模态大模型时代的全球首篇《具身智能》综述
专知会员服务
76+阅读 · 2024年7月26日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员