Rapid advances have been made in developing general-purpose embodied agent in environments like Minecraft through the adoption of LLM-augmented hierarchical approaches. Despite their promise, low-level controllers often become performance bottlenecks due to repeated execution failures. We argue that a key limitation is not only the lack of episodic memory, but also the decoupling of \textit{what-where-when} memory from \textit{which-why} reasoning. To address this, we propose \textbf{WISE} (Which-Why Informed Semantic Explorer), a long-horizon agent framework with an enhanced low-level controller equipped with a Causal Event Graph that augments episodic memory with explicit causal structure linking observations to task relevance. Unlike prior work such as MrSteve, which relies on feature similarity for retrieval, WISE enables robust recall under viewpoint changes and supports opportunistic task reordering through causal reasoning. Building on this memory, we propose an Opportunistic Task Scheduler that dynamically re-prioritizes subtasks when causally relevant opportunities are detected. We further equip WISE with a multi-scale progressive exploration strategy to provide spatially comprehensive observations for downstream reasoning. Experiments show that WISE largely improves task success and efficiency on long-horizon sparse tasks, particularly in settings requiring adaptive decision-making.


翻译:通过采用大语言模型增强的分层方法,在Minecraft等环境中开发通用具身智能体取得了快速进展。尽管前景广阔,但低级控制器常因重复执行失败而成为性能瓶颈。我们认为关键限制不仅在于缺乏情景记忆,更在于将“什么-哪里-何时”记忆与“哪个-为什么”推理相分离。为此,我们提出**WISE**(基于Which-Why推理的语义探索器),一种长期任务智能体框架,其增强的低级控制器配备因果事件图,通过将观察与任务相关性的显式因果结构注入情景记忆。与依赖特征相似性进行检索的MrSteve等先前工作不同,WISE支持视角变化下的鲁棒回忆,并通过因果推理实现机会性任务重排序。基于此记忆,我们提出机会性任务调度器,当检测到因果相关机会时动态调整子任务优先级。我们进一步为WISE配备多尺度渐进探索策略,为下游推理提供空间全面的观察。实验表明,WISE在长期稀疏任务中显著提升了任务成功率和效率,尤其在需要自适应决策的场景中。

0
下载
关闭预览

相关内容

WISE会议建立了一个致力于高质量研究的社区,并为推进与Web信息系统相关的主题提供了基础。 官网地址:http://dblp.uni-trier.de/db/conf/wise/
通用智能体评估的逻辑架构
专知会员服务
22+阅读 · 2月28日
智能体工程(Agent Engineering)
专知会员服务
38+阅读 · 2025年12月31日
【牛津大学博士论文】深度具身智能体的空间推理与规划
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
《无人地面战车(UGV)的崛起》报告
专知会员服务
5+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
7+阅读 · 7月16日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员