Operating in environments alongside humans requires robots to make decisions under uncertainty. In addition to exogenous dynamics, they must reason over others' hidden mental-models and mental-states. While Interactive POMDPs and Bayesian Theory of Mind formulations are principled, exact nested-belief inference is intractable, and hand-specified models are brittle in open-world settings. We address both by learning structured mental-models and an estimator of others' mental-states. Building on the Influence-Based Abstraction, we instantiate an Influence-Augmented Local Model to decompose socially-aware robot tasks into local dynamics, social influences, and exogenous factors. We propose (a) a neuro-symbolic world model instantiating a factored, discrete Dynamic Bayesian Network, and (b) a perspective-shift operator modeled as an amortized Schrödinger Bridge over the learned local dynamics that transports factored egocentric beliefs into other-centric beliefs. We show that this architecture enables agents to synthesize socially-aware policies in model-based reinforcement learning, via decision-time mental-state planning (a Schrödinger Bridge in belief space), with preliminary results in a MiniGrid social navigation task.


翻译:在人类共存的环境中运行要求机器人能够在不确定性下做出决策。除了外生动态外,机器人还需推理其他智能体的隐藏心智模型与心智状态。尽管交互式部分可观测马尔可夫决策过程与贝叶斯心智理论框架具有理论严谨性,但精确的嵌套信念推断难以处理,且手工指定的模型在开放世界环境中表现脆弱。我们通过**学习结构化心智模型**与**他者心智状态估计器**来同时解决这两个问题。基于影响抽象理论,我们实例化了一个**影响增强局部模型**,将社会感知的机器人任务分解为局部动态、社会影响与外生因素。我们提出:(a)一种神经符号世界模型,实例化为一个因子化的离散动态贝叶斯网络;(b)一种**视角转换算子**,建模为基于习得局部动态的摊销化**薛定谔桥**,将因子化的自我中心信念转移为他者中心信念。我们证明,该架构使智能体能够通过基于模型的强化学习(在信念空间中利用决策时心智状态规划,即薛定谔桥)合成社会感知策略,并在MiniGrid社会导航任务中取得了初步验证结果。

0
下载
关闭预览

相关内容

深度强化学习与模仿学习导论
专知会员服务
25+阅读 · 2025年12月10日
【牛津博士论文】在不确定环境中的情境化决策制定
专知会员服务
23+阅读 · 2025年11月20日
多模态预训练模型简述
专知会员服务
114+阅读 · 2021年4月27日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员