The belief construction is a fundamental technique for transforming partially observable systems to fully observable ones while preserving the relevant semantics. It plays a central role in the analysis of partially observable systems, in particular partially observable Markov decision processes (POMDPs), which is a central model in artificial intelligence and formal verification. In this paper, we develop a coalgebraic framework for the belief construction. To handle observations categorically, we lift a monad to slice categories and introduce a belief decomposition that reorganizes states according to their observations. This allows us to introduce a coalgebraic generalization of the belief construction, obtained by combining the belief decomposition with the coalgebraic determinization of Silva, Bonchi, Bonsangue, and Rutten. In this framework, we show that the semantics of a partially observable system coincides with that of the corresponding belief coalgebra. We then study when the latter further agrees with the semantics of its fully observable counterpart, and use this to identify conditions under which the semantics of a partially observable system coincides with that of the corresponding fully observable belief system. As consequences, we recover the standard equivalence between POMDPs and belief MDPs, and obtain a new equivalence result for weighted transition systems with the semimodule monad.


翻译:信念构建是将部分可观测系统转换为完全可观测系统并保持相关语义的基本技术。它在部分可观测系统的分析中起着核心作用,特别是部分可观测马尔可夫决策过程(POMDPs),这是人工智能和形式化验证中的核心模型。在本文中,我们开发了一个用于信念构建的余代数框架。为了分类处理观测,我们将单子提升到切片范畴,并引入一种信念分解,根据观测重新组织状态。这使我们能够引入信念构建的余代数推广,通过将信念分解与Silva、Bonchi、Bonsangue和Rutten的余代数确定性相结合得到。在此框架中,我们证明部分可观测系统的语义与相应的信念余代数的语义一致。然后,我们研究后者何时进一步与其完全可观测对应物的语义一致,并利用这一点来识别部分可观测系统语义与其对应的完全可观测信念系统语义一致的条件。作为结果,我们恢复了POMDP与信念MDP之间的标准等价性,并获得了带半模单子的加权迁移系统的新等价性结果。

0
下载
关闭预览

相关内容

《主观概率约束下寻找可行系统及其军事应用》69页
专知会员服务
29+阅读 · 2025年9月27日
专知会员服务
104+阅读 · 2021年6月23日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
从概率论到多分类问题:综述贝叶斯统计分类
机器之心
14+阅读 · 2017年9月28日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
美海军陆战队将三型无人机整合入统一战场网络
专知会员服务
2+阅读 · 今天9:39
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
3+阅读 · 今天9:12
《战略战术化:一项综合性述评》
专知会员服务
2+阅读 · 今天9:08
美陆军-工业界协同推进反无人机系统技术发展
专知会员服务
1+阅读 · 今天8:46
《跨域指挥背景下的领导力发展》最新报告
专知会员服务
1+阅读 · 今天8:40
俄乌无人机战争的六大启示
专知会员服务
10+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
8+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
相关VIP内容
《主观概率约束下寻找可行系统及其军事应用》69页
专知会员服务
29+阅读 · 2025年9月27日
专知会员服务
104+阅读 · 2021年6月23日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员