Let $\sigma$ be a first-order signature and let $\mathbf{W}_n$ be the set of all $\sigma$-structures with domain $\{1, \ldots, n\}$. By an inference framework we mean a class $\mathbf{F}$ of pairs $(\mathbb{P}, L)$, where $\mathbb{P} = (\mathbb{P}_n : n = 1, 2, 3, \ldots)$ and $\mathbb{P}_n$ is a probability distribution on $\mathbf{W}_n$, and $L$ is a logic with truth values in the unit interval $[0, 1]$. An inference framework $\mathbf{F}'$ is asymptotically at least as expressive as another inference framework $\mathbf{F}$ if for every $(\mathbb{P}, L) \in \mathbf{F}$ there is $(\mathbb{P}', L') \in \mathbf{F}'$ such that $\mathbb{P}$ is asymptotically total-variation-equivalent to $\mathbb{P}'$ and for every $\varphi(\bar{x}) \in L$ there is $\varphi'(\bar{x}) \in L'$ such that $\varphi'(\bar{x})$ is asymptotically equivalent to $\varphi(\bar{x})$ with respect to $\mathbb{P}$. This relation is a preorder and we describe a partial order on the equivalence classes of some inference frameworks that seem natural in the context of machine learning and artificial intelligence. Several previous results about asymptotic (or almost sure) equivalence of formulas or convergence in probability can be formulated in terms of relative asymptotic strength of inference frameworks. We incorporate these results in our classification of inference frameworks and prove two new results. Both concern sequences of probability distributions defined by directed graphical models that use ``continuous'' aggregation functions. The first considers queries expressed by a logic with truth values in $[0, 1]$ which employs continuous aggregation functions. The second considers queries expressed by a two-valued conditional logic that can express statements about relative frequencies.


翻译:设 $\sigma$ 为一阶签名,$\mathbf{W}_n$ 为所有定义域为 $\{1, \ldots, n\}$ 的 $\sigma$-结构的集合。推理框架是指一类 $\mathbf{F}$,其中每个元素为 $(\mathbb{P}, L)$ 对,$\mathbb{P} = (\mathbb{P}_n : n = 1, 2, 3, \ldots)$ 且 $\mathbb{P}_n$ 是 $\mathbf{W}_n$ 上的概率分布,$L$ 是真值位于单位区间 $[0, 1]$ 的逻辑系统。若对于每个 $(\mathbb{P}, L) \in \mathbf{F}$,存在 $(\mathbb{P}', L') \in \mathbf{F}'$,使得 $\mathbb{P}$ 与 $\mathbb{P}'$ 渐近全变差等价,且对于每个 $\varphi(\bar{x}) \in L$,存在 $\varphi'(\bar{x}) \in L'$,使得 $\varphi'(\bar{x})$ 关于 $\mathbb{P}$ 与 $\varphi(\bar{x})$ 渐近等价,则称推理框架 $\mathbf{F}'$ 渐近至少与 $\mathbf{F}$ 具有相同表达性。该关系构成一个预序,我们描述了在机器学习和人工智能背景下看似自然的一些推理框架等价类上的偏序。关于公式渐近(或几乎必然)等价性或依概率收敛的若干先前结果,均可表述为推理框架的相对渐近强度。我们将这些结果纳入推理框架的分类中,并证明两个新结论。两者均涉及由使用"连续"聚合函数的有向图模型定义的概率分布序列。第一个结果考虑使用连续聚合函数的真值在 $[0, 1]$ 中的逻辑所表达的查询。第二个结果考虑可表达关于相对频率陈述的二值条件逻辑所表达的查询。

0
下载
关闭预览

相关内容

专知会员服务
20+阅读 · 2021年9月12日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
专知会员服务
63+阅读 · 2020年3月4日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
论文浅尝 | Neural-Symbolic Models for Logical Queries on KG
开放知识图谱
0+阅读 · 2022年10月31日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
论文浅尝 | 面向时序知识图谱推理的循环事件网络
开放知识图谱
78+阅读 · 2019年9月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
别说还不懂依存句法分析
人工智能头条
23+阅读 · 2019年4月8日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
一文读懂机器学习概率图模型(附示例&学习资源)
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月16日
Arxiv
10+阅读 · 2021年11月3日
VIP会员
最新内容
伊朗不对称防空战略的演进
专知会员服务
1+阅读 · 刚刚
对抗环境下超视距目标打击的情报支援
专知会员服务
10+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
8+阅读 · 7月20日
相关资讯
论文浅尝 | Neural-Symbolic Models for Logical Queries on KG
开放知识图谱
0+阅读 · 2022年10月31日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
论文浅尝 | 面向时序知识图谱推理的循环事件网络
开放知识图谱
78+阅读 · 2019年9月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
别说还不懂依存句法分析
人工智能头条
23+阅读 · 2019年4月8日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
一文读懂机器学习概率图模型(附示例&学习资源)
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员