The unification of neural and symbolic approaches to artificial intelligence remains a central open challenge. In this work, we introduce a tensor network formalism, which captures sparsity principles originating in the different approaches in tensor decompositions. In particular, we describe a basis encoding scheme for functions and model neural decompositions as tensor decompositions. The proposed formalism can be applied to represent logical formulas and probability distributions as structured tensor decompositions. This unified treatment identifies tensor network contractions as a fundamental inference class and formulates efficiently scaling reasoning algorithms, originating from probability theory and propositional logic, as contraction message passing schemes. The framework enables the definition and training of hybrid logical and probabilistic models, which we call Hybrid Logic Network. The theoretical concepts are accompanied by the python library tnreason, which enables the implementation and practical use of the proposed architectures.


翻译:神经方法与符号方法在人工智能领域的统一仍然是一个核心的开放挑战。本文引入了一种张量网络形式体系,该体系在张量分解中捕捉了源自不同方法的稀疏性原理。具体而言,我们描述了一种用于函数的基编码方案,并将神经分解建模为张量分解。所提出的形式体系可用于将逻辑公式和概率分布表示为结构化的张量分解。这种统一处理将张量网络收缩确立为一类基本推理操作,并将源自概率论和命题逻辑的高效可扩展推理算法形式化为收缩消息传递方案。该框架支持定义和训练逻辑与概率混合模型,我们称之为混合逻辑网络。理论概念辅以Python库tnreason,该库实现了所提出的架构并支持其实际应用。

0
下载
关闭预览

相关内容

神经符号人工智能军事应用
专知会员服务
34+阅读 · 2024年8月23日
《面向军事应用的神经符号人工智能》
专知会员服务
32+阅读 · 2024年8月22日
【伯克利博士论文】神经网络中的结构与表征
专知会员服务
49+阅读 · 2024年5月12日
【MIT博士论文】使用神经符号学习的鲁棒可靠智能系统
专知会员服务
41+阅读 · 2022年7月5日
【Google AI】鲁棒图神经网络,Robust Graph Neural Networks
专知会员服务
38+阅读 · 2022年3月9日
【ICML2020】图神经网络谱聚类
专知
10+阅读 · 2020年7月7日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
2019年新书推荐-《神经网络与深度学习》-Michael Nielsen
深度学习与NLP
14+阅读 · 2019年2月21日
超全总结:神经网络加速之量化模型 | 附带代码
人工神经网络
平均机器
15+阅读 · 2017年7月17日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关资讯
【ICML2020】图神经网络谱聚类
专知
10+阅读 · 2020年7月7日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
2019年新书推荐-《神经网络与深度学习》-Michael Nielsen
深度学习与NLP
14+阅读 · 2019年2月21日
超全总结:神经网络加速之量化模型 | 附带代码
人工神经网络
平均机器
15+阅读 · 2017年7月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员