Neurosymbolic (NeSy) models integrate neural networks and symbolic reasoning for robust and interpretable AI. State-of-the-art NeSy models require that the symbolic component is expressed in a differentiable way, often complicating the use of approximate inference. We propose EM-NeSy which casts probabilistic NeSy learning as an instance of the Expectation-Maximization (EM) algorithm. In the expectation step, we compute the posterior over the neurally predicted symbols conditioned on the label via probabilistic inference. In the maximization step, we update the neural parameters based on this posterior using gradient descent only through the neural component. This formulation unlocks the full potential of the EM algorithm for NeSy learning. It allows NeSy to extend naturally to approximate reasoning without any additional modifications or differentiability requirements of the symbolic component. Furthermore, it recovers the standard end-to-end gradient-based NeSy setting under exact inference. Our experimental results demonstrate the scalability and computational efficiency of EM-NeSy.


翻译:神经符号(NeSy)模型通过整合神经网络与符号推理,实现鲁棒且可解释的人工智能。当前最先进的NeSy模型要求符号组件以可微形式表达,这通常限制了近似推理的应用。我们提出EM-NeSy方法,将概率性NeSy学习建模为期望最大化(EM)算法的一个实例。在期望步骤中,我们通过概率推理计算以标签为条件、由神经网络预测的符号的后验分布;在最大化步骤中,我们基于该后验仅通过神经组件进行梯度下降,更新神经参数。该公式释放了EM算法在NeSy学习中的全部潜力,使NeSy能够自然地扩展到近似推理,无需对符号组件进行额外修改或施加可微性要求。此外,在精确推理条件下,EM-NeSy可恢复标准的端到端梯度基NeSy设置。实验结果表明了EM-NeSy的可扩展性与计算效率。

0
下载
关闭预览

相关内容

神经符号人工智能军事应用
专知会员服务
36+阅读 · 2024年8月23日
《面向军事应用的神经符号人工智能》
专知会员服务
34+阅读 · 2024年8月22日
【MIT博士论文】使用神经符号学习的鲁棒可靠智能系统
专知会员服务
41+阅读 · 2022年7月5日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
2019年新书推荐-《神经网络与深度学习》-Michael Nielsen
深度学习与NLP
14+阅读 · 2019年2月21日
超全总结:神经网络加速之量化模型 | 附带代码
从最大似然到EM算法:一致的理解方式
PaperWeekly
19+阅读 · 2018年3月19日
深度学习中的注意力机制
人工智能头条
16+阅读 · 2017年11月2日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员