Neurosymbolic AI is growing in popularity thanks to its ability to combine neural perception and symbolic reasoning in end-to-end trainable models. However, recent findings reveal these are prone to shortcut reasoning, i.e., to learning unindented concepts--or neural predicates--which exploit spurious correlations to satisfy the symbolic constraints. In this paper, we address reasoning shortcuts at their root cause and we introduce Prototypical Neurosymbolic architectures. These models are able to satisfy the symbolic constraints (be right) because they have learnt the correct basic concepts (for the right reasons) and not because of spurious correlations, even in extremely low data regimes. Leveraging the theory of prototypical learning, we demonstrate that we can effectively avoid reasoning shortcuts by training the models to satisfy the background knowledge while taking into account the similarity of the input with respect to the handful of labelled datapoints. We extensively validate our approach on the recently proposed rsbench benchmark suite in a variety of settings and tasks with very scarce supervision: we show significant improvements in learning the right concepts both in synthetic tasks (MNIST-EvenOdd and Kand-Logic) and real-world, high-stake ones (BDD-OIA). Our findings pave the way to prototype grounding as an effective, annotation-efficient strategy for safe and reliable neurosymbolic learning.


翻译:神经符号AI因其能够将神经感知与符号推理结合于端到端可训练模型中而日益受到欢迎。然而,近期研究揭示这些模型易陷入推理捷径,即学习非预期概念——或称神经谓词——这些概念利用虚假相关性来满足符号约束。本文从根源上解决推理捷径问题,并引入原型神经符号架构。这些模型能够满足符号约束(正确)是因为它们学习了正确的基本概念(出于正确的原因),而非依赖虚假相关性,即使在极低数据条件下亦然。借助原型学习理论,我们证明通过训练模型在考虑输入与少量标注数据点相似性的同时满足背景知识,可有效避免推理捷径。我们在近期提出的rsbench基准测试套件中,于多种设置和监督极其稀缺的任务中广泛验证了所提方法:在合成任务(MNIST-EvenOdd与Kand-Logic)和现实世界高风险任务(BDD-OIA)中,学习正确概念的能力均显示出显著提升。我们的研究为原型基址作为一种高效、标注节约的策略,实现安全可靠的神经符号学习开辟了道路。

0
下载
关闭预览

相关内容

神经符号人工智能军事应用
专知会员服务
34+阅读 · 2024年8月23日
《面向军事应用的神经符号人工智能》
专知会员服务
32+阅读 · 2024年8月22日
【机器推理可解释性】Machine Reasoning Explainability
专知会员服务
35+阅读 · 2020年9月3日
【CIKM2020】神经逻辑推理,Neural Logic Reasoning
专知会员服务
51+阅读 · 2020年8月25日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员