Inductive Logic Programming (ILP) learns interpretable logical rules from data. Existing methods are transductive: their learned parameters are bound to specific predicates and require retraining for each new task. We introduce Neural Rule Inducer (NRI), a pretrained model for zero-shot rule induction. Rather than encoding literal identities, NRI represents literals using domain-agnostic statistical properties such as class-conditional rates, entropy, and co-occurrence, which generalize across variable identities and counts without retraining. The model consists of a statistical encoder and a parallel slot-based decoder. Parallel decoding preserves the permutation invariance of logical disjunction; an autoregressive decoder would instead impose an arbitrary clause order. Product T-norm relaxation makes rule execution differentiable, allowing end-to-end training on prediction accuracy alone. We evaluate NRI on rule recovery, robustness to label noise and spurious correlations, and zero-shot transfer to real-world benchmarks, and we believe this work opens up the possibility of foundation models for symbolic reasoning. Code and the reference checkpoint are available at https://github.com/phuayj/neural-rule-inducer.


翻译:归纳逻辑编程(ILP)从数据中学习可解释的逻辑规则。现有方法是直推式的:其学习到的参数绑定到特定谓词,并且需要针对每个新任务重新训练。我们引入了神经规则归纳器(NRI),这是一个用于零样本规则归纳的预训练模型。NRI 不编码文字的身份信息,而是使用领域无关的统计属性(如类条件概率、熵和共现性)来表示文字,这些属性无需重新训练即可在不同身份和数量的变量之间泛化。该模型包括一个统计编码器和一个基于平行槽位的解码器。平行解码保留了逻辑析取的排列不变性,而自回归解码器则会施加任意子句顺序。乘积 T 范数松弛使规则执行可微,从而允许仅基于预测准确率进行端到端训练。我们在规则恢复、对标签噪声和虚假相关性的鲁棒性以及向真实世界基准的零样本迁移方面评估了 NRI,并且相信这项工作为符号推理的基础模型开辟了可能性。代码和参考检查点可在 https://github.com/phuayj/neural-rule-inducer 获取。

0
下载
关闭预览

相关内容

【牛津博士论文】零样本强化学习综述
专知会员服务
32+阅读 · 2025年8月25日
零样本量化:综述
专知会员服务
13+阅读 · 2025年5月15日
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
《用于军用车辆探测的零样本多模态深度学习模型》
专知会员服务
35+阅读 · 2024年5月9日
专知会员服务
52+阅读 · 2021年5月15日
专知会员服务
40+阅读 · 2020年6月19日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
零样本图像识别综述论文
专知
22+阅读 · 2020年4月4日
小样本学习(Few-shot Learning)综述
云栖社区
22+阅读 · 2019年4月6日
开年重磅——周志华团队综述归纳逻辑程序设计
计算机研究与发展
10+阅读 · 2019年1月22日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
43+阅读 · 2024年1月25日
VIP会员
最新内容
《履带式无人地面战车技术发展现状》
专知会员服务
4+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
4+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
12+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
10+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
6+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
9+阅读 · 7月31日
相关VIP内容
【牛津博士论文】零样本强化学习综述
专知会员服务
32+阅读 · 2025年8月25日
零样本量化:综述
专知会员服务
13+阅读 · 2025年5月15日
知识图谱基础模型的数学基础
专知会员服务
41+阅读 · 2025年1月12日
《用于军用车辆探测的零样本多模态深度学习模型》
专知会员服务
35+阅读 · 2024年5月9日
专知会员服务
52+阅读 · 2021年5月15日
专知会员服务
40+阅读 · 2020年6月19日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员