Unifying probabilistic and logical learning is a key challenge in AI. We introduce a Bayesian inductive logic programming approach that learns minimum message length hypotheses from noisy data. Our approach balances hypothesis complexity and data fit through priors, which favour more general programs, and a likelihood, which favours accurate programs. Our experiments on several domains, including game playing and drug design, show that our method significantly outperforms previous methods, notably those that learn minimum description length programs. Our results also show that our approach is data-efficient and insensitive to example balance, including the ability to learn from exclusively positive examples.


翻译:统一概率学习与逻辑学习是人工智能领域的关键挑战。本文提出一种贝叶斯归纳逻辑程序设计方法,能够从含噪声数据中学习最小消息长度假设。该方法通过先验分布(倾向于更通用的程序)和似然函数(倾向于更精确的程序)来平衡假设复杂度与数据拟合度。我们在多个领域(包括游戏博弈和药物设计)的实验表明,本方法显著优于现有方法,特别是那些学习最小描述长度程序的方法。实验结果还表明,该方法具有数据高效性且对示例平衡不敏感,包括能够仅从正例中学习的能力。

0
下载
关闭预览

相关内容

【经典书】信息理论、推理和学习算法,640页pdf
专知会员服务
84+阅读 · 2020年9月21日
长文本表示学习概述
云栖社区
15+阅读 · 2019年5月9日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
【经典书】信息理论、推理和学习算法,640页pdf
专知会员服务
84+阅读 · 2020年9月21日
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员