We introduce ABD, a benchmark for default-exception abduction over finite first-order worlds. Given a background theory with an abnormality predicate and a set of relational structures, a model must output a first-order formula that defines exceptions, restoring satisfiability while keeping exceptions sparse. We formalize three observation regimes (closed-world, existential completion, universal completion) with exact SMT verification. Evaluating ten frontier LLMs on 600 instances, the best models achieve high validity but parsimony gaps remain, and holdout evaluation reveals distinct generalization failure modes across regimes.


翻译:我们提出ABD,这是一个针对有限一阶世界上的缺省异常溯因任务的基准测试。给定一个包含异常谓词和一组关系结构的背景理论,模型需要输出一个定义异常的一阶公式,在保持异常稀疏性的同时恢复可满足性。我们形式化了三种观察范式(封闭世界、存在完成、全称完成),并采用精确的SMT验证。在600个实例上对十种前沿大语言模型进行评估,最优模型虽能达到高有效性,但简约性缺口依然存在,且留出评估揭示了不同范式间截然不同的泛化失效模式。

0
下载
关闭预览

相关内容

【KDD2025】一种新颖的可解释性无监督异常检测模型
专知会员服务
8+阅读 · 2025年11月6日
【WWW2024】知识数据对齐的弱监督异常检测
专知会员服务
23+阅读 · 2024年2月7日
索邦大学121页博士论文《时间序列中的无监督异常检测》
专知会员服务
104+阅读 · 2022年7月25日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
机器的崛起:美海军陆战队组建机器人营思考
专知会员服务
6+阅读 · 9月8日
无面之战:人工智能如何重绘权力版图
专知会员服务
4+阅读 · 9月8日
《最强大的军事网状网络》
专知会员服务
9+阅读 · 9月7日
《预测陆军征兵任务分配》110页
专知会员服务
7+阅读 · 9月7日
相关VIP内容
【KDD2025】一种新颖的可解释性无监督异常检测模型
专知会员服务
8+阅读 · 2025年11月6日
【WWW2024】知识数据对齐的弱监督异常检测
专知会员服务
23+阅读 · 2024年2月7日
索邦大学121页博士论文《时间序列中的无监督异常检测》
专知会员服务
104+阅读 · 2022年7月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员