Rule-based reasoning over natural language input arises in domains where decisions must be auditable and justifiable: clinical protocols specify eligibility criteria in prose, evidence rules define admissibility through textual conditions, and scientific standards dictate methodological requirements. Applying rules to such inputs demands both interpretive flexibility and formal guarantees. Large language models (LLMs) provide flexibility but cannot ensure consistent rule application; symbolic systems provide guarantees but require structured input. This paper presents an integration pattern that combines these strengths: LLMs serve as ontology population engines, translating unstructured text into ABox assertions according to expert-authored TBox specifications, while SWRL-based reasoners apply rules with deterministic guarantees. The framework decomposes reasoning into entity identification, assertion extraction, and symbolic verification, with task definitions grounded in OWL 2 ontologies. Experiments across three domains (legal hearsay determination, scientific method-task application, clinical trial eligibility) and eleven language models validate the approach. Structured decomposition achieves statistically significant improvements over few-shot prompting in aggregate, with gains observed across all three domains. An ablation study confirms that symbolic verification provides substantial benefit beyond structured prompting alone. The populated ABox integrates with standard semantic web tooling for inspection and querying, positioning the framework for richer inference patterns that simpler formalisms cannot express.


翻译:基于规则的推理在自然语言输入中的应用出现在需要决策可审计且可论证的领域:临床方案以散文形式规定资格标准,证据规则通过文本条件定义可采性,科学标准则规定方法论要求。将规则应用于此类输入既需要解释的灵活性,又需要形式化的保证。大语言模型(LLMs)提供了灵活性,但无法确保规则应用的一致性;符号系统提供了保证,但需要结构化输入。本文提出一种结合两者优势的集成模式:LLMs作为本体填充引擎,根据专家编写的TBox规范将非结构化文本转换为ABox断言,而基于SWRL的推理器则以确定性保证应用规则。该框架将推理分解为实体识别、断言提取和符号验证三个步骤,任务定义基于OWL 2本体。在三个领域(法律传闻证据判定、科学方法任务应用、临床试验资格筛选)和十一个语言模型上的实验验证了该方法的有效性。结构化分解在总体上相比少样本提示实现了统计显著的改进,且在全部三个领域均观察到性能提升。消融研究证实,符号验证相比单纯的结构化提示能带来显著额外收益。填充后的ABox可与标准语义网工具集成,支持检查与查询,使该框架能够处理更简单形式化方法无法表达的丰富推理模式。

0
下载
关闭预览

相关内容

UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
RAG与RAU:自然语言处理中的检索增强语言模型综述
专知会员服务
87+阅读 · 2024年5月3日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
专知会员服务
52+阅读 · 2021年8月13日
【NeurIPS2019】图变换网络:Graph Transformer Network
如何使用自然语言工具包(NLTK)在Python3中执行情感分析
Python程序员
21+阅读 · 2019年10月28日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
RAG与RAU:自然语言处理中的检索增强语言模型综述
专知会员服务
87+阅读 · 2024年5月3日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
专知会员服务
52+阅读 · 2021年8月13日
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员