Three-way logical question answering (QA) assigns one of $\text{True}$, $\text{False}$, or $\text{Unknown}$ to a hypothesis $H$ given a premise set $S$. We study this task as a compact compositional inference problem: predictions for $H$ and for a mechanically negated hypothesis $\neg H$ should agree under a deterministic negation map. Despite this simple structure, large language models (LLMs) can exhibit two practical failure modes: (i) negation inconsistency, where answers to $H$ and $\neg H$ violate the required label mapping, and (ii) epistemic $\text{Unknown}$, where the model abstains even when one side is entailed. We introduce CGD-PD, a lightweight, training-free test-time layer that combines neural 3-way classification, symbolic negation-consistency projection, and targeted binary entailment probes. On one validation split of FOLIO's first-order logic fields, CGD-PD improves accuracy by 4.4 points on GPT-5.2 and 6.8 points on Claude Sonnet 4.5, while reducing $\text{Unknown}$ predictions and epistemic abstention. These results provide a controlled proof of concept that simple logical composition at inference time can help evaluate and improve LLM reasoning reliability; they do not, by themselves, establish robustness beyond this formal benchmark setting.


翻译:三值逻辑问答(QA)针对前提集 $S$ 中的假设 $H$ 分配 $\text{True}$(真)、$\text{False}$(假)或 $\text{Unknown}$(未知)之一。我们将该任务视为一个紧凑的组合推理问题:在确定性否定映射下,对 $H$ 的预测与对机械否定假设 $\neg H$ 的预测应保持一致。尽管结构简单,大型语言模型(LLM)仍可能表现出两种实际故障模式:(i)否定不一致性,即对 $H$ 和 $\neg H$ 的答案违反标签映射要求;(ii)认知上的 $\text{Unknown}$,即模型在某一侧蕴含成立时仍选择弃权。我们提出 CGD-PD,一种轻量级、无需训练的测试时层,它结合了神经三值分类、符号否定一致性投影以及针对性二值蕴涵探测。在 FOLIO 一阶逻辑字段的一个验证子集上,CGD-PD 在 GPT-5.2 上提升准确率 4.4 个百分点,在 Claude Sonnet 4.5 上提升 6.8 个百分点,同时减少了 $\text{Unknown}$ 预测和认知弃权。这些结果提供了一个受控的概念验证,表明推理时的简单逻辑组合有助于评估和提升 LLM 推理可靠性;但本身并不足以证明在此形式基准环境之外的鲁棒性。

0
下载
关闭预览

相关内容

在回答之前先解释:组合视觉推理综述
专知会员服务
15+阅读 · 2025年8月27日
【CMU博士论文】混合知识架构问答系统,150页pdf
专知会员服务
41+阅读 · 2023年12月14日
【CMU博士论文】神经推理问答,151页pdf
专知会员服务
46+阅读 · 2023年6月5日
面向知识库问答的问句语义解析研究综述
专知会员服务
33+阅读 · 2022年12月11日
论文浅尝 | 知识图谱三元组置信度的度量
开放知识图谱
24+阅读 · 2019年5月16日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 5月14日
VIP会员
最新内容
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 今天4:08
美空军如何将人工智能从战场部署至后方机关
专知会员服务
9+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
5+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
4+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关VIP内容
相关资讯
论文浅尝 | 知识图谱三元组置信度的度量
开放知识图谱
24+阅读 · 2019年5月16日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员