As knowledge and semantics on the web grow increasingly complex, enhancing Large Language Models (LLMs) comprehension and reasoning capabilities has become particularly important. Chain-of-Thought (CoT) prompting has been shown to enhance the reasoning capabilities of LLMs. However, it still falls short on logical reasoning tasks that rely on symbolic expressions and strict deductive rules. Neuro-symbolic methods address this gap by enforcing formal correctness through external solvers. Yet these solvers are highly format-sensitive, and small instabilities in model outputs can lead to frequent processing failures. LLM-driven approaches avoid parsing brittleness, but they lack structured representations and process-level error-correction mechanisms. To further enhance the logical reasoning capabilities of LLMs, we propose MatrixCoT, a structured CoT framework with a matrix-based plan. Specifically, we normalize and type natural language expressions, attach explicit citation fields, and introduce a matrix-based planning method to preserve global relations among steps. The plan becomes a verifiable artifact, making execution more stable. For verification, we also add a feedback-driven replanning mechanism. Under semantic-equivalence constraints, it identifies omissions and defects, rewrites and compresses the dependency matrix, and produces a more trustworthy final answer. Experiments on five logical-reasoning benchmarks and five LLMs show that, without relying on external solvers, MatrixCoT enhances both robustness and interpretability when tackling complex symbolic reasoning tasks, while maintaining competitive performance.


翻译:随着网络知识与语义日益复杂,提升大语言模型的理解与推理能力变得尤为重要。思维链提示已被证明能增强大语言模型的推理能力,但在依赖符号表达式与严格演绎规则的逻辑推理任务上仍显不足。神经符号方法通过外部求解器强制保证形式正确性以弥补这一缺陷,但这些求解器对格式高度敏感,模型输出的微小不稳定都可能导致频繁的处理失败。大语言模型驱动的方法避免了解析脆弱性,但缺乏结构化表示与过程级纠错机制。为进一步增强大语言模型的逻辑推理能力,我们提出MatrixCoT——一种基于矩阵规划的结构化思维链框架。具体而言,我们对自然语言表达式进行规范化与类型标注,附加显式引用字段,并引入基于矩阵的规划方法以保持步骤间的全局关系。该规划成为可验证的产物,使执行更加稳定。为进行验证,我们还增加了反馈驱动的重规划机制。在语义等价约束下,该机制能识别遗漏与缺陷,重写并压缩依赖矩阵,从而生成更可信的最终答案。在五个逻辑推理基准与五种大语言模型上的实验表明,在不依赖外部求解器的情况下,MatrixCoT在处理复杂符号推理任务时,既保持了有竞争力的性能,又同时增强了鲁棒性与可解释性。

0
下载
关闭预览

相关内容

从感知到推理:深度思考赋能多模态大语言模型
专知会员服务
24+阅读 · 2025年11月19日
AI进入推理模型时代,一文带你读懂思维链
专知会员服务
39+阅读 · 2025年3月17日
大模型数学推理数据合成相关方法
专知会员服务
36+阅读 · 2025年1月19日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
从感知到推理:深度思考赋能多模态大语言模型
专知会员服务
24+阅读 · 2025年11月19日
AI进入推理模型时代,一文带你读懂思维链
专知会员服务
39+阅读 · 2025年3月17日
大模型数学推理数据合成相关方法
专知会员服务
36+阅读 · 2025年1月19日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员