博士论文 | Towards Understanding and Improving Large Language Model Reasoning

导读

大语言模型已经能在数学、代码、智能体和多模态任务上展现很强能力，但“会做很多题”并不等于“推理可靠且高效”。一个模型可能记住了“A 是 B”，却无法回答“B 对应 A”；也可能在注入新知识后，把无关知识错误组合成幻觉。另一方面，链式思维虽然能提升复杂推理，却会带来高昂推理成本，并且离散文本思维链往往过早押注某条路径，一旦早期路径错误，后续就很难恢复。 UC Berkeley 2026 年博士论文《Towards Understanding and Improving Large Language Model Reasoning》围绕两条轴线展开：可靠性与效率。作者 Hanlin Zhu 从理论与实验两方面研究 LLM 推理的系统性失败，以及如何通过潜空间推理提升测试时推理效率。论文前半部分分析模型如何学习参数知识、如何组合原子知识、为什么会出现反转诅咒与上下文外推理中的幻觉；后半部分研究 continuous CoT，也就是连续思维链，解释它为何能在潜空间中保持多个候选解的叠加，从而实现隐式并行思考。 这篇论文的特点是理论味很重，但问题非常现实：当我们把 LLM 用到医疗、科研、代码和智能体任务中时，必须知道模型什么时候只是在记忆句子，什么时候能真正组合知识，什么时候会因为新知识注入而产生幻觉，以及怎样在不无限拉长文本 CoT 的情况下提升推理能力。

论文信息

论文标题：Towards Understanding and Improving Large Language Model Reasoning 作者：Hanlin Zhu 机构：University of California, Berkeley, Electrical Engineering and Computer Sciences 报告编号：UCB/EECS-2026-119 导师：Stuart Russell、Jiantao Jiao 委员会成员：Stuart Russell、Jiantao Jiao、Song Mei 时间：2026 年 5 月 12 日 论文链接：https://www2.eecs.berkeley.edu/Pubs/TechRpts/2026/EECS-2026-119.pdf

1 Introductions 引言

两条主线

论文的核心目标是建立理解和改进 LLM 推理能力的系统框架，重点放在两个方面：可靠性和效率。 可靠性部分关注模型如何在训练中学习参数知识，以及在测试时如何组合多个原子知识推出新结论。作者使用 out-of-context reasoning 作为具体视角：模型在训练中看到某些事实或关系，但测试时需要在没有完整上下文提示的情况下，把分散知识组合起来完成推断。这既能解释模型为何有时能泛化，也能解释为什么知识注入后会出现幻觉。 效率部分关注测试时扩展。传统 chain-of-thought 通过生成更长文本推理链提升能力，但会显著增加推理成本，而且离散思维链容易过早承诺某条候选路径。论文研究 latent space reasoning，尤其是 chain-of-continuous-thought，证明连续思维可以在向量空间中保持多个解的叠加，从而实现类似并行搜索的效果。

论文组织

第 2 章研究反转诅咒，解释为什么自回归 LLM 可能只记住训练句子的方向，而不能自动学会反向关系。第 3 章研究上下文外推理，把泛化和幻觉放进同一个理论框架。第 4 章给出 continuous CoT 的理论保证，展示连续思维如何通过叠加表征解决图可达性问题。第 5 章进一步分析这种叠加机制如何在训练中自然涌现。

2 LLMs Fail in Generalization: the Reversal Curse

反转诅咒是什么

反转诅咒指的是：模型在训练中学习到“A 到 B”的事实后，测试时可能无法回答“B 到 A”。例如训练中见过“某人出生在某地”，模型能按原叙述方向回忆，但如果问题换成“出生在某地的是谁”，模型未必能正确回答。这个现象说明，模型并不总是把事实抽象成对称或可组合关系，而可能只是按训练序列方向记忆。 作者从训练动力学角度分析这一现象。论文研究双线性模型和一层 Transformer，并在一定假设下证明：当训练数据只提供某个方向的关系时，模型对应反方向的权重几乎不会被训练到。因此，即使训练损失接近零，反向测试仍可能接近随机猜测。

实验现象

论文构造合成数据：训练集中包含实体对的某一方向关系，验证集中考察未见方向。实验曲线显示，训练方向的负对数概率快速下降，说明模型几乎完美学会训练句子；但验证方向的损失不仅没有下降，反而保持很高，意味着模型无法在反向关系上优于均匀随机猜测。

权重可视化进一步说明问题。训练中出现的方向对应矩阵对角线很强，而未出现的反向关系对角线接近零。这支持论文的核心解释：当前自回归训练范式会让模型学习局部序列预测权重，却不一定迫使模型抽取更高层关系规则。

启示

这一章的结论并不是“LLM 永远不能泛化”，而是更细致地指出：在某些训练范式和数据结构下，模型会把关系作为句子级模式分别记住，而不是自动推导间接结论。要缓解这一问题，可能需要更好的数据增强、上下文学习、规划机制或训练目标，让模型在训练中真正接触或被约束到需要组合的关系。

3 Understanding Out-of-context Reasoning in LLMs

泛化与幻觉的统一视角

第 3 章研究 out-of-context reasoning，简称 OCR。直观来说，模型在训练中学到一些新事实，同时预训练中已有世界知识或关系规则；测试时，它需要把二者组合起来产生一个未直接训练过的结论。例如模型学习“Alice lives in Paris”，再利用“住在巴黎的人说法语”推出“Alice speaks French”。 这种能力看起来像泛化，但论文指出，它也能解释幻觉。如果模型把无因果关系的事实和暗示错误关联起来，就可能在知识注入后推导出不存在的信息。因此，泛化和幻觉不是完全不同的问题，而可能来自同一种上下文外组合能力。

一层注意力模型的机制

论文分析一层线性注意力模型，比较 factorized 和 non-factorized 两类结构。结论是：factorized 模型能学到支持 OCR 的结构化权重，而 non-factorized 模型更容易停留在记忆训练事实的方案。理论上，两者对应不同优化偏置：factorized 形式更接近核范数目标，能诱导低秩结构，从而支持跨事实和暗示的组合。

对知识注入的意义

这一章的重要现实意义在于解释微调后的幻觉。模型注入新事实后，如果已有世界知识与新事实之间存在合理因果关系，OCR 会表现为有用泛化；如果二者只是统计上被错误绑定，OCR 就会表现为幻觉。换言之，增强模型的知识组合能力必须同时配套更强约束，否则“会推理”也可能变成“会编造”。

4 Reasoning by Superposition via Continuous CoT

为什么需要连续思维链

传统 CoT 把推理写成离散文本 token。它的好处是可读，但代价是推理长度长、成本高，并且每一步都会把模型推向某个具体路径。对于需要搜索多条候选路径的问题，离散 CoT 可能过早选择一个看似合理但错误的方向。 Continuous CoT 的想法是让思维步骤存在于连续向量空间，而不是只生成离散文字。连续向量可以同时包含多个候选节点或候选解的信息，也就是“叠加”。这种叠加让模型在一个思维状态中隐式表示多个可能路径，避免过早承诺。

图可达性上的理论结果

论文以图可达性为核心任务：给定有向图、起点和候选终点，判断是否存在从起点到终点的路径。作者给出理论构造，证明两层 Transformer 配合 O(n) 个连续思维步骤，可以高效解决 n 个节点、直径为 D 的图可达性问题。相比之下，已有离散 CoT 常需要更长步骤。 直观上，每个连续 thought 不是单个节点，而是当前可达前沿节点集合的叠加。模型通过注意力在每一步扩展前沿，把所有可达候选同时推进。最终预测时，只需判断候选终点是否处在可达叠加中。

实验结果

实验在 ProsQA 的图推理子集上验证了理论直觉。Coconut 方法显著优于普通 CoT、无 CoT，以及更深层的 CoT 变体，说明连续思维链确实能在较少推理步骤下提升图推理能力。

5 Emergence of Superposition in Continuous CoT

叠加机制如何涌现

第 5 章进一步追问：continuous CoT 中的叠加机制是否需要显式监督？论文分析一个简化两层 Transformer 的训练动力学，说明在温和假设下，模型可以在训练中自然学到这种机制。 作者把训练分成两个阶段。第一是 thought generation 阶段，模型学习生成连续思维，每个 thought 编码从根节点在若干步内可达的节点集合。第二是 prediction 阶段，模型学习从最后一个连续思维中读出答案，也就是判断候选节点是否可达。

两个关键信号

论文把答案预测阶段拆成两个信号。第一是 residual carryover，它把最后一个 thought 中已经探索到的节点带入答案 token。第二是 candidate lift，它提高候选节点的 logit，使模型能在最终候选中选择可达节点。实验动态显示，这些信号会在训练进入预测阶段后快速上升。 训练动态图还显示，在 thought generation 阶段，模型逐渐学会更关注 frontier edges，也就是从已探索区域通向下一层可达节点的边。更有趣的是，当早期阶段学到这一机制后，后续更长 reasoning step 可以更快复用它，表现出一定的长度泛化。

理论意义

这一章说明，continuous CoT 的价值不只是工程技巧，而是可能对应 Transformer 可学习的内部算法。模型可以把多个候选路径压缩到连续表示中，通过注意力和输出 logit 的组合完成近似并行搜索。对于未来的测试时扩展，这提供了一条不同于“生成更长文本”的路线。

总结

这篇博士论文把 LLM 推理放在“可靠性”和“效率”两个维度上系统分析。可靠性方面，反转诅咒揭示了模型可能只按训练方向记忆事实；上下文外推理则进一步说明，模型组合知识的能力既能带来泛化，也能导致知识注入后的幻觉。效率方面，continuous CoT 提供了一种潜空间推理方案，使模型可以通过叠加表示隐式维护多个候选解，降低对长文本思维链的依赖。 对当前大模型研究而言，这篇论文的启示很直接：提升推理能力不能只看 benchmark 分数，还要理解模型如何学习事实、如何组合知识、如何在新知识注入后避免幻觉，以及如何用更低成本完成复杂搜索。未来更可靠、更高效的 LLM，可能需要同时具备更好的训练目标、更强的组合约束、更透明的内部机制，以及更成熟的潜空间推理范式。