论文解读 | 从预训练到后训练：理解大模型推理能力如何形成

导读

强化学习后训练已经成为提升大语言模型复杂推理能力的关键环节。无论是数学、代码还是多步决策任务，当前主流路线往往是先做大规模预训练，再通过监督微调和带可验证奖励的 RL 进一步激发模型能力。但一个基础问题仍然没有被充分回答：预训练和 RL 到底如何相互作用？ 这篇论文《Understanding Reasoning from Pretraining to Post-Training》正是围绕这一问题展开。作者不直接在自然语言大模型上做昂贵且难以控制的全流程实验，而是选择国际象棋作为可控推理试验场：预训练阶段让模型学习人类棋局轨迹，SFT 阶段使用合成推理轨迹，RL 阶段在有明确标准答案的棋题环境中用可验证奖励训练。通过这种方式，论文系统扫描模型规模、预训练 token 数和 RL 计算量，建立了一个连接预训练与 RL 后训练的 scaling law。 论文的核心结论可以概括为三点。第一，预训练损失能够预测给定 RL 计算量下的最终性能，预训练越充分，RL 后训练的起点和收益通常越好。第二，RL 的学习斜率与预训练 token 数近似线性相关，也就是说更长预训练不仅提高初始能力，还能让 RL 学得更快。第三，RL 并不只是简单“锐化”SFT 已经偏好的答案：在简单棋题上，它主要放大已有正确动作；在困难棋题上，它可以从尾部概率中挖出原本几乎缺席的正确动作，但也可能同时强化错误模式。 图1：论文标题、作者与摘要。论文研究从预训练到后训练的推理能力形成机制，使用国际象棋构建可控实验场。

论文信息

论文标题：Understanding Reasoning from Pretraining to Post-Training 作者：Jingyan Shen、Ang Li、Salman Rahman、Yifan Sun、Micah Goldblum、Matus Telgarsky、Pavel Izmailov 机构：New York University、Modal Labs、University of California, Los Angeles、University of Illinois Urbana-Champaign、Columbia University 论文链接：https://arxiv.org/pdf/2607.16097 代码与模型：https://github.com/pavelslab-nyu/pre2post-chess ，https://huggingface.co/pavelslab-nyu/pre2post-chess

一、为什么要用国际象棋研究推理后训练

直接研究自然语言 LLM 的预训练到 RL 后训练过程非常困难。原因有三点。 第一，预训练语料巨大且不可控。一个语言模型在什么数据上学到了什么能力，往往很难分清。第二，系统扫描预训练计算量、模型规模和 RL 计算量的成本极高。第三，自然语言推理通常只有最终答案是否正确，缺少每一步策略动作的细粒度可验证信号。 国际象棋提供了一个折中方案。它有明确规则、紧凑动作空间、丰富人类棋局数据，也有可验证的战术题环境。更重要的是，每一步棋都可以作为一个“推理动作”被检查，模型的策略分布、候选搜索树和错误模式都能被精确分析。 图2：论文整体框架。作者在棋类数据上模拟 LLM 式 pre-to-post 训练流程，包括人类棋局预训练、合成推理轨迹 SFT，以及可验证棋题环境中的 RL。 论文的流程非常接近现代 LLM 训练管线。预训练阶段，模型从 Lichess 人类棋局中学习下一步走法序列。SFT 阶段，作者用 proposal model 生成多条候选轨迹，并合并成搜索树，再序列化成类似 CoT 的合成推理轨迹。RL 阶段，模型在棋题环境中提出候选走法，环境检查是否匹配 gold move；走对则推进到下一状态，走错则终止并给低奖励。 这套设置不是为了做最强 chess engine，而是为了获得一个可控、可重复、可扫描的“推理实验箱”。在这里，研究者可以问清楚：更好的预训练到底会怎样影响 RL？RL 到底是在已有策略上加权，还是能真正发现新动作？

二、联合预训练-RL scaling law：预算该怎么分

论文首先研究固定总计算量下，预训练和 RL 后训练之间的预算分配问题。直觉上，预训练越多，模型初始策略越好，但留给 RL 的计算量越少；预训练越少，RL 计算量更多，但初始策略可能太弱。怎样分配才最优？ 作者训练了从 5M 到 1B 参数的一组模型，并系统扫描 36 组 pretraining-RL 配置。评估指标包括 pass@1 和 pass@k，横轴则考虑总计算量、预训练计算量和 RL 计算量。 图3：不同模型规模下 pretraining-RL 组合的经验性能前沿。黑色曲线表示 Pareto frontier，颜色表示预训练计算量。 结果显示，随着总计算预算增加，最优方案中 RL 所占比例也上升。对 pass@1 来说，RL 的直接贡献更明显；而 pass@16 等多样化采样指标更依赖预训练质量。这一点很符合直觉：RL 会让模型更倾向于输出某个高奖励答案，因此更直接提升 top-1 表现；但更大 k 下能否覆盖正确答案，仍取决于预训练阶段给策略分布留下的候选空间。 论文进一步提出一个联合 scaling law，将 post-RL performance 表达为预训练损失与 RL 计算量的函数。形式上，给定模型参数 N、预训练 token 数 T 和 RL 计算量 CRL，最终表现可以拆成两部分：由预训练损失决定的基准项，以及由模型规模和预训练 token 数调节的 RL 增益项。

三、预训练性质可以预测 RL 的学习行为

论文最重要的发现之一是，预训练质量不仅影响 RL 的起点，也影响 RL 的斜率。 具体来说，在固定参考 RL 计算量下，预训练验证损失越低，post-RL reward 越高；并且随着参考 RL 计算量变大，这种关系更稳定。与此同时，RL reward curve 的局部斜率与预训练 token 数呈明显正相关。换句话说，训练得更久的 pretrained prior，不只是初始更强，还更容易被 RL 继续提升。 图4：预训练性质预测局部 RL scaling 行为。预训练损失预测固定 RL 计算量下的 post-RL 表现，预训练 token 数与 RL 学习斜率呈正相关。 这一点对大模型训练非常关键。很多讨论会把预训练和 RL 看作可替代的两个阶段：如果 RL 足够强，是否可以减少预训练？这篇论文的结论更细：预训练并不是简单给 RL 一个起点，而是在塑造 RL 的可学习性。好的预训练 prior 可以让 RL 更有效地利用后续计算。 这种结果也解释了为什么经验上“弱 base model 加强 RL”很难完全替代“强 base model 加合理 RL”。如果模型在预训练中没有形成足够好的候选动作分布和潜在结构，RL 面对的探索空间会更稀疏，学习曲线也可能更慢。

四、计算最优前沿：RL 比例会随预算增大而增加

将联合 scaling law 与 Chinchilla 风格的预训练损失预测结合后，作者可以模拟不同模型规模、不同预训练 token 数、不同 RL 计算量下的训练 recipe，而不必实际训练所有配置。 图5：基于拟合 scaling law 外推得到的计算最优前沿。随着总计算量增加，最优配置中 RL 所占比例逐步上升。 模拟结果显示，计算最优 RL fraction 会随着总预算增长而增加。例如在论文报告的范围内，最优 RL 比例从较小模型/较低预算下约 20% 上升到更大模型/更高预算下约 28%。这并不表示 RL 应该压倒预训练，而是说明随着总体预算扩大，RL 也应当被同步放大。 另一个有意思的现象是，最优预训练 token 分配并没有系统偏离 Chinchilla scaling。这意味着，即便加入 RL 后训练，预训练阶段仍大体遵循已有语言模型 scaling law 的计算最优逻辑。RL 更像是在 Chinchilla 预训练前沿之上增加一个新的预算维度，而不是完全推翻预训练规模律。 对实际训练的启示是：不能只问“预训练还是 RL 哪个更重要”。更合理的问题是，在给定总预算和模型规模下，预训练需要达到什么损失水平，RL 才能获得足够好的边际收益。

五、RL 到底改变了什么：锐化、发现与错误放大

关于 RL 后训练，已有研究存在不同观点。一种观点认为 RL 主要是 sharpening：把模型本来就会的推理模式变得更偏好、更稳定。另一种观点认为 RL 能组合或发现新能力，产生超出 base model 偏好的行为。 这篇论文利用棋题环境给出更细粒度的答案：两者都可能发生，而且取决于问题难度。 图6：RL 在不同难度棋题上以不同方式重塑 move policy。简单题上主要放大已有正确动作，困难题上会出现 tail discovery，同时也可能放大错误模式。 在简单棋题中，SFT policy 往往已经把正确走法排在靠前位置，RL 的主要作用是进一步放大这些正确动作的概率。这对应 ground-truth amplification。 在困难棋题中，情况更复杂。正确动作可能在 SFT policy 中几乎没有概率质量，甚至不在 top-k 候选中。RL 训练后，这些原本处于尾部的正确动作有时会被提升到前列，形成 tail discovery。这说明 RL 并非总是简单锐化已有偏好，它确实能够在某些情况下把“潜在正确但低概率”的动作挖出来。 但困难题也带来风险。RL 可能同时强化错误动作，形成 wrong-mode amplification。也就是说，RL 的探索和奖励信号并不总是只把模型推向正确模式；在策略分布复杂、候选动作接近时，它也可能把错误模式变得更自信。

六、推理轨迹如何演化：搜索更宽，但更深仍困难

论文还分析了结构化 reasoning trace 在 RL 训练中的变化。作者将模型生成的 CoT 式棋步轨迹解析成搜索树，从三个角度衡量：搜索形状、走法质量和搜索行为。 图7：困难棋题中的策略演化案例。预训练策略高度偏向错误动作，SFT 后概率分散，RL 后正确动作被提升，但错误动作仍可能保留较高概率。 实验显示，RL 会让搜索宽度增加，即模型会探索更多候选；走法质量也会上升，模型自己的走法和对手响应预测都更接近强引擎排序；模型也更可能把 ground-truth move 包含进候选 CoT 中。 但论文也发现，搜索深度并没有同步显著增加。模型仍然难以恢复需要超过 5 步的 ground-truth continuation。这说明当前 RL 更像是改善候选生成与选择，而不是自然学会深层、系统性的长程搜索。 这个结论对语言模型推理同样有启发。很多 RL 后训练可能提高了模型在局部候选上的排序能力，或让它更常选择已知高奖励模式，但未必自动带来真正更深的推理规划。要让模型进行更长 horizon 的系统搜索，可能还需要专门的数据构造、训练目标或环境设计。

七、从棋类迁移到数学：模式是否仍存在

为了检验棋类结果是否只是领域特例，论文还做了一个数学领域的定性迁移实验。作者使用 1B 参数 OLMo-2 模型，在数学领域文本上训练不同预训练 token 数的 checkpoint，从 10B 到 200B tokens；随后进行数学 CoT SFT 和 RL，并在 GSM8K、MATH500 等任务上评估。 图8：预训练到 RL 的预测模式在数学领域中也出现。更低预训练损失对应更高 post-RL 表现，更长预训练 token 数对应更陡的 RL 改善斜率。 结果显示，棋类中观察到的模式在数学任务上也有早期证据：预训练损失更低的 checkpoint 在固定 RL 计算量下达到更高 post-RL 表现；RL reward curve 的斜率也随预训练 token 数近似线性改善。 这并不意味着棋类 scaling law 可以直接外推到所有自然语言任务。作者也强调，数学实验与棋类实验在任务格式、数据分布和训练 recipe 上都不同。但这种相似性说明，pretraining-to-post-training interface 可能具有更一般的规律：RL 的效率不仅由 RL recipe 决定，也由预训练阶段形成的模型状态决定。

八、这篇论文的意义与局限

这篇论文的贡献在于，把“预训练与 RL 的接口”从经验问题推进到可量化问题。以往我们经常分别研究 pretraining scaling law 和 RL scaling recipe，但实际训练中二者是连续管线。一个模型在 RL 阶段能学到什么，深受预训练 prior 的影响。 论文提供了三个层面的价值。 第一，方法层面，它提出了一个可控 chess testbed，让研究者能低成本扫描预训练、SFT、RL 三阶段，并观察策略分布和推理轨迹的细粒度变化。 第二，规律层面，它建立了联合 pretraining-RL scaling law，说明预训练损失和预训练 token 数可以预测 post-RL 性能和 RL 学习斜率。 第三，机制层面，它区分了 RL 的不同作用：在简单问题上放大已有正确偏好，在困难问题上发现尾部正确动作，同时也可能强化错误模式。 当然，论文也有明显局限。国际象棋虽然是很好的可控环境，但与自然语言推理仍有差异：动作空间更小，奖励更明确，状态转移更规则。数学迁移实验规模也相对有限，更像是定性验证而不是最终结论。此外，论文的 scaling law 是局部拟合，适用于所研究的模型规模和计算范围，不应直接当作通用训练配方。 尽管如此，它提出的问题非常重要：未来做 RL 后训练，不能只优化 RL 算法本身，还要问预训练阶段为 RL 留下了怎样的候选空间、表示结构和可探索能力。真正的推理能力，可能正是在预训练 prior 与后训练经验之间共同形成的。

参考资料

Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov. Understanding Reasoning from Pretraining to Post-Training. arXiv:2607.16097, 2026. 论文 PDF：https://arxiv.org/pdf/2607.16097