ICML 2026 | REAR：通过奖励分解，在测试时重对齐大模型偏好

大语言模型已经能生成流畅回答，但“流畅”不等于“符合当前用户偏好”。同一个问题，在不同用户设定下可能需要完全不同的回答风格：有人希望严谨保守，有人希望简洁直接，有人希望角色扮演保持人设，有人要求视觉问答必须只依据图像证据。传统后训练方法可以把模型调到某类偏好上，但需要标注数据、训练成本和额外部署流程；而测试时扩展方法虽然在数学和代码等可验证任务上很有效，却很少被系统地用于主观、开放的偏好对齐。 ICML 2026 论文 REAR: Test-time Preference Realignment through Reward Decomposition 提出了一种训练无关的测试时偏好重对齐框架。它的核心思想是：不要额外训练奖励模型，也不要重新微调大模型，而是把模型隐含的奖励拆成“问题相关奖励”和“偏好相关奖励”两部分，再在推理时重新调节二者的比例，从而选择更符合用户偏好的候选回答。 论文给出的 REAlignment Reward，简称 REAR，可以被写成 token 级策略 log-probability 的线性组合，因此能直接接入 best-of-N 采样、树搜索等测试时扩展算法。实验显示，REAR 在 PrefEval、Multifaceted Bench、Ping-Pong 等偏好对齐/角色扮演基准上超过多种测试时基线，并能迁移到数学推理、视觉幻觉抑制和 Llama 系列模型上。

图1：REAR 的基本机制。模型面对同一问题时可能生成多个表面合理但偏好不一致的回答；REAR 将问题本身的回答质量与用户偏好约束同时纳入评分，最终选择更符合当前偏好的候选。

论文信息

论文标题：REAR: Test-time Preference Realignment through Reward Decomposition 论文链接：https://arxiv.org/abs/2606.30339 会议：ICML 2026 作者：Fuxiang Zhang、Pengcheng Wang、Chenran Li、Yi-Chen Li、Yuxin Chen、Lang Feng、Chenfeng Xu、Masayoshi Tomizuka、Bo An 代码：https://github.com/mansicer/REAR

1. 研究背景：为什么偏好对齐适合在测试时做？

偏好对齐的难点在于，用户偏好不是单一标签。它可能来自系统提示、历史对话、角色设定、领域规范，也可能只在当前样本中临时出现。例如：

• 数学题中，用户希望模型“仔细推理并核对答案”；
• 视觉问答中，用户希望模型“只说图像中能看到的事实，不确定就说明不确定”；
• 多轮角色扮演中，用户希望模型长期保持某个角色的语言风格；
• 个性化助手中，用户可能明确表达“不喜欢游戏化学习建议”。

如果为每一种偏好都收集偏好数据并后训练模型，成本很高，也难以覆盖真实部署中的长尾需求。测试时扩展提供了另一条路径：生成多个候选，再用某种评分函数选择更好的答案。问题在于，数学和代码可以用正确性验证器或单元测试判断，而开放式偏好任务没有天然的“正确答案”。外部奖励模型能提供评分，但它需要额外模型、额外推理开销，并且不一定懂当前用户的细粒度偏好。 REAR 的切入点正是这里：如果偏好已经以文本形式给到模型，那么模型在“带偏好上下文”和“不带偏好上下文”两种条件下的概率分布差异，本身就包含了偏好相关信号。作者希望把这种信号显式提取出来，用作测试时选择候选回答的奖励。

2. 方法核心：把隐含奖励拆成两部分

论文从 RLHF 和最大熵强化学习视角出发，把大模型生成看成一个 token 级 MDP。模型在每一步根据当前状态生成下一个 token，完整回答可以看作一条轨迹。一个经过指令对齐或 RLHF 后的模型，可以被理解为在最大化某个隐含奖励。 REAR 的关键假设是：当输入包含问题 xq 和偏好描述 xp 时，模型隐含优化的奖励可以拆成两类：

• 问题相关奖励：回答是否解决了问题本身，例如是否正确、是否有帮助、是否信息充分；
• 偏好相关奖励：回答是否满足偏好文本，例如是否符合角色设定、是否避免某种表达方式、是否坚持事实依据。

在没有显式偏好调节时，模型内部会以某个隐含权重平衡这两种奖励。但这个隐含权重未必适合当前用户。REAR 要做的是在测试时引入一个可控系数，重新放大或缩小偏好相关部分，让模型从“默认对齐”变成“面向当前偏好的重新对齐”。 直观地说，REAR 并不是让模型凭空学会新偏好，而是把模型已经能感知到的偏好信号重新加权。只要模型在带偏好提示时的概率分布发生了有意义变化，REAR 就可以利用这种变化来排序候选回答。

3. 可计算形式：不训练奖励模型，只用策略概率

一个直接问题是：隐含奖励不可见，怎么计算 REAR？ 论文证明，在最大熵 RL 框架下，REAR 可以转化为两种策略 log-probability 的线性组合：一种是在只给问题时模型对生成 token 的概率，另一种是在问题加偏好文本时模型对同一 token 的概率。与候选无关的势函数项在排序时可以忽略，因此最终只需要比较候选轨迹的 REAR 分数。 这带来三个实践优势。 第一，无需训练额外奖励模型。REAR 只依赖基础模型自己的 log-probabilities，不需要收集偏好数据，也不需要训练 value head 或 reward model。 第二，可以评分完整回答，也可以评分片段。外部奖励模型通常只能对完整回答给一个分数，而 REAR 是 token/segment 级的，因此可以接入树搜索，在生成过程中逐步引导搜索方向。 第三，偏好是自由文本。REAR 不要求预定义属性标签，也不要求把偏好映射成固定维度的控制向量。用户写下偏好文本后，方法就可以根据“带偏好”和“不带偏好”的概率差异来工作。

4. 两种测试时算法：BoN 与 DVTS

论文把 REAR 接入了两类测试时扩展算法。 第一类是 Best-of-N sampling with REAR。系统先从带偏好提示的模型中采样 N 个候选回答，然后分别计算每个候选的 REAR 分数，选择分数最高的回答作为最终输出。这一路径实现简单，适合已有推理服务，只要能获得 token log-probabilities 即可。 第二类是 DVTS with REAR，即 Diverse Verifier Tree Search。它不是一次性生成完整回答再筛选，而是在生成过程中维护多条候选轨迹，对每个扩展片段计算 REAR 分数，同时保持候选多样性。由于 REAR 可以给片段打分，DVTS 能在更早阶段排除偏好不一致的路径，也能避免所有候选都集中到相似回答上。 两种方法对应不同部署场景：BoN 更轻量，适合快速接入；DVTS 更像搜索式推理，计算预算更高，但能更细粒度利用 REAR 的片段级信号。

5. 偏好对齐实验：REAR 在多类基准上稳定领先

论文首先在三类偏好对齐基准上评估，包括 PrefEval、Multifaceted Bench 和 Ping-Pong Bench。PrefEval 覆盖显式偏好、隐式选择和隐式偏好；Multifaceted Bench 强调实例级 rubric；Ping-Pong Bench 则测试多轮角色扮演中的人设与交互风格保持。 图2：偏好对齐主结果。DVTS w/ REAR 和 BoN w/ REAR 在多数子任务上超过 greedy、GenRM、Amulet 和 Linear Alignment 等基线，说明 REAR 能把测试时采样预算有效转化为偏好对齐收益。 从表中可以看到，DVTS w/ REAR 在 PrefEval 显式偏好上达到 77.7，高于 greedy 的 67.0；在 PrefEval 隐式选择上达到 78.6，高于 greedy 的 71.5；在隐式偏好上达到 19.1，也优于其他方法。BoN w/ REAR 同样在多个指标上领先，说明即使不用复杂树搜索，简单采样加 REAR 排序也能获得明显提升。 值得注意的是，GenRM 使用基础模型生成评价，但在多个任务上不如 REAR。论文认为原因在于，生成式评价本身仍可能不稳定，且通常只对完整回答评分；REAR 则直接来自模型在两种上下文下的 token 概率差异，更贴近偏好文本对生成分布的实际影响。

6. 长上下文鲁棒性：偏好离问题越远，REAR 越有价值

真实对话中，用户偏好往往不会紧挨着当前问题。它可能出现在很多轮之前，被大量上下文隔开。论文因此构造了长上下文评估：在偏好上下文和当前问题之间插入额外对话轮次，测试方法能否在 1k、2k、4k、10k、16k token 场景下保留偏好信息。 图3：长上下文评估。随着上下文长度增加，所有方法都会变难，但 REAR-guided 方法在显式偏好和隐式选择任务中持续领先，尤其在长上下文下比 GenRM 和 greedy 更稳。 结果显示，DVTS w/ REAR 在显式偏好任务中从 0 turns 的 77.7，到 100 turns/16k tokens 时仍有 7.2；BoN w/ REAR 也保持在 5.6，高于 greedy 的 4.0 和 GenRM 的 4.5。在隐式选择任务中，DVTS w/ REAR 在 16k tokens 下达到 42.5，BoN w/ REAR 达到 41.7，也都高于 GenRM 和 greedy。 这组实验的意义在于：REAR 的评分信号来自模型自身的条件概率，不需要额外评价模型在长上下文中重新理解整个输入，因此在上下文扰动下更稳。对于实际助手系统，这一点很重要，因为用户偏好通常是跨轮累积的。

7. 泛化到数学推理：偏好文本也可以变成“推理约束”

虽然 REAR 主要面向偏好对齐，但论文进一步测试了数学推理任务。这里的偏好文本不是个性化风格，而是类似“请仔细、严谨地推理并检查答案”的任务约束。作者在 MATH500、AIME24、AIME25、AMC23 上比较 REAR 与多数投票。 图4：数学推理泛化。随着采样数量增加，REAR 在多个数学基准上通常优于多数投票，说明偏好文本可以作为“推理质量约束”，帮助选择更可靠的候选答案。 从曲线看，REAR 的收益并不局限于某个模型。论文展示了 Qwen2.5-7B-Instruct 和 Qwen3-4B-Instruct-2507 两组结果，在多个 benchmark 和不同采样预算下，REAR 通常能比 majority voting 选出更好的候选。其本质原因是，多数投票只看答案频率，而 REAR 会利用“严谨推理偏好”改变后的概率分布，偏向选择更符合推理约束的回答。 这也说明 REAR 的“偏好”概念并不狭窄。只要能写成自然语言约束，它既可以表达用户风格，也可以表达任务规范。

8. 视觉幻觉抑制：把事实 grounding 写进偏好

论文还把 REAR 应用于多模态幻觉检测基准 MMHal-Bench。实验中，作者向系统提示中注入偏好文本，要求模型严格依据图像和问题作答，并在不确定时保持校准。基础模型使用 Qwen3-VL-8B-Instruct。 图5：视觉任务泛化。BoN w/ REAR 在 MMHal-Bench 上取得更高综合分数，并降低幻觉率，说明 REAR 可以利用“严格依据图像证据”的偏好文本来改进多模态回答选择。 结果中，BoN w/ REAR 的 MMHal Score 为 84.20，优于 BoN w/ GenRM 的 80.21 和 greedy 的 78.99；幻觉率为 21.87，低于 GenRM 的 23.96 和 greedy 的 28.12。这说明偏好文本不仅能调整文本生成风格，也能作为视觉问答中的事实性约束。

9. 与外部奖励模型比较：REAR 更轻，也有竞争力

为了验证 REAR 是否只是“弱奖励模型替代品”，论文将其与外部奖励模型 Skywork-Reward-Llama-8B 进行比较。外部 RM 需要额外加载模型并对每个候选评分，而 REAR 用基础模型自身概率即可计算。 图6：外部奖励模型对比与跨模型迁移。REAR-guided 方法在多个偏好任务上超过外部 RM best-of-N，并能迁移到 Llama-3.1-8B-Instruct，说明奖励分解不是某个 Qwen 模型的特例。 结果显示，在相同 best-of-N 框架下，REAR 在四个任务中的三个超过外部 RM；DVTS w/ REAR 进一步提升了部分任务表现。跨模型实验中，作者把 REAR 应用到 Llama-3.1-8B-Instruct，并沿用 λ=20，不做逐任务调参。DVTS w/ REAR 在 PrefEval Choice、PrefEval Explicit 和 Multifaceted Bench 上分别达到 82.1、86.4、74.6，均超过 greedy 和 GenRM。 这组实验支持两个结论：其一，REAR 的收益不是靠额外奖励模型容量换来的；其二，奖励分解视角在不同模型家族上仍能成立。

10. 超参数分析：偏好强度不是越大越好

REAR 中的关键超参数是 realignment strength，也就是偏好相关奖励的放大强度。直觉上，偏好权重越大，模型越听偏好；但论文发现，过大的偏好强度可能损害回答问题本身的能力。 图7：λ 消融。多数任务在中等 λ 附近表现最好，说明偏好对齐需要在“遵循偏好”和“保持回答质量”之间取得平衡。 在 PrefEval、Multifaceted、Ping-Pong 和数学任务上，性能通常呈非单调趋势。例如 PrefEval 隐式选择中，BoN w/ REAR 和 DVTS w/ REAR 在 λ=20 附近表现最好；Ping-Pong 中 BoN 的较大 λ 更有利，而 DVTS 在 λ=1 时表现最好。论文进一步分析发现，随着 λ 增大，偏好相关分数会提高，但 helpfulness 等问题相关质量可能下降。 这提示部署时不能把 REAR 理解为“偏好越强越好”的硬控制器。它更像一个可调的重对齐旋钮，需要在任务质量和偏好遵循之间折中。论文默认使用 λ=20，并通过验证集选择实验说明这个设置在多数任务上比较稳健。

11. 方法价值：把测试时扩展带到开放式偏好任务

REAR 的贡献不只是提出一个新 scoring function，更重要的是把测试时扩展从可验证任务推广到了偏好对齐场景。 过去，测试时扩展在数学、代码中容易成立，因为有明确 verifier；而偏好对齐任务没有标准答案，评分容易依赖额外 RM 或 LLM-as-a-judge。REAR 提供了一种内生的选择信号：比较模型在“问题”和“问题+偏好”两种条件下对同一候选的支持程度，从而估计该候选是否更符合偏好。 这使得偏好对齐可以更像推理时策略，而不一定必须变成训练问题。对于产品系统，它意味着可以在不改模型权重的情况下，为不同用户、不同会话、不同任务临时调整输出偏好。

12. 局限与启发

REAR 仍有一些边界。 首先，它依赖基础模型对偏好文本有足够理解。如果模型本身无法识别某种偏好，或者偏好表达与任务无关，REAR 不会凭空创造有效信号。论文在数学任务中测试了无关偏好文本，发现效果接近 greedy，这说明 REAR 并不是万能增益器。 其次，REAR 需要访问 token log-probabilities。在一些闭源或受限 API 中，logprob 支持可能有限，这会影响工程接入。 再次，BoN 和 DVTS 都需要额外采样预算。REAR 不训练，但不是零成本；它把成本从训练阶段转移到推理阶段。因此实际部署要根据延迟、吞吐和任务风险选择采样规模。 最后，偏好文本本身可能含糊或冲突。REAR 能放大偏好相关信号，但不能自动解决偏好规范设计问题。对于高风险场景，仍需要明确的系统策略、约束层和安全评估。

13. 总结

REAR 提出了一种简洁而有启发性的测试时偏好重对齐方法：把模型隐含奖励拆成问题相关和偏好相关两部分，再通过可计算的策略概率差异，在推理时重新调节偏好强度。它不需要额外训练，不需要外部奖励模型，能接入 best-of-N 和树搜索，并在偏好对齐、长上下文、数学推理、视觉幻觉抑制和跨模型迁移上展示了稳定效果。 对于大模型应用来说，REAR 的意义在于：偏好对齐未必只能靠后训练完成，也可以成为推理时可控、可扩展、可按需调整的选择机制。随着模型服务越来越强调个性化和上下文敏感性，这类“测试时重新对齐”方法可能会成为大模型系统中的重要组件。