ACM Multimedia 2026 | MAR-GRPO：让 AR-diffusion 混合图像生成也能稳定做强化学习

导读

这篇 ACM Multimedia 2026 论文关注一个很具体但重要的问题：当图像生成模型不再是纯扩散模型，也不再是纯自回归模型，而是采用 AR-diffusion 混合架构时，能否像训练大语言模型一样，用 GRPO 等强化学习方法进一步提升人类偏好、提示词对齐和空间结构理解？ 作者研究的对象是 Masked Autoregressive Models，即 MAR。MAR 用自回归 Transformer 预测连续图像 latent，再用轻量 diffusion head 对 latent 进行细化和解码。这个架构兼具 AR 模型的序列建模能力和扩散模型的高质量细节生成能力，已经在图像、视频和统一多模态生成中展现潜力。但论文发现，直接把 GRPO 套到 MAR 上并不稳定：端到端优化 AR 主干和 diffusion head 时，梯度方差很大，奖励曲线容易早饱和甚至坍塌，视觉结果会出现结构不稳、细节噪声和多样性下降。 为此，作者提出 MAR-GRPO，这是面向 AR-diffusion 混合范式的稳定化 GRPO 框架。它的核心思路可以概括为三步：冻结轻量 diffusion head，只优化 AR Transformer；通过多条 diffusion 轨迹取期望来降低随机去噪带来的梯度噪声；再用 token 不确定性和一致性选择机制，只在最值得优化的位置施加多轨迹估计，避免过平滑。

论文信息

论文题目：MAR-GRPO: Stabilized GRPO for AR-diffusion Hybrid Image Generation 论文链接：https://arxiv.org/abs/2604.06966 会议：ACM Multimedia 2026 作者：Xiaoxiao Ma、Jiachen Lei、Tianfei Ren、Jie Huang、Siming Fu、Aiming Hao、Jiahong Wu、Xiangxiang Chu、Feng Zhao 代码：https://github.com/AMAP-ML/mar-grpo 关键词：AR-diffusion hybrid image generation、Text-to-image generation、Reinforcement learning、GRPO

1. Introduction：为什么 MAR 上的 GRPO 不稳定

自回归图像生成近年来重新受到关注，因为它有潜力统一文本和图像模态，并通过序列预测方式组织生成过程。传统 AR 图像模型常使用离散 VQ token，但离散 tokenizer 会带来量化误差，限制高保真图像生成。MAR 的思路是用连续 latent 替代离散 token：AR Transformer 以 mask autoregressive 的方式预测连续 latent，轻量 diffusion head 再在每个 AR 步骤中细化这些 latent，最终解码成高质量图像。 这种混合架构很有吸引力，但强化学习后训练变得更复杂。GRPO 在语言模型和视觉生成模型中已经被广泛探索，它通过“生成-打分-更新”的方式，让模型向偏好奖励靠拢。但在 MAR 中，生成不是单一轨迹，而是 AR 步骤与 diffusion denoising 步骤交错进行。每个 AR latent 后面还接着一条随机扩散轨迹，log probability 的估计因此更噪，信用分配也更困难。 论文的关键观察是：diffusion head 虽然轻量，主要负责细节解码，却会显著影响 RL 训练动态。端到端更新 diffusion head 会不断改变从 AR latent 到最终图像的映射，使奖励信号变成非平稳目标；同时，diffusion 去噪本身有随机性，同一个 AR latent 在不同噪声轨迹下可能得到不同输出，导致 AR 主干接收到高方差梯度。 作者将标准端到端 GRPO 与冻结 diffusion head 的变体进行比较，发现只优化 AR 组件能带来更平滑、更稳定的训练曲线。也就是说，在 MAR 的 RL 后训练中，diffusion head 更像一个条件 decoder：它负责把 AR latent 变成图像细节，但不适合作为 RL 主优化对象频繁更新。

2. Related Works：AR-diffusion 与视觉生成强化学习

论文相关工作主要分为两条线。 第一条是 AR-diffusion 混合范式。早期自回归图像生成在离散 VQ 空间中按顺序或 mask 方式预测 token，问题是离散量化会损失细节。MAR 通过连续 latent 和轻量解码器绕开离散 tokenizer 的瓶颈。Fluid 将类似思想扩展到文本到图像生成，FAR 探索 scale-wise autoregressive 与 diffusion head 的结合，Harmon 研究统一理解与生成，NOVA 和 VideoMAR 将 MAR 扩展到视频生成，NextStep 则把 AR backbone 扩展到 14B 参数量，显示出这一范式的可扩展性。 第二条是视觉生成中的强化学习。受 RLVR 和 GRPO 在 LLM 中成功的影响，视觉生成也开始使用奖励模型、偏好分数和可验证指标进行后训练。扩散模型方向已有 Flow-GRPO、Dance-GRPO 等工作；离散 AR 模型方向有 SimpleAR、AR-GRPO、T2I-R1、Mask-GRPO、MaskFocus、NextFlow 等。 但这些方法大多面向纯扩散、纯流模型或纯 AR/Mask 生成。MAR 这种 AR 与 diffusion 交错的混合轨迹还缺少专门的 GRPO 设计。本文的贡献点正是在这里：它不是简单把现有 GRPO 套过来，而是分析 MAR 训练动态中的噪声来源，并为 diffusion head 的随机性设计稳定化估计。

3. Methods：MAR-GRPO 的方法设计

基础设定

MAR 的生成过程可以理解为多轮 mask step。每一步中，AR Transformer 根据历史 token 生成当前 latent 的条件向量，随后 diffusion head 在该条件下执行若干 denoising step，生成当前 token 组的连续 latent。整个图像生成就是 AR 预测和 diffusion 细化的交替过程。 GRPO 则在每次优化中给定 prompt，生成一组图像，通过奖励模型计算每个样本的 reward，再用组内归一化 reward 得到 advantage，最后通过 clipped policy objective 更新模型。在 MAR 中，重要性比率不仅涉及 AR mask step，还要沿着 diffusion denoising trajectory 分解，因此直接计算完整轨迹代价高、方差也大。 作者先构造一个简单基线：随机选择部分 AR mask step 和 diffusion timestep 来近似完整轨迹上的 GRPO 损失。这使训练可行，但仍暴露出端到端训练不稳定的问题。

核心一：冻结 diffusion head

第一项设计是冻结 diffusion head，只训练 AR Transformer。直觉上，diffusion head 是把 AR latent 解码成图像细节的条件 decoder。如果在 RL 中同时更新它，AR 模型面对的“latent 到图像”映射会不断变化，reward 变成移动目标，导致信用分配困难。 冻结 diffusion head 后，AR 模型面对的是一个固定 decoder，优化目标更稳定。论文还尝试过降低 diffusion head 学习率这种温和方案，但即便很小的更新也会扰乱 AR policy learning。因此作者采用更直接的冻结策略。 这并不意味着 diffusion head 不重要。恰恰相反，论文发现它对训练稳定性影响很大，但最佳处理方式不是让它参与 RL 更新，而是把它当作固定随机 decoder，并显式处理其去噪随机性。

核心二：多轨迹期望

即使冻结 diffusion head，同一个 AR latent 仍可能因 diffusion 随机噪声产生不同去噪轨迹。如果只用单条轨迹估计 log probability 和优化方向，梯度仍会很噪。 MAR-GRPO 的第二项设计是 Multi-Trajectory Expectation，即在 rollout 中对同一个 AR latent 采样多条 diffusion 轨迹，并对这些轨迹的优化信号取期望。这样可以把 diffusion 随机性造成的波动平均掉，得到更可靠的优化方向。

这一设计的关键前提是：在 MAR 中，语义和结构主要由 AR latent 决定，diffusion head 更多负责低层细节。因此，多条 diffusion 轨迹之间的差异主要反映随机解码噪声，而不是根本不同的语义内容。对它们求平均可以降低方差，而不会明显改变数据分布。

核心三：不确定性选择与一致性过滤

如果对所有 token 都做多轨迹平均，计算成本会上升，也可能产生过平滑，削弱有用梯度。因此作者进一步估计 token-wise uncertainty：对同一位置在多条 diffusion 轨迹下的预测求标准差，标准差越大，说明该位置越容易受 diffusion 随机性影响。 MAR-GRPO 只选择 top-k% 最不确定 token 使用多轨迹期望，其他低不确定 token 仍使用单轨迹目标。这样既能在噪声大的区域进行方差校正，又能在稳定区域保留更锐利的优化信号。

此外，作者还提出 consistency-aware token selection。并不是 rollout 中所有 AR token 都对最终图像有正贡献。方法通过比较某一步预测 latent 与最终生成 latent 的相似度变化，只保留那些让预测更接近最终输出的 token 参与优化。直观上，这相当于过滤掉“方向不一致”的 token，减少无效甚至有害更新。 多轨迹期望会让 KL 增长更平滑，后期梯度范数更稳定。图 5 展示了这种训练动态改善。

4. Experiments：实验结果与消融

实验设置

论文选择 NOVA 和 Harmon 作为基础模型。NOVA 使用 0.6B 模型，在 512x512 分辨率下训练；Harmon 使用 1.5B 模型。GRPO 训练基于 T2I-R1 实现，batch size 为 3，group size 为 4，KL 正则系数为 0.01。为了平衡训练成本和性能，作者从每次 rollout 中随机采样 12 个 mask step 和 10 个 diffusion step 进行优化。 训练 prompt 覆盖单物体、多物体、空间关系和计数关系等场景，奖励函数包括 HPS，以及在 T2I-CompBench 上使用的 HPS、GIT、GroundingDINO 混合奖励。评估指标覆盖 HPS、ImageReward、PickScore、Aesthetic Score，以及 T2I-CompBench 的颜色、形状、纹理、2D 空间、3D 空间、计数和复杂组合等维度。

主结果

视觉结果显示，普通 GRPO 虽然能一定程度提高奖励，但容易损害图像质量，产生不自然纹理、结构扭曲或布局不稳。冻结 diffusion decoder 后训练更稳定；加入 MTE 后细节和结构进一步提升；完整 MAR-GRPO 加上一致性 token 选择后，在细节保真、结构一致性、人脸外观、计数布局和空间关系上都表现最好。

定量上，NOVA 从原始 HPS 26.76 提升到 Ours 的 29.35，而普通 GRPO 为 27.57；Aesthetic 从 5.79 提升到 6.01；T2I-CompBench 的颜色、形状、纹理、2D 空间、3D 空间等指标也多数提升。Harmon 上也有类似趋势：HPS 从 25.76 提升到 29.57，优于 +GRPO 的 29.15，并在多个组合推理指标上进一步改善。

这些结果说明，本文方法的收益并不只是“奖励分数更高”，而是在防止 reward hacking 的同时保留了结构和细节质量。对于文本到图像 RL 来说，这点很关键：如果只追求奖励模型分数，模型可能生成更讨好评分器但视觉更差的图像；MAR-GRPO 试图让奖励提升和视觉稳定性同时成立。

消融分析

消融实验进一步验证每个组件的作用。仅使用 GRPO 时，NOVA 的 HPS 为 27.57；冻结 diffusion decoder 后提升到 28.65；加入 MTE 后提升到 29.06；最终加入一致性 token 选择后达到 29.35，同时 Aesthetic、Shape、Texture、2D spatial 等指标也继续提升。

关于 top-k 不确定 token 比例，论文发现过低比例会导致 log probability 估计不准，训练早期容易坍塌；过高比例则可能让梯度过度平滑，降低优化效率。实验表明 k 约为 30% 能取得较好平衡。关于 diffusion trajectory 数量，更多 seed 能带来更准确和更低噪声的估计，但过多轨迹也会过平滑并增加成本。关于相似度阈值，阈值为 0 时效果最好，这符合“每个 AR 步应逐步接近最终图像”的直觉。

5. Conclusion：结论与启示

这篇论文的核心贡献，是把 GRPO 从常见的语言模型、扩散模型或纯 AR 图像生成，推进到 AR-diffusion 混合图像生成范式，并指出该场景下最关键的瓶颈并不只是奖励函数，而是训练动态。 作者发现，diffusion head 虽然轻量，却会通过两种方式扰乱 MAR 的 RL 后训练：一是端到端更新带来非平稳 reward mapping，二是随机 denoising trajectory 造成高方差梯度。MAR-GRPO 分别用冻结 decoder、多轨迹期望和不确定性选择来处理这些问题，再用一致性 token 选择进一步过滤无效更新。 从更大的图像生成研究脉络看，这篇工作有两点启示。第一，未来的视觉生成强化学习不能只照搬 LLM 的 GRPO 公式，而要根据生成模型的轨迹结构重新设计 log probability、advantage 和 token/step 级信用分配。第二，混合架构中的“弱模块”不一定可以忽略。diffusion head 参数少、职责偏细节，但它的随机性和可训练性会深刻影响整个 RL 系统的稳定性。 论文也承认仍有局限。Harmon 上的增益小于 NOVA，原因可能与 diffusion head 架构和预训练数据分布有关；多 diffusion 轨迹虽然额外开销不大，但扩展到视频生成会面临更高成本；如果未来模型采用更大的 diffusion head，冻结策略是否仍然最优也需要重新验证。 总体而言，MAR-GRPO 为 AR-diffusion 混合生成模型的 RL 后训练提供了一个清晰方向：与其端到端强行优化所有模块，不如先稳定解码映射，再针对随机轨迹做方差校正，并把优化集中在真正不确定且对最终图像一致有益的 token 上。这种“噪声校正的 GRPO”思路，对后续多模态生成、视频生成和统一理解-生成模型都具有参考价值。