Reinforcement learning with verifiable rewards (RLVR) typically improves pass@1 but can fall behind its base model at large sampling budgets $k$, commonly interpreted as sharpening existing solutions. Because adjacent pass@$k$ estimates reuse generations, pointwise error bars cannot establish a crossover. We formulate paired inference on the RL-minus-base difference curve: a prompt-level multiplier bootstrap yields a one-sided dominance test and simultaneous confidence bands requiring both an early gain and a later loss. Among nine public RLVR checkpoints at 3k-16k token limits, only one narrowly meets this criterion before multiplicity adjustment; asymmetric truncation can create, mask, or reverse crossovers. On 1,060 deduplicated competition problems at 32k tokens, two 1.5B models exhibit certified crossovers around $k\approx10$-$60$, while two 7B models show no supported loss. A paired variance decomposition shows why adding prompts improves power more than deeper sampling. Prompts with identical base success probability diverge after RLVR, with dispersion replicating across independent generation halves and violating Lipschitz slope bounds for reasonable deterministic maps. Modeling RLVR as a Markov kernel, Jensen's inequality shows that conditional dispersion depresses pass@$k$ for $k\ge2$. Once dispersion is modeled, the conditional-mean log-odds slope is below one in every pair: RLVR improves hard prompts on average, while late-$k$ loss comes from a 2%-3% minority of base-solved prompts collapsing onto a repeated modal wrong answer and resisting prefix rescue up to 4,096 tokens. In controlled runs from one base model on 3,000 new problems, all four GRPO arms fall behind near $k\approx200$ and remain behind through $k=4096$, while SFT stays significantly ahead throughout.


翻译:暂无翻译

0
下载
关闭预览

相关内容

两人亲密社交应用,官网: trypair.com/
【ICML2025】从混淆的离线数据中自动构造奖励函数
专知会员服务
9+阅读 · 2025年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
【泡泡图灵智库】密集相关的自监督视觉描述学习(RAL)
泡泡机器人SLAM
11+阅读 · 2018年10月6日
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
开放知识图谱
14+阅读 · 2018年7月5日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
20+阅读 · 2017年12月17日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
从R-CNN到Mask R-CNN
机器学习研究会
25+阅读 · 2017年11月13日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
11+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
4+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关VIP内容
【ICML2025】从混淆的离线数据中自动构造奖励函数
专知会员服务
9+阅读 · 2025年5月22日
相关资讯
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
【泡泡图灵智库】密集相关的自监督视觉描述学习(RAL)
泡泡机器人SLAM
11+阅读 · 2018年10月6日
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
开放知识图谱
14+阅读 · 2018年7月5日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
20+阅读 · 2017年12月17日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
从R-CNN到Mask R-CNN
机器学习研究会
25+阅读 · 2017年11月13日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员