Dense process supervision provides local evaluations, but leaves open how these scores should become policy advantages. We introduce PASS (Process Advantage Signal Shaping), an advantage-construction method for group-relative policy optimization (GRPO). PASS separately normalizes and fuses reward channels, constructs batch-shared credit units from variation in the fused score trace, and normalizes return-to-go by the remaining unit count. These operations connect feedback scale, credit resolution, and accumulation horizon in a single computation. We evaluate learned process reward model (PRM) feedback for mathematical reasoning and teacher-derived token feedback for multi-hop question answering (QA). Across seven mathematics benchmarks, PASS improves average pass@1 by 4.62 percentage points over outcome-only GRPO with approximately $2\%$ shorter responses. Matched comparisons with Step-GRPO and component ablations further support the choice of shared credit units and residual normalization. On multi-hop QA, PASS improves over process-signal controls across two normalizers; token-level ablations reveal an accuracy--length trade-off: token-level accumulation slightly favors pass@1, while PASS achieves higher pass@8/16 with shorter responses. The results establish the conversion from local process scores to policy advantages as a consequential design choice across distinct supervision sources.


翻译:暂无翻译

0
下载
关闭预览

相关内容

Processing 是一门开源编程语言和与之配套的集成开发环境(IDE)的名称。Processing 在电子艺术和视觉设计社区被用来教授编程基础,并运用于大量的新媒体和互动艺术作品中。
认知优势:人工智能在国家安全决策中的核心作用
专知会员服务
16+阅读 · 2025年8月16日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
14+阅读 · 2018年4月27日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
【NLP】十分钟快览自然语言处理学习总结
专知
17+阅读 · 2017年11月21日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
122+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
97+阅读 · 2009年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
13+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
9+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
29+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
11+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
14+阅读 · 11月6日
相关VIP内容
认知优势:人工智能在国家安全决策中的核心作用
专知会员服务
16+阅读 · 2025年8月16日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
122+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
97+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员