This beta technical report asks how reusable experience should be represented so that it can function as effective test-time control and as a substrate for iterative evolution. We study this question in 4.590 controlled trials across 45 scientific code-solving scenarios. We find that documentation-oriented Skill packages provide unstable control: their useful signal is sparse, and expanding a compact experience object into a fuller documentation package often fails to help and can degrade the overall average. We further show that representation itself is a first-order factor. A compact Gene representation yields the strongest overall average, remains competitive under substantial structural perturbations, and outperforms matched-budget Skill fragments, while reattaching documentation-oriented material usually weakens rather than improves it. Beyond one-shot control, we show that Gene is also a better carrier for iterative experience accumulation: attached failure history is more effective in Gene than in Skill or freeform text, editable structure matters beyond content alone, and failure information is most useful when distilled into compact warnings rather than naively appended. On CritPt, gene-evolved systems improve over their paired base models from 9.1% to 18.57% and from 17.7% to 27.14%. These results suggest that the core problem in experience reuse is not how to supply more experience, but how to encode experience as a compact, control-oriented, evolution-ready object.


翻译:这份β版技术报告探讨了可重用经验应如何表征,才能作为有效的测试时控制元,并作为迭代演化的基础。我们在涵盖45个科学代码求解场景的4.590次对照实验中研究了该问题。研究发现,面向文档的技能包提供的控制不稳定:其有效信号稀疏,且将紧凑经验对象扩展为完整文档包通常无助于提升性能,甚至会降低整体平均值。进一步研究表明,表征本身是首要因素。紧凑的基因表征能获得最优整体平均值,在结构性剧烈扰动下仍保持竞争力,且性能优于预算匹配的技能片段,而附加面向文档的材料通常会削弱而非增强其效果。超越单次控制,基因表征同样是迭代经验积累的更好载体:附着失败历史在基因中比在技能或自由格式文本中更有效,可编辑结构的重要性超越纯粹内容,且失败信息在精简为紧凑警告时比简单附加时更为有效。在CritPt数据集上,基因进化系统相比配对基础模型的性能分别从9.1%提升至18.57%,从17.7%提升至27.14%。这些结果表明,经验重用的核心问题不在于如何提供更多经验,而在于如何将经验编码为紧凑、面向控制且具备进化能力的对象。

0
下载
关闭预览

相关内容

可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
专知会员服务
1+阅读 · 今天15:24
人工智能赋能战场情报:提速决策进程
专知会员服务
0+阅读 · 今天15:15
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
2+阅读 · 今天15:11
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关VIP内容
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员