Iterative self-improvement fine-tunes an autoregressive large language model (LLM) on reward-verified outputs generated by the LLM itself. In contrast to the empirical success of self-improvement, the theoretical foundation of this generative, iterative procedure in a practical, finite-sample setting remains limited. We make progress toward this goal by modeling each round of self-improvement as maximum-likelihood fine-tuning on a reward-filtered distribution and deriving finite-sample guarantees for the expected reward. Our analysis reveals an explicit feedback loop where better models accept more data per iteration, supporting sustained self-improvement while explaining eventual saturation of such improvement. Adopting a task-centric view by considering reasoning tasks with multiple difficulty levels, we further prove quantifiable conditions on model initialization, task difficulty, and sample budget where easy-to-hard curricula provably achieve better guarantees than training on fixed mixtures of tasks. Our analyses are validated through Monte-Carlo simulations and experiments spanning a synthetic graph-based reasoning task and multiple standard mathematical reasoning benchmarks.


翻译:迭代自改进通过在大语言模型自身生成的奖励验证输出上微调,对自回归大语言模型进行优化。尽管自改进方法在实证中取得成功,但在实际有限样本场景中,这种生成式迭代过程的理论基础仍较为有限。我们通过将每轮自改进建模为奖励过滤分布上的最大似然微调,并推导期望奖励的有限样本保证,向该目标迈出进展。分析揭示了一个明确的反馈循环:更优的模型每轮迭代可接受更多数据,从而支撑持续的自改进,同时解释了这种改进最终会趋于饱和。从任务中心视角出发,通过考虑具有多个难度等级的推理任务,我们进一步证明了量化条件:在模型初始化、任务难度和样本预算下,易到难课程可证明比固定混合任务训练取得更优保证。我们的分析通过蒙特卡洛模拟以及基于合成图的推理任务和多个标准数学推理基准实验得到验证。

0
下载
关闭预览

相关内容

多模态大语言模型的自我改进:综述
专知会员服务
29+阅读 · 2025年10月8日
大模型如何迭代?北大等《大型语言模型自我进化》综述
自监督学习理论
专知会员服务
57+阅读 · 2022年8月23日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
国家自然科学基金
44+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月24日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
11+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
7+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
27+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
13+阅读 · 11月6日
相关VIP内容
多模态大语言模型的自我改进:综述
专知会员服务
29+阅读 · 2025年10月8日
大模型如何迭代?北大等《大型语言模型自我进化》综述
自监督学习理论
专知会员服务
57+阅读 · 2022年8月23日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
相关基金
国家自然科学基金
44+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员