Test-Time Training offers a promising way to improve the reasoning ability of large language models (LLMs) by adapting the model using only the test questions. However, existing methods struggle with difficult reasoning problems for two reasons: raw test questions are often too difficult to yield high-quality pseudo-labels, and the limited size of test sets makes continuous online updates prone to instability. To address these limitations, we propose TTCS, a co-evolving test-time training framework. Specifically, TTCS initializes two policies from the same pretrained model: a question synthesizer and a reasoning solver. These policies evolve through iterative optimization: the synthesizer generates progressively challenging question variants conditioned on the test questions, creating a structured curriculum tailored to the solver's current capability, while the solver updates itself using self-consistency rewards computed from multiple sampled responses on both original test and synthetic questions. Crucially, the solver's feedback guides the synthesizer to generate questions aligned with the model's current capability, and the generated question variants in turn stabilize the solver's test-time training. Experiments show that TTCS consistently strengthens the reasoning ability on challenging mathematical benchmarks and transfers to general-domain tasks across different LLM backbones, highlighting a scalable path towards dynamically constructing test-time curricula for self-evolving. Our code and implementation details are available at https://github.com/XMUDeepLIT/TTCS.


翻译:测试时训练通过仅利用测试问题来适应模型,为提高大语言模型的推理能力提供了一种有前景的途径。然而,现有方法在处理困难推理问题时面临两个主要挑战:原始测试问题往往过于困难,难以产生高质量的伪标签;同时,测试集规模有限,使得连续的在线更新容易不稳定。为克服这些局限性,我们提出了TTCS,一个协同进化的测试时训练框架。具体而言,TTCS从同一个预训练模型初始化两个策略:一个题目合成器和一个推理求解器。这些策略通过迭代优化共同进化:合成器以测试问题为条件,生成逐步具有挑战性的问题变体,从而为求解器当前的能力量身定制一个结构化的课程;同时,求解器利用在原始测试问题和合成问题上通过多次采样响应计算出的自洽性奖励来更新自身。关键的是,求解器的反馈指导合成器生成与模型当前能力相匹配的问题,而生成的问题变体反过来又稳定了求解器的测试时训练。实验表明,TTCS持续增强了在不同大语言模型骨干上,于具有挑战性的数学基准测试上的推理能力,并能迁移到通用领域任务,这突显了一条为自进化动态构建测试时课程的可扩展路径。我们的代码和实现细节可在 https://github.com/XMUDeepLIT/TTCS 获取。

0
下载
关闭预览

相关内容

【ICML2025】通过多智能体反思强化大语言模型推理
专知会员服务
22+阅读 · 2025年6月11日
大模型数学推理数据合成相关方法
专知会员服务
36+阅读 · 2025年1月19日
【NeurIPS2024】面向视觉-语言模型测试时泛化的双原型演化
专知会员服务
18+阅读 · 2024年10月17日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
TextInfoExp:自然语言处理相关实验(基于sougou数据集)
全球人工智能
12+阅读 · 2017年11月12日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月5日
Arxiv
0+阅读 · 1月22日
VIP会员
相关VIP内容
【ICML2025】通过多智能体反思强化大语言模型推理
专知会员服务
22+阅读 · 2025年6月11日
大模型数学推理数据合成相关方法
专知会员服务
36+阅读 · 2025年1月19日
【NeurIPS2024】面向视觉-语言模型测试时泛化的双原型演化
专知会员服务
18+阅读 · 2024年10月17日
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员