The scarcity of high-quality training data presents a fundamental bottleneck to scaling machine learning models. This challenge is particularly acute in recommendation systems, where extreme sparsity in user interactions leads to rugged optimization landscapes and poor generalization. We propose the Recursive Self-Improving Recommendation (RSIR) framework, a paradigm in which a model bootstraps its own performance without reliance on external data or teacher models. RSIR operates in a closed loop: the current model generates plausible user interaction sequences, a fidelity-based quality control mechanism filters them for consistency with user's approximate preference manifold, and a successor model is augmented on the enriched dataset. Our theoretical analysis shows that RSIR acts as a data-driven implicit regularizer, smoothing the optimization landscape and guiding models toward more robust solutions. Empirically, RSIR yields consistent, cumulative gains across multiple benchmarks and architectures. Notably, even smaller models benefit, and weak models can generate effective training curricula for stronger ones. These results demonstrate that recursive self-improvement is a general, model-agnostic approach to overcoming data sparsity, suggesting a scalable path forward for recommender systems and beyond. Our anonymized code is available at https://anonymous.4open.science/r/RSIR-7C5B .


翻译:高质量训练数据的稀缺性是制约机器学习模型扩展的根本瓶颈。这一挑战在推荐系统中尤为突出,用户交互的极端稀疏性导致优化曲面崎岖且泛化性能低下。本文提出递归自改进推荐框架,该范式使模型能够在不依赖外部数据或教师模型的情况下实现性能自举。RSIR 以闭环方式运行:当前模型生成合理的用户交互序列,基于保真度的质量控制机制根据用户近似偏好流形的一致性对其进行筛选,而后继模型在增强的数据集上进行训练。理论分析表明,RSIR 作为一种数据驱动的隐式正则化器,能够平滑优化曲面并引导模型获得更稳健的解。实证研究表明,RSIR 在多个基准测试和架构中均能产生持续、累积的性能提升。值得注意的是,即使较小模型也能从中受益,而较弱模型可为更强模型生成有效的训练课程。这些结果表明,递归自改进是一种通用且与模型无关的克服数据稀疏性的方法,为推荐系统及其他领域提供了可扩展的发展路径。匿名化代码已发布于 https://anonymous.4open.science/r/RSIR-7C5B。

0
下载
关闭预览

相关内容

自监督学习推荐系统综述
专知会员服务
36+阅读 · 2024年4月6日
自动特征工程在推荐系统中的研究
DataFunTalk
10+阅读 · 2019年12月20日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
自监督学习推荐系统综述
专知会员服务
36+阅读 · 2024年4月6日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员