Long interaction histories are central to modern recommender systems, yet training with long sequences is often dismissed as impractical under realistic memory and latency budgets. This work demonstrates that it is not only practical but also effective-at academic scale. We release a complete, end-to-end framework that implements industrial-style long-sequence training with sliding windows, including all data processing, training, and evaluation scripts. Beyond reproducing prior gains, we contribute two capabilities missing from earlier reports: (i) a runtime-aware ablation study that quantifies the accuracy-compute frontier across windowing regimes and strides, and (ii) a novel k-shift embedding layer that enables million-scale vocabularies on commodity GPUs with negligible accuracy loss. Our implementation trains reliably on modest university clusters while delivering competitive retrieval quality (e.g., up to +6.04% MRR and +6.34% Recall@10 on Retailrocket) with $\sim 4 \times $ training-time overheads. By packaging a robust pipeline, reporting training time costs, and introducing an embedding mechanism tailored for low-resource settings, we transform long-sequence training from a closed, industrial technique into a practical, open, and extensible methodology for the community.


翻译:长交互历史是现代推荐系统的核心,然而在现实内存与延迟预算下,使用长序列进行训练常被认为不切实际。本文证明,这一做法不仅在学术尺度上可行,而且高效。我们发布了完整的端到端框架,实现了采用滑动窗口的工业级长序列训练流程,包含所有数据处理、训练与评估脚本。除复现先前成果外,我们还贡献了两项此前报告中所缺失的能力:(i) 一种运行时感知的消融研究,可量化不同窗口机制与步长下的精度-计算前沿曲线;(ii) 一种新颖的k-移位嵌入层,可在商用GPU上支持百万级词表且精度损失可忽略。我们的实现在中等规模的大学集群中即可稳定训练,同时达到具有竞争力的检索质量(例如在Retailrocket数据集上MRR提升达+6.04%,Recall@10提升达+6.34%),且训练时间开销仅为约4倍。通过封装稳健的流水线、报告训练时间成本并引入专为低资源环境设计的嵌入机制,本文将长序列训练从一项封闭的工业技术转化为面向社区的实用、开放、可扩展的方法论。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【CIKM2025教程】持续推荐系统,166页ppt
专知会员服务
16+阅读 · 2025年11月18日
《序列推荐》最新综述
专知会员服务
22+阅读 · 2024年12月27日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
【KDD2023】学习语言表示用于序列推荐
专知会员服务
11+阅读 · 2023年5月27日
深度 | 推荐系统如何冷启动?
AI100
17+阅读 · 2019年4月7日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
SCENE-一个可扩展两层级新闻推荐系统
全球人工智能
11+阅读 · 2018年1月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
边缘计算的军事应用
专知会员服务
7+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
14+阅读 · 8月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员