Short-video recommenders such as Douyin must exploit extremely long user behavior histories without breaking latency or cost budgets. We present an end-to-end industrial recommender system that scales long-sequence recommendation modeling to 10K-length histories in production. First, we introduce Stacked Target-to-History Cross Attention (STCA), which replaces history self-attention with stacked cross-attention from the target to the history, reducing complexity from quadratic to linear in sequence length and enabling efficient end-to-end training over long user behavior sequences. Second, we propose Request Level Batching (RLB), a user-centric batching scheme that aggregates multiple targets for the same user/request to share the user-side encoding, substantially lowering sequence-related storage, communication, and compute without changing the learning objective. Third, we design a length-extrapolative training strategy -- train on shorter windows, infer on much longer ones -- so the model generalizes to 10K-scale histories without additional training cost. Across offline and online experiments, we observe predictable, monotonic gains as we scale history length and model capacity, mirroring the scaling law behavior observed in large language models. Deployed at full traffic on Douyin, our system delivers significant improvements on key engagement metrics while meeting production latency, demonstrating a practical path to scaling end-to-end ultra-long sequence recommendation to the 10K regime.


翻译:短推荐器(如抖音)必须在不突破延迟或成本预算的前提下,利用极长的用户行为历史。我们提出一套端到端工业级推荐系统,将长序列推荐建模扩展至生产环境中的万级历史长度。首先,引入堆叠目标-历史交叉注意力(STCA),以目标到历史的堆叠交叉注意力替代历史自注意力,将序列长度的复杂度从二次降至线性,从而实现对长用户行为序列的高效端到端训练。其次,提出请求级批处理(RLB),一种以用户为中心的批处理方案,通过聚合同一用户/请求的多个目标共享用户端编码,在不改变学习目标的前提下,大幅降低序列相关的存储、通信和计算开销。第三,设计长度外推训练策略——在较短窗口上训练,在更长窗口上推理——使模型在不增加训练成本的情况下泛化至万级历史长度。离线与在线实验表明,随着历史长度和模型容量的扩展,我们观察到可预测的单调增益,这与大语言模型中的缩放定律行为一致。该系统已在抖音全流量部署,在满足生产延迟的同时,显著提升了关键参与度指标,为端到端超长序列推荐扩展至万级规模提供了一条实践路径。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
WWW 2023|快手:通过强化学习提升用户留存
专知会员服务
16+阅读 · 2023年4月25日
个性化推荐系统技术进展
专知会员服务
66+阅读 · 2020年8月15日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
推荐系统产品与算法概述 | 深度
AI100
11+阅读 · 2019年6月13日
快手类推荐系统实践
深度学习与NLP
25+阅读 · 2018年2月8日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
WWW 2023|快手:通过强化学习提升用户留存
专知会员服务
16+阅读 · 2023年4月25日
个性化推荐系统技术进展
专知会员服务
66+阅读 · 2020年8月15日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员