While generative recommendations (GR) possess strong sequential reasoning capabilities, they face significant challenges when processing extremely long user behavior sequences: the high computational cost forces practical sequence lengths to be limited, preventing models from capturing users' lifelong interests; meanwhile, the inherent "recency bias" of attention mechanisms further weakens learning from long-term history. To overcome this bottleneck, we propose GEMs (Generative rEcommendation with a Multi-stream decoder), a novel and unified framework designed to break the long-sequence barrier by capturing users' lifelong interaction sequences through a multi-stream perspective. Specifically, GEMs partitions user behaviors into three temporal streams$\unicode{x2014}$Recent, Mid-term, and Lifecycle$\unicode{x2014}$and employs tailored inference schemes for each: a one-stage real-time extractor for immediate dynamics, a lightweight indexer for cross attention to balance accuracy and cost for mid-term sequences, and a two-stage offline-online compression module for lifelong modeling. These streams are integrated via a parameter-free fusion strategy to enable holistic interest representation. Extensive experiments on large-scale industrial datasets demonstrate that GEMs significantly outperforms state-of-the-art methods in recommendation accuracy. Notably, GEMs is the first lifelong GR framework successfully deployed in a high-concurrency industrial environment, achieving superior inference efficiency while processing user sequences of over 100,000 interactions.


翻译:尽管生成式推荐模型具备强大的序列推理能力,但在处理极长用户行为序列时面临显著挑战:高昂的计算成本迫使实际序列长度受限,导致模型无法捕捉用户的终身兴趣;同时,注意力机制固有的"近因偏好"进一步削弱了对长期历史的学习。为突破这一瓶颈,我们提出GEMs(基于多流解码器的生成式推荐框架),这是一个新颖统一的框架,旨在通过多流视角捕捉用户终身交互序列,从而打破长序列壁垒。具体而言,GEMs将用户行为划分为三个时序流——近期流、中期流与生命周期流,并为每个流设计定制化推理方案:针对即时动态采用单阶段实时提取器,对中期序列采用轻量级索引器进行交叉注意力以平衡精度与成本,而对终身建模则采用两阶段离线-在线压缩模块。这些流通过无参数融合策略进行整合,实现整体兴趣表征。基于大规模工业数据集的实验表明,GEMs在推荐准确率上显著优于现有最优方法。值得注意的是,GEMs是首个成功部署于高并发工业环境的终身生成式推荐框架,在处理超过10万次交互的用户序列时仍能保持卓越的推理效率。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
扩散模型中的缓存方法综述:迈向高效的多模态生成
专知会员服务
8+阅读 · 2025年10月23日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
【CVPR2024】生成式多模态模型是优秀的类增量学习器
专知会员服务
32+阅读 · 2024年3月28日
自动特征工程在推荐系统中的研究
DataFunTalk
10+阅读 · 2019年12月20日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员