Generative recommendation (GenRec) models typically model user behavior via full attention, but scaling to lifelong sequences is hindered by prohibitive computational costs and noise accumulation from stochastic interactions. To address these challenges, we introduce Rec2PM, a framework that compresses long user interaction histories into compact Preference Memory tokens. Unlike traditional recurrent methods that suffer from serial training, Rec2PM employs a novel self-referential teacher-forcing strategy: it leverages a global view of the history to generate reference memories, which serve as supervision targets for parallelized recurrent updates. This allows for fully parallel training while maintaining the capability for iterative updates during inference. Additionally, by representing memory as token embeddings rather than extensive KV caches, Rec2PM achieves extreme storage efficiency. Experiments on large-scale benchmarks show that Rec2PM significantly reduces inference latency and memory footprint while achieving superior accuracy compared to full-sequence models. Analysis reveals that the Preference Memory functions as a denoising Information Bottleneck, effectively filtering interaction noise to capture robust long-term interests.


翻译:生成式推荐模型通常通过完全注意力机制建模用户行为,但扩展到终身序列时会面临计算成本过高和随机交互噪声累积的双重挑战。为解决这些问题,我们提出了Rec2PM框架,该框架将长用户交互历史压缩为紧凑的偏好记忆令牌。与传统循环方法受限于串行训练不同,Rec2PM采用创新的自参照教师强制策略:利用历史全局视角生成参考记忆,作为并行化循环更新的监督目标。这使得模型能够实现完全并行训练,同时在推理阶段保持迭代更新能力。此外,通过将记忆表示为令牌嵌入而非扩展的键值缓存,Rec2PM实现了极高的存储效率。在大规模基准测试上的实验表明,与全序列模型相比,Rec2PM在显著降低推理延迟和内存占用的同时,获得了更优的推荐精度。分析表明,偏好记忆机制发挥着去噪信息瓶颈的作用,能有效过滤交互噪声以捕捉稳健的长期兴趣。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
《序列推荐》最新综述
专知会员服务
22+阅读 · 2024年12月27日
生成式推荐: 迈向下一代推荐系统新范式
专知会员服务
49+阅读 · 2023年4月15日
Python推荐系统框架:RecQ
专知
12+阅读 · 2019年1月21日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《序列推荐》最新综述
专知会员服务
22+阅读 · 2024年12月27日
生成式推荐: 迈向下一代推荐系统新范式
专知会员服务
49+阅读 · 2023年4月15日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员