Generative recommendation represents each item as a semantic ID, i.e., a sequence of discrete tokens, and generates the next item through autoregressive decoding. While effective, existing autoregressive models face two intrinsic limitations: (1) unidirectional constraints, where causal attention restricts each token to attend only to its predecessors, hindering global semantic modeling; and (2) error accumulation, where the fixed left-to-right generation order causes prediction errors in early tokens to propagate to the predictions of subsequent token. To address these issues, we propose LLaDA-Rec, a discrete diffusion framework that reformulates recommendation as parallel semantic ID generation. By combining bidirectional attention with the adaptive generation order, the approach models inter-item and intra-item dependencies more effectively and alleviates error accumulation. Specifically, our approach comprises three key designs: (1) a parallel tokenization scheme that produces semantic IDs for bidirectional modeling, addressing the mismatch between residual quantization and bidirectional architectures; (2) two masking mechanisms at the user-history and next-item levels to capture both inter-item sequential dependencies and intra-item semantic relationships; and (3) an adapted beam search strategy for adaptive-order discrete diffusion decoding, resolving the incompatibility of standard beam search with diffusion-based generation. Experiments on three real-world datasets show that LLaDA-Rec consistently outperforms both ID-based and state-of-the-art generative recommenders, establishing discrete diffusion as a new paradigm for generative recommendation.


翻译:生成式推荐将每个物品表示为语义ID(即离散标记序列),并通过自回归解码生成下一个物品。尽管有效,现有的自回归模型面临两个内在局限:(1)单向约束,其中因果注意力限制每个标记仅能关注其前驱,阻碍了全局语义建模;(2)误差累积,固定的从左到右生成顺序导致早期标记的预测误差传播至后续标记的预测。为解决这些问题,我们提出了LLaDA-Rec,一个将推荐重新定义为并行语义ID生成的离散扩散框架。通过结合双向注意力与自适应生成顺序,该方法更有效地建模物品间和物品内依赖关系,并缓解误差累积。具体而言,我们的方法包含三个关键设计:(1)一种并行标记化方案,为双向建模生成语义ID,解决了残差量化与双向架构之间的不匹配问题;(2)在用户历史记录和下一物品层面的两种掩码机制,以捕捉物品间序列依赖和物品内语义关系;(3)一种适用于自适应顺序离散扩散解码的改进束搜索策略,解决了标准束搜索与基于扩散的生成之间的不兼容性。在三个真实世界数据集上的实验表明,LLaDA-Rec始终优于基于ID的方法和最先进的生成式推荐器,确立了离散扩散作为生成式推荐的新范式。

0
下载
关闭预览

相关内容

【NeurIPS2024】IPO: 面向视觉-语言模型的可解释提示优化
专知会员服务
22+阅读 · 2024年10月23日
【AAAI2024】面向序列推荐的插件扩散模型
专知会员服务
27+阅读 · 2024年1月9日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员