Generative Recommendation (GR) has gained traction for its merits of superior performance and cold-start capability. As the vital role in GR, Semantic Identifiers (SIDs) represent item semantics through discrete tokens. However, current techniques for SID generation based on vector quantization face two main challenges: (i) training instability, stemming from insufficient gradient propagation through the straight-through estimator and sensitivity to initialization; and (ii) inefficient SID quality assessment, where industrial practice still depends on costly GR training and A/B testing. To address these challenges, we propose Reference Vector-Guided Rating Residual Quantization VAE (R3-VAE). This framework incorporates three key innovations: (i) a reference vector that functions as a semantic anchor for the initial features, thereby mitigating sensitivity to initialization; (ii) a dot product-based rating mechanism designed to stabilize the training process and prevent codebook collapse; and (iii) two SID evaluation metrics, Semantic Cohesion and Preference Discrimination, serving as regularization terms during training. Empirical results on six benchmarks demonstrate that R3-VAE outperforms state-of-the-art methods, achieving an average improvement of 14.2% in Recall@10 and 15.5% in NDCG@10 across three Amazon datasets. Furthermore, we perform GR training and online A/B tests on Toutiao. Our method achieves a 1.62% improvement in MRR and a 0.83% gain in StayTime/U versus baselines. Additionally, we employ R3-VAE to replace the item ID of CTR model, resulting in significant improvements in content cold start by 15.36%, corroborating the strong applicability and business value in industry-scale recommendation scenarios.


翻译:生成式推荐因其优越的性能和冷启动能力而受到广泛关注。作为生成式推荐的核心,语义标识符通过离散令牌表示物品语义。然而,当前基于向量量化的语义标识符生成技术面临两大挑战:(i) 训练不稳定,源于通过直通估计器的梯度传播不足以及对初始化的敏感性;(ii) 语义标识符质量评估效率低下,工业实践中仍依赖于高成本的生成式推荐训练和A/B测试。为解决这些问题,我们提出参考向量引导评分残差量化变分自编码器。该框架包含三项关键创新:(i) 参考向量作为初始特征的语义锚点,从而降低对初始化的敏感性;(ii) 基于点积的评分机制,旨在稳定训练过程并防止码本坍塌;(iii) 两个语义标识符评估指标——语义凝聚性和偏好区分性,作为训练过程中的正则化项。在六个基准数据集上的实验结果表明,R3-VAE优于现有最先进方法,在三个亚马逊数据集上Recall@10平均提升14.2%,NDCG@10平均提升15.5%。此外,我们在今日头条平台上进行生成式推荐训练和在线A/B测试。相较于基线方法,我们的方法在MRR上提升1.62%,在单用户停留时长上提升0.83%。同时,我们采用R3-VAE替代点击率模型中的物品ID,使内容冷启动性能显著提升15.36%,验证了其在工业级推荐场景中的强大适用性和商业价值。

0
下载
关闭预览

相关内容

生成式推荐最新进展
专知会员服务
25+阅读 · 2025年1月8日
【SIGIR2024】GPT4Rec: 用于流式推荐的图提示微调
专知会员服务
19+阅读 · 2024年6月13日
【SIGIR2024】生成检索作即多向量密集检索
专知会员服务
23+阅读 · 2024年4月5日
专知会员服务
23+阅读 · 2021年3月23日
自动特征工程在推荐系统中的研究
DataFunTalk
10+阅读 · 2019年12月20日
变分自编码器VAE:一步到位的聚类方案
PaperWeekly
25+阅读 · 2018年9月18日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
战略前沿人工智能的再思考(中文)
专知会员服务
6+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
5+阅读 · 5月29日
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
15+阅读 · 5月28日
《基于理论的威慑效能评估》
专知会员服务
8+阅读 · 5月28日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员