Generative recommender systems have recently attracted attention by formulating next-item prediction as an autoregressive sequence generation task. However, most existing methods optimize standard next-token likelihood and implicitly treat all tokens as equally informative, which is misaligned with semantic-ID-based generation. Accordingly, we propose two complementary information-gain-based token-weighting strategies tailored to generative recommendation with semantic IDs. Front-Greater Weighting captures conditional semantic information gain by prioritizing early tokens that most effectively reduce candidate-item uncertainty given their prefixes and encode coarse semantics. Frequency Weighting models marginal information gain under long-tailed item and token distributions, upweighting rare tokens to counteract popularity bias. Beyond individual strategies, we introduce a multi-target learning framework with curriculum learning that jointly optimizes the two token-weighted objectives alongside standard likelihood, enabling stable optimization and adaptive emphasis across training stages. Extensive experiments on benchmark datasets show that our method consistently outperforms strong baselines and existing token-weighting approaches, with improved robustness, strong generalization across different semantic-ID constructions, and substantial gains on both head and tail items. Code is available at https://github.com/CHIUWEINING/Token-Weighted-Multi-Target-Learning-for-Generative-Recommenders-with-Curriculum-Learning.


翻译:生成式推荐系统近来通过将下一项预测构建为自回归序列生成任务而受到关注。然而,现有方法大多优化标准的下一个令牌似然,并隐含地将所有令牌视为同等信息量,这与基于语义ID的生成方式并不一致。为此,我们提出了两种互补的、基于信息增益的令牌加权策略,专门针对使用语义ID的生成式推荐任务。前端加权通过优先考虑那些在给定前缀条件下最能有效减少候选项目不确定性、并编码粗略语义的早期令牌,来捕捉条件语义信息增益。频率加权则在长尾项目和令牌分布下建模边际信息增益,通过提升稀有令牌的权重来抵消流行度偏差。除了单独的策略,我们还引入了一个结合课程学习的多目标学习框架,该框架联合优化两个令牌加权目标与标准似然,实现了稳定的优化过程以及在训练不同阶段的自适应重点调整。在多个基准数据集上的大量实验表明,我们的方法 consistently 优于强基线及现有的令牌加权方法,表现出更高的鲁棒性、对不同语义ID构建方式的强泛化能力,并在头部和尾部项目上均取得了显著性能提升。代码可在 https://github.com/CHIUWEINING/Token-Weighted-Multi-Target-Learning-for-Generative-Recommenders-with-Curriculum-Learning 获取。

0
下载
关闭预览

相关内容

生成式推荐综述:数据、模型与任务
专知会员服务
19+阅读 · 2025年11月4日
生成式推荐最新进展
专知会员服务
25+阅读 · 2025年1月8日
自监督学习推荐系统综述
专知会员服务
36+阅读 · 2024年4月6日
生成式推荐: 迈向下一代推荐系统新范式
专知会员服务
49+阅读 · 2023年4月15日
初学者系列:推荐系统Wide & Deep Learning详解
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
初学者系列:推荐系统Wide & Deep Learning详解
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员