Effective item identifiers (IDs) are an important component for recommender systems (RecSys) in practice, and are commonly adopted in many use cases such as retrieval and ranking. IDs can encode collaborative filtering signals within training data, such that RecSys models can extrapolate during the inference and personalize the prediction based on users' behavioral histories. Recently, Semantic IDs (SIDs) have become a trending paradigm for RecSys. In comparison to the conventional atomic ID, an SID is an ordered list of codes, derived from tokenizers such as residual quantization, applied to semantic representations commonly extracted from foundation models or collaborative signals. SIDs have drastically smaller cardinality than the atomic counterpart, and induce semantic clustering in the ID space. At Snapchat, we apply SIDs as auxiliary features for ranking models, and also explore SIDs as additional retrieval sources in different ML applications. In this paper, we discuss practical technical challenges we encountered while applying SIDs, experiments we have conducted, and design choices we have iterated to mitigate these challenges. Backed by promising offline results on both internal data and academic benchmarks as well as online A/B studies, SID variants have been launched in multiple production models with positive metrics impact.


翻译:有效的物品标识符(ID)是推荐系统(RecSys)在实际应用中的重要组成部分,广泛应用于检索和排序等多种场景。ID能够编码训练数据中的协同过滤信号,使推荐系统在推理过程中进行外推,并根据用户行为历史实现个性化预测。近年来,语义ID(SID)已成为推荐系统的新兴范式。与传统原子ID相比,SID是一种有序编码序列,由残差量化等分词器从通常从基础模型或协同信号中提取的语义表示中衍生而来。SID的基数远小于原子ID,并在ID空间中诱导语义聚类。在Snapchat,我们将SID作为排序模型的辅助特征,并探索将SID作为不同机器学习应用中的额外检索来源。本文讨论了我们在应用SID时遇到的实际技术挑战、进行的实验以及为缓解这些挑战而迭代的设计选择。基于内部数据和学术基准上令人鼓舞的离线结果以及在线A/B实验,SID变体已在多个生产模型中上线,并取得了积极的指标影响。

0
下载
关闭预览

相关内容

【新书】用Python和JAX构建推荐系统
专知会员服务
29+阅读 · 2022年12月26日
图嵌入推荐系统技术综述,64页pdf422篇文献
专知会员服务
65+阅读 · 2021年9月22日
个性化推荐系统技术进展
专知会员服务
66+阅读 · 2020年8月15日
初学者系列:推荐系统Wide & Deep Learning详解
推荐系统产品与算法概述 | 深度
AI100
11+阅读 · 2019年6月13日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
推荐系统概述
Linux爱好者
20+阅读 · 2018年9月6日
快手类推荐系统实践
机器学习算法与Python学习
17+阅读 · 2018年2月7日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
9+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
5+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
26+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
13+阅读 · 11月6日
相关VIP内容
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员