Latent factor models are the most popular backbones for today's recommender systems owing to their prominent performance. Latent factor models represent users and items as real-valued embedding vectors for pairwise similarity computation, and all embeddings are traditionally restricted to a uniform size that is relatively large (e.g., 256-dimensional). With the exponentially expanding user base and item catalog in contemporary e-commerce, this design is admittedly becoming memory-inefficient. To facilitate lightweight recommendation, reinforcement learning (RL) has recently opened up opportunities for identifying varying embedding sizes for different users/items. However, challenged by search efficiency and learning an optimal RL policy, existing RL-based methods are restricted to highly discrete, predefined embedding size choices. This leads to a largely overlooked potential of introducing finer granularity into embedding sizes to obtain better recommendation effectiveness under a given memory budget. In this paper, we propose continuous input embedding size search (CIESS), a novel RL-based method that operates on a continuous search space with arbitrary embedding sizes to choose from. In CIESS, we further present an innovative random walk-based exploration strategy to allow the RL policy to efficiently explore more candidate embedding sizes and converge to a better decision. CIESS is also model-agnostic and hence generalizable to a variety of latent factor RSs, whilst experiments on two real-world datasets have shown state-of-the-art performance of CIESS under different memory budgets when paired with three popular recommendation models.


翻译:潜在因子模型因其卓越性能成为当今推荐系统最流行的核心架构。该模型将用户和物品表示为实值嵌入向量以进行相似度计算,传统上所有嵌入向量均被限制在相对较大的统一维度(例如256维)。随着现代电子商务中用户基数和物品目录的指数级扩张,这种设计确实日益显露出内存低效的问题。为实现轻量化推荐,强化学习技术近期为不同用户/物品识别差异化嵌入维度提供了新途径。然而,受限于搜索效率与最优策略学习,现有基于强化学习的方法仅能在高度离散的预定义嵌入维度集合中进行选择。这导致在给定内存约束下,通过更细粒度嵌入维度提升推荐效果的潜力长期被忽视。本文提出连续输入嵌入维度搜索方法——一种基于强化学习的新型框架,可在包含任意嵌入维度的连续搜索空间中进行操作。该方法进一步提出创新的随机游走探索策略,使强化学习策略能高效探索更多候选嵌入维度并收敛至更优决策。该框架具有模型无关性,可泛化至多种潜在因子推荐系统。在两个真实数据集上的实验表明,当与三种主流推荐模型结合时,本方法在不同内存约束下均实现了最先进的性能表现。

0
下载
关闭预览

相关内容

【新书】深度学习推荐系统
专知会员服务
28+阅读 · 2025年5月9日
图嵌入推荐系统技术综述,64页pdf422篇文献
专知会员服务
65+阅读 · 2021年9月22日
南洋理工大学,深度学习推荐系统综述
专知会员服务
177+阅读 · 2019年10月14日
初学者系列:推荐系统Wide & Deep Learning详解
深度学习在推荐系统中的应用及论文小结
专知
14+阅读 · 2019年7月8日
推荐系统产品与算法概述 | 深度
AI100
11+阅读 · 2019年6月13日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
17+阅读 · 2018年5月5日
深度学习在推荐系统上的应用
架构文摘
13+阅读 · 2018年2月22日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【新书】深度学习推荐系统
专知会员服务
28+阅读 · 2025年5月9日
图嵌入推荐系统技术综述,64页pdf422篇文献
专知会员服务
65+阅读 · 2021年9月22日
南洋理工大学,深度学习推荐系统综述
专知会员服务
177+阅读 · 2019年10月14日
相关资讯
初学者系列:推荐系统Wide & Deep Learning详解
深度学习在推荐系统中的应用及论文小结
专知
14+阅读 · 2019年7月8日
推荐系统产品与算法概述 | 深度
AI100
11+阅读 · 2019年6月13日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
17+阅读 · 2018年5月5日
深度学习在推荐系统上的应用
架构文摘
13+阅读 · 2018年2月22日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员