Recently, multi-interest models, which extract interests of a user as multiple representation vectors, have shown promising performances for sequential recommendation. However, none of existing multi-interest recommendation models consider the Out-Of-Distribution (OOD) generalization problem, in which interest distribution may change. Considering multiple interests of a user are usually highly correlated, the model has chance to learn spurious correlations between noisy interests and target items. Once the data distribution changes, the correlations among interests may also change, and the spurious correlations will mislead the model to make wrong predictions. To tackle with above OOD generalization problem, we propose a novel multi-interest network, named DEep Stable Multi-Interest Learning (DESMIL), which attempts to de-correlate the extracted interests in the model, and thus spurious correlations can be eliminated. DESMIL applies an attentive module to extract multiple interests, and then selects the most important one for making final predictions. Meanwhile, DESMIL incorporates a weighted correlation estimation loss based on Hilbert-Schmidt Independence Criterion (HSIC), with which training samples are weighted, to minimize the correlations among extracted interests. Extensive experiments have been conducted under both OOD and random settings, and up to 36.8% and 21.7% relative improvements are achieved respectively.


翻译:近年来,多兴趣模型通过将用户兴趣提取为多个表征向量,在序列推荐中展现了优异性能。然而,现有推荐模型均未考虑兴趣分布可能变化的分布外泛化问题。由于用户的多重兴趣通常高度相关,模型可能学习到噪声兴趣与目标物品之间的虚假关联。当数据分布发生变化时,兴趣间的关联性也可能改变,导致虚假关联误导模型做出错误预测。为解决上述分布外泛化问题,我们提出一种新型多兴趣网络——深度稳定多兴趣学习(DESMIL),该网络通过去相关模型提取的兴趣以消除虚假关联。DESMIL采用注意力模块提取多重兴趣,并选择最重要兴趣进行最终预测。同时,基于希尔伯特-施密特独立性准则(HSIC)引入加权相关性估计损失,通过对训练样本加权来最小化提取兴趣间的相关性。我们在分布外与随机场景下开展大量实验,分别取得了高达36.8%与21.7%的相对性能提升。

0
下载
关闭预览

相关内容

 DiffRec: 扩散推荐模型(SIGIR'23)
专知会员服务
48+阅读 · 2023年4月16日
专知会员服务
88+阅读 · 2020年1月20日
基于对抗学习的隐私保护推荐算法
机器学习与推荐算法
0+阅读 · 2022年7月26日
WWW2022 | Recommendation Unlearning
机器学习与推荐算法
0+阅读 · 2022年6月2日
初学者系列:推荐系统Wide & Deep Learning详解
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
LibRec 精选:基于LSTM的序列推荐实现(PyTorch)
LibRec智能推荐
50+阅读 · 2018年8月27日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
Arxiv
14+阅读 · 2022年5月6日
Arxiv
15+阅读 · 2021年6月27日
Interest-aware Message-Passing GCN for Recommendation
Arxiv
12+阅读 · 2021年2月19日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
3+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
10+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
7+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
战略前沿人工智能的再思考(中文)
专知会员服务
8+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
6+阅读 · 5月29日
相关资讯
基于对抗学习的隐私保护推荐算法
机器学习与推荐算法
0+阅读 · 2022年7月26日
WWW2022 | Recommendation Unlearning
机器学习与推荐算法
0+阅读 · 2022年6月2日
初学者系列:推荐系统Wide & Deep Learning详解
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
LibRec 精选:基于LSTM的序列推荐实现(PyTorch)
LibRec智能推荐
50+阅读 · 2018年8月27日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
相关论文
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员