Contrastive Learning (CL) performances as a rising approach to address the challenge of sparse and noisy recommendation data. Although having achieved promising results, most existing CL methods only perform either hand-crafted data or model augmentation for generating contrastive pairs to find a proper augmentation operation for different datasets, which makes the model hard to generalize. Additionally, since insufficient input data may lead the encoder to learn collapsed embeddings, these CL methods expect a relatively large number of training data (e.g., large batch size or memory bank) to contrast. However, not all contrastive pairs are always informative and discriminative enough for the training processing. Therefore, a more general CL-based recommendation model called Meta-optimized Contrastive Learning for sequential Recommendation (MCLRec) is proposed in this work. By applying both data augmentation and learnable model augmentation operations, this work innovates the standard CL framework by contrasting data and model augmented views for adaptively capturing the informative features hidden in stochastic data augmentation. Moreover, MCLRec utilizes a meta-learning manner to guide the updating of the model augmenters, which helps to improve the quality of contrastive pairs without enlarging the amount of input data. Finally, a contrastive regularization term is considered to encourage the augmentation model to generate more informative augmented views and avoid too similar contrastive pairs within the meta updating. The experimental results on commonly used datasets validate the effectiveness of MCLRec.


翻译:对比学习(Contrastive Learning, CL)作为一种新兴方法,旨在应对推荐数据稀疏且噪声大的挑战。尽管已有方法取得了显著成果,但现有的大多数CL方法仅通过手工设计的数据增强或模型增强方式生成对比对,以寻找适用于不同数据集的增强操作,这导致模型难以泛化。此外,由于输入数据不足可能使编码器学习到坍缩的嵌入表示,这些CL方法通常需要较大规模的数据量(例如大批次样本或存储库)进行对比。然而,并非所有对比对都能为训练过程提供足够的信息性和判别性。为此,本文提出一种更通用的基于对比学习的推荐模型——用于序列推荐的元优化对比学习(Meta-optimized Contrastive Learning for sequential Recommendation, MCLRec)。该工作通过同时应用数据增强和可学习的模型增强操作,创新性地改进了标准CL框架,对比数据增强视角与模型增强视角,从而自适应地捕捉随机数据增强中隐藏的信息性特征。此外,MCLRec利用元学习方式指导模型增强器的更新,在不增加输入数据量的前提下提升对比对的质量。最后,引入对比正则化项,鼓励增强模型生成更具信息量的增强视角,并避免元更新过程中产生过于相似的对比对。在常用数据集上的实验结果验证了MCLRec的有效性。

0
下载
关闭预览

相关内容

专知会员服务
75+阅读 · 2020年9月1日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
专知会员服务
88+阅读 · 2020年1月20日
最新10篇对比学习推荐前沿工作
机器学习与推荐算法
2+阅读 · 2022年9月14日
浅聊对比学习(Contrastive Learning)
极市平台
3+阅读 · 2022年7月26日
SIGIR2022 | 推荐算法之对比学习篇
机器学习与推荐算法
7+阅读 · 2022年7月21日
浅聊对比学习(Contrastive Learning)第一弹
PaperWeekly
1+阅读 · 2022年6月10日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Cold-start Sequential Recommendation via Meta Learner
Arxiv
15+阅读 · 2020年12月10日
Arxiv
14+阅读 · 2018年4月18日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
专知会员服务
1+阅读 · 今天7:28
消耗优势:美军的“精确规模化”概念
专知会员服务
7+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
俄乌战场地面机器人如何改写战争规则
专知会员服务
9+阅读 · 6月14日
相关VIP内容
专知会员服务
75+阅读 · 2020年9月1日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
专知会员服务
88+阅读 · 2020年1月20日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员