Modern recommender systems trained on domain-specific data often struggle to generalize across multiple domains. Cross-domain sequential recommendation has emerged as a promising research direction to address this challenge; however, existing approaches face fundamental limitations, such as reliance on overlapping users or items across domains, or unrealistic assumptions that ignore privacy constraints. In this work, we propose a new framework, MergeRec, based on model merging under a new and realistic problem setting termed data-isolated cross-domain sequential recommendation, where raw user interaction data cannot be shared across domains. MergeRec consists of three key components: (1) merging initialization, (2) pseudo-user data construction, and (3) collaborative merging optimization. First, we initialize a merged model using training-free merging techniques. Next, we construct pseudo-user data by treating each item as a virtual sequence in each domain, enabling the synthesis of meaningful training samples without relying on real user interactions. Finally, we optimize domain-specific merging weights through a joint objective that combines a recommendation loss, which encourages the merged model to identify relevant items, and a distillation loss, which transfers collaborative filtering signals from the fine-tuned source models. Extensive experiments demonstrate that MergeRec not only preserves the strengths of the original models but also significantly enhances generalizability to unseen domains. Compared to conventional model merging methods, MergeRec consistently achieves superior performance, with average improvements of up to 17.21% in Recall@10, highlighting the potential of model merging as a scalable and effective approach for building universal recommender systems. The source code is available at https://github.com/DIALLab-SKKU/MergeRec.


翻译:现代推荐系统基于特定领域数据训练,往往难以泛化至多个领域。跨域序列推荐已成为应对这一挑战的重要研究方向;然而,现有方法存在根本性局限,例如依赖跨域重叠用户或物品,或忽略隐私约束的不现实假设。本文提出一种新框架MergeRec,其基于模型融合技术,并针对一种新颖且现实的"数据隔离跨域序列推荐"问题设定——该设定下原始用户交互数据无法跨域共享。MergeRec包含三个核心组件:(1) 融合初始化,(2) 伪用户数据构建,(3) 协同融合优化。首先,我们采用免训练的融合技术初始化融合模型。接着,通过将各领域内每个物品视为虚拟序列来构建伪用户数据,从而在不依赖真实用户交互的情况下合成有意义的训练样本。最后,我们通过联合目标函数优化领域特定的融合权重,该目标结合了推荐损失(促使融合模型识别相关物品)与蒸馏损失(从微调后的源模型中迁移协同过滤信号)。大量实验表明,MergeRec不仅能保持原始模型的优势,还能显著提升对未见领域的泛化能力。与传统模型融合方法相比,MergeRec始终取得更优性能,Recall@10平均提升最高达17.21%,这凸显了模型融合作为构建通用推荐系统的可扩展高效方法的潜力。源代码已发布于 https://github.com/DIALLab-SKKU/MergeRec。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【AAAI2023】MHCCL:多变量时间序列的掩蔽层次聚类对比学习
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
14+阅读 · 2022年5月4日
专知会员服务
38+阅读 · 2021年9月15日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员