Graph-based recommendation has achieved great success in recent years. The classical graph recommendation model utilizes ID embedding to store essential collaborative information. However, this ID-based paradigm faces challenges in transferring to a new domain, making it hard to build a pre-trained graph recommendation model. This phenomenon primarily stems from two inherent challenges: (1) the non-transferability of ID embeddings due to isolated domain-specific ID spaces, and (2) structural incompatibility between heterogeneous interaction graphs across domains. To address these issues, we propose TextBridgeGNN, a pre-training and fine-tuning framework that can effectively transfer knowledge from a pre-trained GNN to downstream tasks. We believe the key lies in how to build the relationship between domains. Specifically, TextBridgeGNN uses text as a semantic bridge to connect domains through multi-level graph propagation. During the pre-training stage, textual information is utilized to break the data islands formed by multiple domains, and hierarchical GNNs are designed to learn both domain-specific and domain-global knowledge with text features, ensuring the retention of collaborative signals and the enhancement of semantics. During the fine-tuning stage, a similarity transfer mechanism is proposed. This mechanism initializes ID embeddings in the target domain by transferring from semantically related nodes, successfully transferring the ID embeddings and graph pattern. Experiments demonstrate that TextBridgeGNN outperforms existing methods in cross-domain, multi-domain, and training-free settings, highlighting its ability to integrate Pre-trained Language Model (PLM)-driven semantics with graph-based collaborative filtering without costly language model fine-tuning or real-time inference overhead.


翻译:[translated abstract in Chinese] 基于图的推荐系统近年来取得了巨大成功。经典图推荐模型利用ID嵌入存储关键的协同信息。然而,这种基于ID的范式在跨域迁移时面临挑战,难以构建预训练的图推荐模型。该现象主要源于两个固有难题:(1)由于不同领域间孤立的ID空间,导致ID嵌入不可迁移;(2)跨域异构交互图在结构上存在不兼容性。为解决这些问题,我们提出TextBridgeGNN——一种能够将预训练GNN知识有效迁移至下游任务的预训练-微调框架。我们认为关键在于如何构建领域间的关联。具体而言,TextBridgeGNN使用文本作为语义桥梁,通过多层级图传播连接不同领域。在预训练阶段,利用文本信息打破多领域形成的数据孤岛,并设计层级图神经网络以结合文本特征学习领域专属与领域全局知识,确保保留协同信号并增强语义。在微调阶段,提出相似性迁移机制:通过从语义相关节点进行迁移,初始化目标域中的ID嵌入,成功实现ID嵌入与图模式的迁移。实验表明,TextBridgeGNN在跨域、多域及免训练场景下均优于现有方法,突显其无需昂贵的语言模型微调或实时推理开销,即可将预训练语言模型驱动的语义与图协同过滤有效融合的能力。

0
下载
关闭预览

相关内容

【WWW2024】GraphPro:推荐系统中的图预训练与提示学习
专知会员服务
23+阅读 · 2024年1月26日
RecInterpreter:架起大语言模型与传统推荐模型的桥梁
专知会员服务
54+阅读 · 2023年11月9日
华为朱杰明:预训练模型在信息流推荐中的应用与探索
专知会员服务
19+阅读 · 2022年5月23日
【清华大学】图神经网络推荐系统综述论文
专知会员服务
81+阅读 · 2021年10月6日
专知会员服务
48+阅读 · 2020年10月20日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
CNN与RNN中文文本分类-基于TensorFlow 实现
七月在线实验室
13+阅读 · 2018年10月30日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
14+阅读 · 2021年7月20日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
5+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员