Large language model (LLM)-enhanced recommendation models inject LLM representations into backbone recommenders to exploit rich item text without inference-time LLM cost. However, we find that existing LLM-enhanced methods significantly hinder the optimization of backbone models, resulting in high training losses that are difficult to reduce. To address it, we establish a comprehensive theoretical analysis of local optimization curvature and identify two key causes: 1) large norm disparity and 2) semantic-collaboration misaligned angular clustering of LLM representations. Guided by these insights, we propose Training-Friendly LLM-Enhanced Recommender (TF-LLMER), a lightweight framework with two key components. First, we highlight the necessity of item embedding normalization to eliminate norm-driven instability and achieve provable control over optimization conditioning. Second, we introduce Rec-PCA, a recommendation-aware dimensionality reduction method that injects collaborative structure into the representation transformation to resolve semantic-collaboration misaligned angular clustering. It jointly optimizes semantic information retention and alignment with an item-item co-occurrence graph constructed from interaction histories. The graph captures collaborative structure, and alignment is promoted by penalizing total variation over the graph. Both theory and extensive experiments demonstrate that TF-LLMER significantly outperforms state-of-the-art methods. Our code is available at https://github.com/woriazzc/TF-LLMER.


翻译:大语言模型增强的推荐模型通过将大语言模型表示注入主干推荐模型,以利用丰富的物品文本信息,而无需在推理时引入大语言模型的计算开销。然而,我们发现现有的大语言模型增强方法显著阻碍了主干模型的优化,导致训练损失居高不下且难以降低。为此,我们建立了局部优化曲率的全面理论分析,并识别出两个关键原因:1)大语言模型表示的范数差异过大;2)语义与协作信息错位的角度聚类。基于这些发现,我们提出了一种轻量级框架——训练友好型大语言模型增强推荐器(TF-LLMER),包含两个核心组件。首先,我们强调物品嵌入归一化的必要性,以消除范数驱动的不稳定性,并实现对优化条件的可证明控制。其次,我们引入推荐感知的降维方法Rec-PCA,该方法在表示变换中注入协作结构,以解决语义与协作信息错位的角度聚类问题。它通过联合优化语义信息保留和与从交互历史构建的物品-物品共现图的对齐来实现这一目标。该图捕获了协作结构,并通过惩罚图上的总变差来促进对齐。理论和大量实验均表明,TF-LLMER显著优于现有最先进方法。我们的代码已开源在 https://github.com/woriazzc/TF-LLMER。

0
下载
关闭预览

相关内容

大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
41+阅读 · 2024年12月22日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
推荐系统与大语言模型技术融合:EMNLP/NeurIPS相关论文导览
RecInterpreter:架起大语言模型与传统推荐模型的桥梁
专知会员服务
54+阅读 · 2023年11月9日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
17+阅读 · 2018年5月5日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关主题
最新内容
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
1+阅读 · 今天13:43
博士论文 | 大动作空间中的在线与离线策略学习
专知会员服务
0+阅读 · 今天13:36
综述 | Autonomous Research Agents:AI 科学家与验证缺口
《多域冲突比较支持模型》60页
专知会员服务
9+阅读 · 8月7日
面向2027年及未来的海军情报改革
专知会员服务
6+阅读 · 8月5日
相关VIP内容
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
41+阅读 · 2024年12月22日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
推荐系统与大语言模型技术融合:EMNLP/NeurIPS相关论文导览
RecInterpreter:架起大语言模型与传统推荐模型的桥梁
专知会员服务
54+阅读 · 2023年11月9日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员