Large language models (LLMs) have recently shown promise in recommendation by providing rich semantic knowledge. While most existing approaches rely on external textual corpora to align LLMs with recommender systems, we revisit a more fundamental yet underexplored question: Can recommendation benefit from LLM token embeddings alone without textual input? Through a systematic empirical study, we show that directly injecting token embeddings from a single LLM into sequential recommenders leads to unstable or limited gains, due to semantic misalignment, insufficient task adaptation, and the restricted coverage of individual LLMs. To address these challenges, we propose MLTFR, a Multi-LLM Token Filtering and Routing framework for corpus-free sequential recommendation. MLTFR follows an interaction-guided LLM knowledge integration paradigm, where task-relevant token embeddings are selected via user-guided token filtering to suppress noisy and irrelevant vocabulary signals. To overcome the limitations of single-LLM representations, MLTFR integrates multiple LLM token spaces through a Mixture-of-Experts architecture, with a Fisher-weighted semantic consensus expert to balance heterogeneous experts and prevent domination during training. By jointly filtering informative tokens and aggregating complementary semantic knowledge across multiple LLMs, MLTFR enables stable and effective utilization of LLM token embeddings without textual inputs or backbone modification. Extensive experiments demonstrate that MLTFR consistently outperforms state-of-the-art sequential recommendation baselines and existing alignment methods. Our code is available at: https://github.com/ccwwhhh/MLTFR.


翻译:大语言模型(LLMs)近来通过提供丰富的语义知识在推荐领域展现出潜力。尽管现有方法大多依赖外部文本语料库来对齐LLMs与推荐系统,我们重新审视了一个更基础但尚未充分探索的问题:推荐能否仅从LLM令牌嵌入中受益而无需文本输入?通过系统性实证研究,我们发现由于语义错位、任务适配不足以及单一LLM覆盖范围受限,直接将单个LLM的令牌嵌入注入序列推荐器会导致不稳定或有限的性能提升。为解决这些挑战,我们提出了MLTFR——一种面向无语料库序列推荐的多LLM令牌过滤与路由框架。MLTFR遵循交互引导的LLM知识集成范式,通过用户引导的令牌过滤选择与任务相关的令牌嵌入,以抑制噪声和无关词汇信号。为克服单LLM表示的局限性,MLTFR通过混合专家架构集成多个LLM令牌空间,并采用Fisher加权语义共识专家来平衡异构专家、防止训练过程中的主导效应。通过联合过滤信息性令牌并在多个LLM间聚合互补语义知识,MLTFR能够在无需文本输入或修改骨干网络的情况下,稳定有效地利用LLM令牌嵌入。大量实验表明,MLTFR持续优于最先进的序列推荐基线和现有对齐方法。我们的代码开源于:https://github.com/ccwwhhh/MLTFR。

0
下载
关闭预览

相关内容

关于大语言模型驱动的推荐系统智能体的综述
专知会员服务
29+阅读 · 2025年2月17日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
40+阅读 · 2024年12月22日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
最全推荐系统Embedding召回算法总结
凡人机器学习
30+阅读 · 2020年7月5日
初学者系列:推荐系统Wide & Deep Learning详解
新书推荐《推荐系统进展:方法与技术》
LibRec智能推荐
13+阅读 · 2019年3月18日
详解 | 推荐系统的工程实现
AI100
42+阅读 · 2019年3月15日
推荐系统概述
Python开发者
11+阅读 · 2018年9月27日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员