Large Language Models (LLMs) are increasingly adopted as backbones for Generative Recommendation (GR), promising access to pretrained world knowledge. Yet reliably invoking this knowledge for GR remains poorly understood. A key obstacle is that LLM-based GR typically represents items with Semantic IDs (SIDs), disrupting LLMs' natural-language reasoning interface because these tokens are unseen by the LLM during pretraining. Existing approaches address this with expensive multi-stage pipelines that ground SIDs and elicit explicit rationales, but offer limited insight into when and why each stage is necessary. In this work, we systematically decompose explicit reasoning training pipelines for LLM-based GR, revealing three key limitations: weakened world-knowledge verbalization, misalignment between SID and natural-language token embedding spaces, and sensitivity to rationale quality, all of which hurt explicit reasoning performance. To circumvent these issues, we propose PauseRec, a lightweight implicit reasoning paradigm tailored for GR. PauseRec is exceptionally practical, avoiding costly reasoning trace acquisition and reasoning alignment training, leading to a multitude of benefits: (1) it outperforms standard explicit CoT methods by up to 6.22%, (2) it reduces training cost by up to 65% GPU hours, and (3) it speeds up inference by up to 71.3%. These results position PauseRec as a lightweight alternative to explicit rationale generation, enabling more effective and efficient LLM-based GR.


翻译:大语言模型(LLM)越来越多地被用作生成式推荐(GR)的主干,有望利用预训练的世界知识。然而,如何可靠地调用这些知识进行GR仍鲜为人知。一个关键障碍是,基于LLM的GR通常使用语义ID(SID)表示物品,这会破坏LLM的自然语言推理接口,因为这些token在LLM预训练期间是未见过的。现有方法通过昂贵的多阶段流水线来处理这一问题,这些流水线会建立SID的grounding并引发显式推理链条,但对于每个阶段在何时以及为何必要提供了有限的见解。在这项工作中,我们系统地分解了基于LLM的GR的显式推理训练流水线,揭示了三个关键局限性:世界知识语言化的减弱、SID与自然语言token嵌入空间之间的不对齐,以及对推理链条质量的敏感性,所有这些都会损害显式推理性能。为了规避这些问题,我们提出了PauseRec,这是一种专为GR设计的轻量级隐式推理范式。PauseRec非常实用,避免了昂贵的推理链条获取和推理对齐训练,从而带来了众多益处:(1)其性能比标准显式CoT方法高出高达6.22%,(2)训练成本(GPU小时)降低高达65%,(3)推理速度提升高达71.3%。这些结果使PauseRec成为显式推理链条生成的轻量级替代方案,能够实现更有效和高效的基于LLM的GR。

0
下载
关闭预览

相关内容

【CMU博士论文】大型语言模型的隐性特性
专知会员服务
15+阅读 · 2025年10月18日
大语言模型中的检索与结构化增强生成综述
专知会员服务
34+阅读 · 2025年9月17日
大语言模型中的隐式推理:综合综述
专知会员服务
34+阅读 · 2025年9月4日
高效大语言模型推理服务综述
专知会员服务
18+阅读 · 2025年4月30日
通过逻辑推理赋能大语言模型:综述
专知会员服务
33+阅读 · 2025年2月24日
大语言模型中的逻辑推理:综述
专知会员服务
49+阅读 · 2025年2月15日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
大型语言模型高效推理综述
专知会员服务
65+阅读 · 2024年4月23日
大型语言模型在表格推理中的应用综述
专知会员服务
48+阅读 · 2024年2月14日
「大型语言模型推理」综述
专知会员服务
96+阅读 · 2022年12月24日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 6月7日
Arxiv
12+阅读 · 2023年5月31日
VIP会员
最新内容
《履带式无人地面战车技术发展现状》
专知会员服务
2+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
8+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
8+阅读 · 7月31日
相关VIP内容
【CMU博士论文】大型语言模型的隐性特性
专知会员服务
15+阅读 · 2025年10月18日
大语言模型中的检索与结构化增强生成综述
专知会员服务
34+阅读 · 2025年9月17日
大语言模型中的隐式推理:综合综述
专知会员服务
34+阅读 · 2025年9月4日
高效大语言模型推理服务综述
专知会员服务
18+阅读 · 2025年4月30日
通过逻辑推理赋能大语言模型:综述
专知会员服务
33+阅读 · 2025年2月24日
大语言模型中的逻辑推理:综述
专知会员服务
49+阅读 · 2025年2月15日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
大型语言模型高效推理综述
专知会员服务
65+阅读 · 2024年4月23日
大型语言模型在表格推理中的应用综述
专知会员服务
48+阅读 · 2024年2月14日
「大型语言模型推理」综述
专知会员服务
96+阅读 · 2022年12月24日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员