Harnessing the reasoning power of Large Language Models (LLMs) for recommender systems is hindered by two fundamental challenges. First, current approaches lack a mechanism for automated, data-driven discovery of effective reasoning patterns, relying instead on brittle manual templates or unstable zero-shot prompting. Second, they employ structure-collapsing integration: direct prompting incurs prohibitive online inference costs, while feature extraction collapses reasoning chains into single vectors, discarding stepwise logic. To address these challenges, we propose SCoTER (Structured Chain-of-Thought Transfer for Enhanced Recommendation), a unified framework that treats pattern discovery and structure-aware transfer as a jointly optimized problem. Specifically, SCoTER operationalizes this through two synergistic components: a Generate-Validate-Mine (GVM) pipeline for automated pattern discovery and a structure-preserving integration architecture that transfers stepwise logic to efficient models. Empirically, experiments on four benchmarks demonstrate consistent improvements across diverse backbones. Moreover, in production deployment on the Tencent Advertising Platform, SCoTER achieved a 2.14\% lift in Gross Merchandise Value (GMV) while eliminating online LLM inference costs. Overall, SCoTER presents a practical and unified framework for integrating structured LLM reasoning into recommender systems, validated by consistent improvements in both offline benchmarks and online production environments.


翻译:利用大型语言模型(LLM)的推理能力赋能推荐系统面临两个根本性挑战。首先,现有方法缺乏自动化、数据驱动的高效推理模式发现机制,主要依赖脆性的手动模板或不稳定的零样本提示。其次,它们采用结构坍塌的集成方式:直接提示法会产生难以承受的在线推理成本,而特征提取法则将推理链压缩为单一向量,丢弃了逐步逻辑。为应对这些挑战,我们提出了SCoTER(面向增强推荐的结构化思维链迁移),这是一个将模式发现与结构感知迁移作为联合优化问题的统一框架。具体而言,SCoTER通过两个协同组件实现这一目标:用于自动化模式发现的生成-验证-挖掘(GVM)流水线,以及将逐步逻辑迁移至高效模型的结构保持集成架构。实证研究表明,在四个基准数据集上的实验验证了该方法在不同骨干模型上均能带来持续的性能提升。此外,在腾讯广告平台的生产部署中,SCoTER在完全消除在线LLM推理成本的同时,实现了商品交易总额(GMV)2.14%的提升。总体而言,SCoTER为将结构化LLM推理集成到推荐系统提供了一个实用且统一的框架,其有效性在离线基准测试和在线生产环境中均得到了验证。

0
下载
关闭预览

相关内容

大语言模型中的检索与结构化增强生成综述
专知会员服务
32+阅读 · 2025年9月17日
检索增强生成(RAG)与推理的协同作用:一项系统综述
专知会员服务
33+阅读 · 2025年4月27日
迈向大型推理模型:基于大型语言模型的强化推理综述
专知会员服务
49+阅读 · 2025年1月17日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
40+阅读 · 2024年12月22日
探究检索增强下的大模型知识边界
专知会员服务
56+阅读 · 2023年7月25日
自动特征工程在推荐系统中的研究
DataFunTalk
10+阅读 · 2019年12月20日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
17+阅读 · 2018年5月5日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员