Large Language Model-based Recommender Systems (LRSs) have recently emerged as a new paradigm in sequential recommendation by directly adopting LLMs as backbones. While LRSs demonstrate strong knowledge utilization and instruction-following abilities, they have not been systematically studied under the long-standing long-tail problem. In this paper, we conduct an empirical study and reveal that LRSs face two distinct types of long-tail: i) prior long-tail, inherited implicitly from pretraining corpora, and ii) data long-tail, originating from skewed recommendation datasets. Our analysis shows that both contribute to the performance disparity between head and tail items, with the intersection of the two heads exhibiting an even stronger head effect. Nevertheless, the overall performance distribution in LRSs, especially on the tail, remains dominated by the data long-tail. To address this challenge, we propose Efficient Item-wise Sharpness-Aware Minimization (EISAM), a novel optimization framework that improves tail-item performance by adaptively regularizing the loss landscape at the item level. EISAM introduces an efficient penalty design that captures fine-grained item-specific sharpness while maintaining computational scalability for LLMs. In addition, we derive a generalization bound for EISAM. Our theoretical analysis shows that the bound decreases at a faster rate under our item-wise regularization, offering theoretical support for its effectiveness. Extensive experiments on three real-world datasets demonstrate that EISAM significantly boosts tail-item recommendation performance while preserving overall quality, establishing the first systematic solution to the long-tail problem in LRSs.


翻译:基于大型语言模型的推荐系统(LRSs)作为一种新范式,通过直接采用LLM作为骨干网络,已在序列推荐领域崭露头角。尽管LRSs展现出强大的知识利用与指令遵循能力,其在长期存在的长尾问题下的表现尚未得到系统研究。本文通过实证研究发现,LRSs面临两种不同类型的长尾:i) 先验长尾,即从预训练语料中隐式继承的分布偏斜;ii) 数据长尾,源于推荐数据集本身的分布不均衡。分析表明,两者均导致头部与尾部物品间的性能差异,且当两种长尾效应叠加时,头部效应会进一步增强。然而,LRSs的整体性能分布(尤其在尾部)仍主要受数据长尾主导。为应对这一挑战,我们提出高效逐项锐度感知最小化(EISAM),一种新颖的优化框架,通过在物品层级自适应正则化损失函数的几何形态来提升尾部物品性能。EISAM设计了高效的正则项,能够捕捉细粒度的物品特异性锐度,同时保持对LLM计算的可扩展性。此外,我们推导了EISAM的泛化误差上界。理论分析表明,在逐项正则化下该上界以更快的速率下降,为其有效性提供了理论支撑。在三个真实数据集上的大量实验表明,EISAM在保持整体推荐质量的同时,显著提升了尾部物品的推荐性能,为LRSs中的长尾问题提供了首个系统性解决方案。

0
下载
关闭预览

相关内容

关于大语言模型驱动的推荐系统智能体的综述
专知会员服务
29+阅读 · 2025年2月17日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
40+阅读 · 2024年12月22日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
[SIGIR’2024]LLaRA:推荐大模型新范式
专知会员服务
44+阅读 · 2024年4月17日
初学者系列:推荐系统Wide & Deep Learning详解
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
1+阅读 · 今天15:35
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
相关资讯
初学者系列:推荐系统Wide & Deep Learning详解
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员