Popularity bias fundamentally undermines the personalization capabilities of collaborative filtering (CF) models, causing them to disproportionately recommend popular items while neglecting users' genuine preferences for niche content. While existing approaches treat this as an external confounding factor, we reveal that popularity bias is an intrinsic geometric artifact of Bayesian Pairwise Ranking (BPR) optimization in CF models. Through rigorous mathematical analysis, we prove that BPR systematically organizes item embeddings along a dominant "popularity direction" where embedding magnitudes directly correlate with interaction frequency. This geometric distortion forces user embeddings to simultaneously handle two conflicting tasks-expressing genuine preference and calibrating against global popularity-trapping them in suboptimal configurations that favor popular items regardless of individual tastes. We propose Directional Decomposition and Correction (DDC), a universally applicable framework that surgically corrects this embedding geometry through asymmetric directional updates. DDC guides positive interactions along personalized preference directions while steering negative interactions away from the global popularity direction, disentangling preference from popularity at the geometric source. Extensive experiments across multiple BPR-based architectures demonstrate that DDC significantly outperforms state-of-the-art debiasing methods, reducing training loss to less than 5% of heavily-tuned baselines while achieving superior recommendation quality and fairness. Code is available in https://github.com/LingFeng-Liu-AI/DDC.


翻译:流行度偏置从根本上削弱了协同过滤(CF)模型的个性化能力,导致其过度推荐热门项目,而忽视用户对利基内容的真实偏好。现有方法通常将此视为外部混杂因素,但我们揭示出流行度偏置实际上是CF模型中贝叶斯成对排序(BPR)优化过程固有的几何伪影。通过严格的数学分析,我们证明BPR会系统性地将项目嵌入沿一个主导的“流行度方向”进行组织,其中嵌入向量的模长与交互频率直接相关。这种几何畸变迫使用户嵌入向量同时承担两个相互冲突的任务——表达真实偏好与校准全局流行度——从而将其困于次优配置中,导致无论个体兴趣如何都倾向于推荐热门项目。我们提出了方向分解与校正(DDC)框架,这是一个普适性方法,通过非对称方向更新对嵌入几何结构进行精准校正。DDC引导正向交互沿个性化偏好方向进行,同时使负向交互远离全局流行度方向,从而在几何源头实现偏好与流行度的解耦。在多种基于BPR的架构上进行的大量实验表明,DDC显著优于当前最先进的去偏方法,将训练损失降至经过充分调优基线方法的5%以下,同时实现了更优的推荐质量与公平性。代码发布于 https://github.com/LingFeng-Liu-AI/DDC。

0
下载
关闭预览

相关内容

多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
基于因果推断的推荐系统去偏研究
专知会员服务
21+阅读 · 2024年11月10日
【KDD2023】协同过滤的高效联合超参数和架构搜索
专知会员服务
23+阅读 · 2023年7月23日
专知会员服务
15+阅读 · 2021年6月26日
【WWW2021】神经公平协同过滤的去偏职业推荐
专知会员服务
22+阅读 · 2021年3月18日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
浅析神经协同过滤NCF在推荐系统的应用
凡人机器学习
15+阅读 · 2020年10月17日
CFGAN:基于生成对抗网络的协同过滤框架
推荐系统BAT面试题:说说协同过滤的原理
七月在线实验室
50+阅读 · 2019年1月30日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员