Modern recommendation systems rank candidates by aggregating multiple behavioral signals through a value model. However, many commonly used signals are inherently affected by heterogeneous biases. For example, watch time naturally favors long-form content, loop rate favors short - form content, and comment probability favors videos over images. Such biases introduce two critical issues: (1) value model scores may be systematically misaligned with users' relative preferences - for instance, a seemingly low absolute like probability may represent exceptionally strong interest for a user who rarely engages; and (2) changes in value modeling rules can trigger abrupt and undesirable ecosystem shifts. In this work, we ask a fundamental question: can biased behavioral signals be systematically transformed into unbiased signals, under a user - defined notion of ``unbiasedness'', that are both personalized and adaptive? We propose a general, model-based debiasing (MBD) framework that addresses this challenge by augmenting it with distributional modeling. By conditioning on a flexible subset of features (partial feature set), we explicitly estimate the contextual mean and variance of the engagement distribution for arbitrary cohorts (e.g., specific video lengths or user regions) directly alongside the main prediction. This integration allows the framework to convert biased raw signals into unbiased representations, enabling the construction of higher-level, calibrated signals (such as percentiles or z - scores) suitable for the value model. Importantly, the definition of unbiasedness is flexible and controllable, allowing the system to adapt to different personalization objectives and modeling preferences. Crucially, this is implemented as a lightweight, built-in branch of the existing MTML ranking model, requiring no separate serving infrastructure.


翻译:现代推荐系统通过价值模型聚合多种行为信号来对候选内容进行排序。然而,许多常用信号本质上受到异构偏差的影响。例如,观看时长天然偏向长内容,循环播放率偏向短内容,而评论概率则偏向视频而非图像。此类偏差引入两个关键问题:(1)价值模型得分可能与用户的相对偏好系统性失准——例如,对于一个很少互动的用户而言,看似较低的绝对点赞概率可能代表其异常强烈的兴趣;(2)价值建模规则的改变可能引发突然且不良的生态系统变化。在本工作中,我们提出一个根本性问题:在用户定义的“无偏性”概念下,有偏的行为信号能否被系统地转化为既个性化又自适应的无偏信号?我们提出一个通用的、基于模型的去偏(MBD)框架,通过引入分布建模来解决这一挑战。该框架通过以灵活的特征子集(部分特征集)为条件,在主要预测任务的同时,直接估计任意群体(例如特定视频长度或用户区域)参与度分布的上下文均值与方差。这种集成使得框架能够将有偏的原始信号转换为无偏表示,从而构建适用于价值模型的更高层次、校准后的信号(如百分位数或z分数)。重要的是,无偏性的定义是灵活且可控的,允许系统适应不同的个性化目标与建模偏好。关键的是,该框架以轻量级方式实现为现有MTML排序模型的内置分支,无需独立的服务基础设施。

0
下载
关闭预览

相关内容

基于因果推断的推荐系统去偏研究
专知会员服务
21+阅读 · 2024年11月10日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
推荐系统产品与算法概述 | 深度
AI100
11+阅读 · 2019年6月13日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关VIP内容
基于因果推断的推荐系统去偏研究
专知会员服务
21+阅读 · 2024年11月10日
相关资讯
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员