Model calibration and debiasing are fundamental yet operationally expensive challenges in large-scale recommendation systems. Existing approaches treat them as separate problems requiring distinct infrastructure: post-hoc calibration pipelines, propensity estimation workflows, and per-segment model farms. We introduce the Isotonic Layer, a differentiable piecewise linear module that unifies both problems within a single, lightweight architectural component - requiring no additional data preprocessing, no propensity estimation, and no separate calibration pipelines. The core insight is elegant: by parameterizing non-negative bucket weights as learnable context embeddings, the model automatically learns all calibration and debiasing functions end-to-end from standard training data. Swapping in a different embedding (position, device type, advertiser ID, or any combination) instantly yields calibration tailored to that sub-segment at arbitrary granularity in any high-dimensional feature space, with no engineering changes beyond a single embedding lookup. The same layer handles post-hoc calibration, position debiasing, and heterogeneous multi-task bias correction within one unified framework. This paper offers a principled, practical simplification: a plug-and-play solution that replaces fragmented, high-maintenance calibration infrastructure with a single end-to-end trainable component. Extensive production A/B tests confirm significant improvements in predictive accuracy, calibration fidelity, and ranking consistency.


翻译:模型校准与去偏是大规模推荐系统中基础但操作成本高昂的挑战。现有方法将两者视为独立问题,需要各自独立的基础设施:事后校准管线、倾向性估计工作流以及按段划分的模型集群。我们提出等张层(Isotonic Layer),一个可微分的分段线性模块,能将这两个问题统一到单个轻量级架构组件中——无需额外数据预处理、无需倾向性估计、也无需独立的校准管线。其核心思想简洁优雅:通过将非负桶权重参数化为可学习的上下文嵌入,模型能够从标准训练数据中以端到端方式自动学习所有校准与去偏函数。只需替换不同的嵌入(位置、设备类型、广告主ID或任意组合),即可在任意高维特征空间中、以任意粒度即时获得针对该子分段的校准结果,且工程上仅需一次嵌入查询,无需其他改动。同一层级即可统一处理事后校准、位置去偏与异构多任务偏差校正。本文提出了一种原则性且实用的简化方案:一个即插即用的解决方案,用单个端到端可训练组件替代零散、高维护成本的校准基础设施。大规模生产环境A/B测试证实,该方法显著提升了预测精度、校准保真度与排序一致性。

0
下载
关闭预览

相关内容

基于因果推断的推荐系统去偏研究
专知会员服务
21+阅读 · 2024年11月10日
南洋理工大学,深度学习推荐系统综述
专知会员服务
177+阅读 · 2019年10月14日
推荐系统(一):推荐系统基础
菜鸟的机器学习
25+阅读 · 2019年9月2日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
基于因果推断的推荐系统去偏研究
专知会员服务
21+阅读 · 2024年11月10日
南洋理工大学,深度学习推荐系统综述
专知会员服务
177+阅读 · 2019年10月14日
相关资讯
推荐系统(一):推荐系统基础
菜鸟的机器学习
25+阅读 · 2019年9月2日
深度 | 推荐系统评估
AI100
24+阅读 · 2019年3月16日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员