Boosting algorithms enjoy strong theoretical guarantees: when weak learners maintain positive edge, AdaBoost achieves geometric decrease of exponential loss. We study how to incorporate group fairness constraints into boosting while preserving analyzable training dynamics. Our approach, FairBoost, projects the ensemble-induced exponential-weights distribution onto a convex set of distributions satisfying fairness constraints (as a reweighting surrogate), then trains weak learners on this fair distribution. The key theoretical insight is that projecting the training distribution reduces the effective edge of weak learners by a quantity controlled by the KL-divergence of the projection. We prove an exponential-loss bound where the convergence rate depends on weak learner edge minus a "fairness cost" term $δ_t = \sqrt{\mathrm{KL}(w^t \| q^t)/2}$. This directly quantifies the accuracy-fairness tradeoff in boosting dynamics. Experiments on standard benchmarks validate the theoretical predictions and demonstrate competitive fairness-accuracy tradeoffs with stable training curves.


翻译:提升算法享有强大的理论保证:当弱学习器保持正边缘时,AdaBoost 实现了指数损失的几何递减。我们研究了如何在保持可分析训练动态的同时,将群体公平性约束纳入提升过程。我们的方法 FairBoost 将集成诱导的指数权重分布投影到满足公平性约束的凸分布集上(作为重加权代理),然后在此公平分布上训练弱学习器。关键的理论洞见是:投影训练分布会降低弱学习器的有效边缘,其降低量由投影的 KL 散度控制。我们证明了一个指数损失界,其中收敛速率取决于弱学习器边缘减去一个“公平性成本”项 $δ_t = \sqrt{\mathrm{KL}(w^t \| q^t)/2}$。这直接量化了提升动态中准确性与公平性的权衡。在标准基准测试上的实验验证了理论预测,并展示了具有稳定训练曲线的竞争性公平性-准确性权衡。

0
下载
关闭预览

相关内容

专知会员服务
27+阅读 · 2021年5月9日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
Distributional Soft Actor-Critic (DSAC)强化学习算法的设计与验证
深度强化学习实验室
19+阅读 · 2020年8月11日
常用的模型集成方法介绍:bagging、boosting 、stacking
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
自定义损失函数Gradient Boosting
AI研习社
14+阅读 · 2018年10月16日
基于python的开源量化交易,量化投资架构
运维帮
15+阅读 · 2018年7月5日
【强化学习】强化学习/增强学习/再励学习介绍
产业智能官
10+阅读 · 2018年2月23日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月8日
VIP会员
相关VIP内容
专知会员服务
27+阅读 · 2021年5月9日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员