As automated classification systems become increasingly prevalent, concerns have emerged over their potential to reinforce and amplify existing societal biases. In the light of this issue, many methods have been proposed to enhance the fairness guarantees of classifiers. Most of the existing interventions assume access to group information for all instances, a requirement rarely met in practice. Fairness without access to demographic information has often been approached through robust optimization techniques,which target worst-case outcomes over a set of plausible distributions known as the uncertainty set. However, their effectiveness is strongly influenced by the chosen uncertainty set. In fact, existing approaches often overemphasize outliers or overly pessimistic scenarios, compromising both overall performance and fairness. To overcome these limitations, we introduce SPECTRE, a minimax-fair method that adjusts the spectrum of a simple Fourier feature mapping and constrains the extent to which the worst-case distribution can deviate from the empirical distribution. We perform extensive experiments on the American Community Survey datasets involving 20 states. The safeness of SPECTRE comes as it provides the highest average values on fairness guarantees together with the smallest interquartile range in comparison to state-of-the-art approaches, even compared to those with access to demographic group information. In addition, we provide a theoretical analysis that derives computable bounds on the worst-case error for both individual groups and the overall population, as well as characterizes the worst-case distributions responsible for these extremal performances


翻译:随着自动化分类系统日益普及,人们开始担忧其可能强化和放大现有的社会偏见。针对这一问题,已有许多方法被提出以增强分类器的公平性保证。现有干预措施大多假设能够获取所有实例的群体信息,这一要求在现实中鲜少得到满足。在无法获取人口统计信息的情况下实现公平性通常通过鲁棒优化技术来处理,该技术针对一组可能分布(称为不确定性集)中的最坏情况结果进行优化。然而,这些方法的有效性很大程度上取决于所选不确定性集的定义。事实上,现有方法往往过度强调异常值或过于悲观的场景,从而损害了整体性能与公平性。为克服这些局限性,我们提出了SPECTRE方法——一种极小极大公平方法,该方法通过调整简单傅里叶特征映射的频谱,并限制最坏情况分布与经验分布之间的偏离程度。我们在涵盖20个州的美国社区调查数据集上进行了大量实验。SPECTRE的安全性体现在:与现有最先进方法(包括那些能够获取人口统计群体信息的方法)相比,其在公平性保证方面提供了最高的平均值以及最小的四分位距。此外,我们提供了理论分析,推导出针对个体群体和总体人口的最坏情况误差的可计算边界,并刻画了导致这些极端性能的最坏情况分布特征。

0
下载
关闭预览

相关内容

计算机视觉中的公平性与偏差缓解:综述
专知会员服务
19+阅读 · 2024年8月7日
大型语言模型公平性
专知会员服务
41+阅读 · 2023年8月31日
【CVPR2023】探索和利用不确定性的不完整多视角分类
专知会员服务
29+阅读 · 2023年4月12日
专知会员服务
26+阅读 · 2021年7月17日
可信机器学习的公平性综述
专知会员服务
69+阅读 · 2021年2月23日
专知会员服务
30+阅读 · 2021年2月21日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
一文教你如何处理不平衡数据集(附代码)
大数据文摘
11+阅读 · 2019年6月2日
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
计算机视觉中的公平性与偏差缓解:综述
专知会员服务
19+阅读 · 2024年8月7日
大型语言模型公平性
专知会员服务
41+阅读 · 2023年8月31日
【CVPR2023】探索和利用不确定性的不完整多视角分类
专知会员服务
29+阅读 · 2023年4月12日
专知会员服务
26+阅读 · 2021年7月17日
可信机器学习的公平性综述
专知会员服务
69+阅读 · 2021年2月23日
专知会员服务
30+阅读 · 2021年2月21日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员