在本论文中,我们研究了预测算法中多群体公平性框架的学习理论与复杂度理论基础。多准确性(Multiaccuracy)多校准性(Multicalibration)是两种主要的多群体公平性概念,它们分别确保在指定计算类可识别的每个子群体中,预测结果是准确且经过校准的 [HKRR18]。这两者均可通过单一的学习原语——弱不可知学习(Weak Agnostic Learning)来实现。自 [GKR+22] 开始的一系列研究表明,多校准性蕴含了一种极强的、基于不可区分性的学习形式,称为全能预测(Omniprediction)。此外,通过正则化引理(Regularity Lemma)及其多种推论,多群体公平性框架与复杂度理论也存在深层联系 [CDV24]。 我们深入探讨了多群体公平性概念、弱不可知学习这一核心学习原语,以及复杂度理论中基础性的硬核引理(Hardcore Lemma)之间的关联。研究发现,多准确性本身能力较弱,但引入全局校准(Global Calibration)后(此概念称为校准多准确性),其效能显著提升,足以恢复此前仅在更强的多校准性假设下才成立的推论。

我们提供了证据表明多准确性可能不如标准的弱不可知学习强大:即使假设最优假设的关联度为 1/2,也无法通过对多准确性预测器进行后处理来获得弱学习器。然而,通过要求预测器同时满足校准性,我们不仅恢复了弱不可知学习,还实现了强不可知学习。在考虑从满足多群体公平性的预测器导出硬核测度(Hardcore Measures)时,也出现了类似的情况 [TTV09; CDV24]。一方面,多准确性仅能产生密度为最优值一半的硬核测度;另一方面,我们证明了(加权版本的)校准多准确性能达到最优密度。 我们的结果揭示了多准确性与校准性在各场景中发挥的互补作用,并解释了为何这两个概念虽各自动能有限,但在结合后能产生显著增强的效果。 此外,我们进一步研究了多群体公平性框架与选择性分类器(Selective Classifiers)学习问题之间的联系。选择性分类器允许预测器在定义域的部分区域选择“退避”(Abstain)。基于全能预测概念(该概念本身构建自多群体公平性工具),针对预先指定的损失函数类,我们提供了一种高效构建单一分类器的算法。该分类器能够针对整个类中的每种损失函数优化退避与预测决策,且退避决策通过应用固定的后处理函数即可高效完成。我们将此类分类器称为选择性全能预测器(Selective Omnipredictor)。我们的算法和理论保证泛化了形式化学习理论模型中已有的选择性分类器学习算法 [KKM12]。

随后,我们将传统的多群体公平性算法扩展至选择性分类场景。我们证明,利用校准多准确预测器可以高效构建选择性分类器,使其不仅在全局范围内,而且在预定义的(可能存在交集的)子群体集合内部均能实现最优退避,并在非退避区域保持准确性。这为校准多准确性概念提供了又一应用案例。此外,我们展示了如何将退避算法用作二进制分类场景下的**符合预测(Conformal Prediction)**方法,以实现针对相交群体集合的边际覆盖与群体条件覆盖保证。我们为所有理论结果提供了实证评估,证明了学习算法在实现最优且公平退避目标方面的实用性。

成为VIP会员查看完整内容
1

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
微信扫码咨询专知VIP会员