Modern human sensing applications often rely on data distributed across users and devices, where privacy concerns prevent centralized training. Federated Learning (FL) addresses this challenge by enabling collaborative model training without exposing raw data or attributes. However, achieving fairness in such settings remains difficult, as most human sensing datasets lack demographic labels, and FL's privacy guarantees limit the use of sensitive attributes. This paper introduces CurvFed: Curvature Aligned Federated Learning for Fairness without Demographics, a theoretically grounded framework that promotes fairness in FL without requiring any demographic or sensitive attribute information, a concept termed Fairness without Demographics (FWD), by optimizing the underlying loss landscape curvature. Building on the theory that equivalent loss landscape curvature corresponds to consistent model efficacy across sensitive attribute groups, CurvFed regularizes the top eigenvalue of the Fisher Information Matrix (FIM) as an efficient proxy for loss landscape curvature, both within and across clients. This alignment promotes uniform model behavior across diverse bias inducing factors, offering an attribute agnostic route to algorithmic fairness. CurvFed is especially suitable for real world human sensing FL scenarios involving single or multi user edge devices with unknown or multiple bias factors. We validated CurvFed through theoretical and empirical justifications, as well as comprehensive evaluations using three real world datasets and a deployment on a heterogeneous testbed of resource constrained devices. Additionally, we conduct sensitivity analyses on local training data volume, client sampling, communication overhead, resource costs, and runtime performance to demonstrate its feasibility for practical FL edge device deployment.


翻译:现代人类感知应用通常依赖于分布于用户和设备间的数据,隐私考量使得集中式训练难以实施。联邦学习通过支持协同模型训练而无需暴露原始数据或属性,从而应对这一挑战。然而,在此类场景中实现公平性仍然困难,因为大多数人类感知数据集缺乏人口统计标签,且联邦学习的隐私保障限制了敏感属性的使用。本文提出CurvFed:面向无人口统计公平性的曲率对齐联邦学习,这是一个基于理论构建的框架,通过优化底层损失景观曲率,在不依赖任何人口统计或敏感属性信息(即“无人口统计公平性”概念)的前提下促进联邦学习中的公平性。基于“等效损失景观曲率对应敏感属性组间一致模型效能”的理论,CurvFed将费舍尔信息矩阵的顶部特征值作为损失景观曲率的高效代理进行正则化,该操作在客户端内部及客户端间同时实施。这种对齐机制促使模型在不同偏见诱发因素间表现一致,为算法公平性提供了一条与属性无关的路径。CurvFed特别适用于涉及单用户或多用户边缘设备的现实世界人类感知联邦学习场景,这些场景通常存在未知或多种偏见因素。我们通过理论论证、实证依据,以及使用三个真实世界数据集和在资源受限设备异构测试平台上的部署进行全面评估,验证了CurvFed的有效性。此外,我们还对本地训练数据量、客户端采样、通信开销、资源成本和运行时性能进行了敏感性分析,以证明其在实用联邦学习边缘设备部署中的可行性。

0
下载
关闭预览

相关内容

联邦学习中的成员推断攻击与防御:综述
专知会员服务
17+阅读 · 2024年12月15日
《联邦学习中的对抗性攻击》48页论文
专知会员服务
40+阅读 · 2023年11月1日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
专知会员服务
127+阅读 · 2020年8月7日
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
最新内容
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
1+阅读 · 今天14:22
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
21+阅读 · 4月29日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员