Federated Learning (FL) has emerged as a prominent paradigm for privacy-preserving distributed machine learning, yet two fundamental challenges hinder its large-scale adoption. First, gradient inversion attacks can reconstruct sensitive training data from uploaded model updates, so privacy risk persists even when raw data remain local. Second, without adequate monetary compensation, rational clients have little incentive to contribute high-quality gradients, limiting participation at scale. To address these challenges, a privacy trading market is developed in which clients sell their differential privacy budgets as a commodity and receive explicit economic compensation for privacy sacrifice. This market is formalized as a Privacy Auction Game (PAG), and the existence of a Bayesian Nash Equilibrium is established under dominant-strategy incentive compatibility (DSIC), individual rationality (IR), and budget feasibility. To overcome the NP-hard, high-dimensional Nash Equilibrium computation at scale, \textit{MFG-RegretNet} is introduced as a deep-learning-based auction mechanism that combines mean-field game (MFG) approximation with differentiable mechanism design. The MFG reduction lowers per-round computational complexity from $\mathcal{O}(N^2 \log N)$ to $\mathcal{O}(N)$ while incurring only an $\mathcal{O}(N^{-1/2})$ equilibrium approximation gap. Extensive experiments on MNIST and CIFAR-10 demonstrate that MFG-RegretNet outperforms state-of-the-art baselines in incentive compatibility, auction revenue, and social welfare, while maintaining competitive downstream FL model accuracy.


翻译:联邦学习(FL)已成为隐私保护分布式机器学习的典型范式,然而两大根本性挑战阻碍了其大规模应用。首先,梯度反向攻击能够从上传的模型更新中重建敏感训练数据,因此即使原始数据保留在本地,隐私风险依然存在。其次,缺乏适当的经济补偿时,理性客户端缺乏贡献高质量梯度的动力,限制了大规模参与。为应对这些挑战,本文构建了一个隐私交易市场,其中客户端将其差分隐私预算作为商品出售,并为隐私牺牲获得明确的经济补偿。该市场形式化为隐私拍卖博弈(PAG),并在占优策略激励相容(DSIC)、个体理性(IR)和预算可行性条件下证明了贝叶斯纳什均衡的存在性。为克服大规模场景下NP难的高维纳什均衡计算问题,本文引入了\textit{MFG-RegretNet}——一种基于深度学习的拍卖机制,将平均场博弈(MFG)近似与可微分机制设计相结合。MFG降维将每轮计算复杂度从$\mathcal{O}(N^2 \log N)$降至$\mathcal{O}(N)$,同时仅引入$\mathcal{O}(N^{-1/2})$的均衡近似误差。在MNIST和CIFAR-10上的大量实验表明,MFG-RegretNet在激励相容性、拍卖收益和社会福利方面均优于最先进基线,同时保持具有竞争力的下游FL模型准确率。

0
下载
关闭预览

相关内容

【CMU博士论文】通信高效且差分隐私的优化方法
专知会员服务
16+阅读 · 2025年8月2日
「联邦学习模型安全与隐私」研究进展
专知会员服务
69+阅读 · 2022年9月24日
专知会员服务
94+阅读 · 2021年7月23日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
专知会员服务
113+阅读 · 2020年11月16日
专知会员服务
127+阅读 · 2020年8月7日
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员