Driven by the right to be forgotten (RTBF), machine unlearning has become an essential requirement for privacy-preserving machine learning. However, its realization in decentralized federated learning (DFL) remains largely unexplored. In DFL, clients exchange local updates only with neighbors, causing model information to propagate and mix across the network. As a result, when a client requests data deletion, its influence is implicitly embedded throughout the system, making removal difficult without centralized coordination. We propose a novel certified unlearning framework for DFL based on Newton-style updates. Our approach first quantifies how a client's data influence propagates during training. Leveraging curvature information of the loss with respect to the target data, we then construct corrective updates using Newton-style approximations. To ensure scalability, we approximate second-order information via Fisher information matrices. The resulting updates are perturbed with calibrated noise and broadcast through the network to eliminate residual influence across clients. We theoretically prove that our approach satisfies the formal definition of certified unlearning, ensuring that the unlearned model is difficult to distinguish from a retrained model without the deleted data. We also establish utility bounds showing that the unlearned model remains close to retraining from scratch. Extensive experiments across diverse decentralized settings demonstrate the effectiveness and efficiency of our framework.


翻译:受"被遗忘权"(RTBF)驱动,机器遗忘已成为隐私保护机器学习的基本要求。然而,其在去中心化联邦学习(DFL)中的实现仍鲜有探索。在DFL中,客户端仅与相邻节点交换本地更新,导致模型信息在网络中传播与混合。因此,当客户端请求数据删除时,其影响已隐式嵌入整个系统,若无中心化协调则难以消除。我们提出一种基于牛顿风格更新的新型DFL认证遗忘框架。该方法首先量化客户端数据影响在训练过程中的传播机制,通过利用损失函数相对于目标数据的曲率信息,构建基于牛顿风格近似的修正更新。为保障可扩展性,我们通过费舍尔信息矩阵近似二阶信息。生成的更新经校准噪声扰动后,通过网络广播以消除跨客户端的残留影响。我们从理论上证明该方法满足认证遗忘的形式化定义,确保遗忘后模型与删除数据后重新训练的模型难以区分。同时,我们建立了效用边界,证明遗忘模型与从头重新训练的模型保持接近。跨多种去中心化场景的广泛实验验证了本框架的有效性与高效性。

0
下载
关闭预览

相关内容

机器遗忘:分类、指标、应用、挑战与展望
专知会员服务
36+阅读 · 2024年3月16日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
CCCF专栏 | 联邦学习
中国计算机学会
26+阅读 · 2018年11月19日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
机器遗忘:分类、指标、应用、挑战与展望
专知会员服务
36+阅读 · 2024年3月16日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员