Gradient sparsification, while mitigating communication bottlenecks in Federated Learning (FL), fundamentally alters the geometric landscape of model updates. We reveal that the resultant high-dimensional orthogonality renders traditional Euclidean-based robust aggregation metrics mathematically ambiguous, creating a 'sparsity-robustness trade-off' that adversaries exploit to bypass detection. To resolve this structural dissonance, we propose SafeSparse, a consensus restoration framework that decouples defense into topological and semantic dimensions. Unlike prior arts that treat sparsification and security orthogonally, SafeSparse introduces: (1) a Structure-Aware Calibration mechanism utilizing Jaccard similarity to filter topological outliers induced by index poisoning; and (2) a Directional Semantic Alignment module employing density-based clustering on update signs to neutralize magnitude-invariant attacks. Theoretically, we establish convergence guarantees for SafeSparse. Extensive experiments across multiple datasets and attack scenarios demonstrate that SafeSparse recovers up to 25.7% global accuracy under coordinated poisoning, effectively closing the vulnerability gap in communication-efficient FL.


翻译:梯度稀疏化在缓解联邦学习(FL)中通信瓶颈的同时,从根本上改变了模型更新的几何格局。我们发现,由此产生的高维正交性使得传统的基于欧几里得距离的鲁棒聚合度量在数学上变得模糊,形成了一个“稀疏性-鲁棒性权衡”,攻击者可利用此绕过检测。为解决这种结构失调,我们提出了SafeSparse,一个共识恢复框架,将防御解耦为拓扑和语义两个维度。与以往将稀疏化和安全性正交处理的方法不同,SafeSparse引入了:(1)一种结构感知校准机制,利用Jaccard相似度来过滤由索引投毒引起的拓扑异常值;以及(2)一个方向语义对齐模块,在更新符号上采用基于密度的聚类,以抵消幅度不变的攻击。理论上,我们为SafeSparse建立了收敛保证。在多个数据集和攻击场景下的广泛实验表明,在协同投毒下,SafeSparse能恢复高达25.7%的全局准确率,有效弥补了通信高效联邦学习中的漏洞。

0
下载
关闭预览

相关内容

基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
乌克兰战场背后的新武器
专知会员服务
0+阅读 · 今天4:55
基于博弈论的陆军人机协同(长文报告)
专知会员服务
3+阅读 · 今天1:54
美国陆军航空兵:以愿景引领转型
专知会员服务
2+阅读 · 今天1:38
《多域战场上反制小型无人机系统》150页
专知会员服务
14+阅读 · 6月11日
战场人工智能:增强陆地作战能力的发现与要求
以人工智能为中心的指挥控制
专知会员服务
5+阅读 · 6月11日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员