Federated Learning (FL) is witnessing wider adoption due to its ability to benefit from large amounts of scattered data while preserving privacy. However, despite its advantages, federated learning suffers from several setbacks that directly impact the accuracy, and the integrity of the global model it produces. One of these setbacks is the presence of malicious clients who actively try to harm the global model by injecting backdoor data into their local models while trying to evade detection. The objective of such clients is to trick the global model into making false predictions during inference, thereby compromising the integrity and trustworthiness of the global model on which honest stakeholders rely. To mitigate such mischievous behavior, we propose FedBBA (Federated Backdoor and Behavior Analysis). The proposed model aims to dampen the effect of such clients on the final accuracy, creating more resilient federated learning environments. We engineer our approach through the combination of (1) a reputation system to evaluate and track client behavior, (2) an incentive mechanism to reward honest participation and penalize malicious behavior, and (3) game theoretical models with projection pursuit analysis (PPA) to dynamically identify and minimize the impact of malicious clients on the global model. Extensive simulations on the German Traffic Sign Recognition Benchmark (GTSRB) and Belgium Traffic Sign Classification (BTSC) datasets demonstrate that FedBBA reduces the backdoor attack success rate to approximately 1.1%--11% across various attack scenarios, significantly outperforming state-of-the-art defenses like RDFL and RoPE, which yielded attack success rates between 23% and 76%, while maintaining high normal task accuracy (~95%--98%).


翻译:联邦学习凭借其能够从大量分散数据中获益同时保护隐私的能力,正获得更广泛的应用。然而,尽管优势明显,联邦学习仍存在若干直接影响其生成的全局模型准确性与完整性的问题。其中一个问题是存在恶意客户端,这些客户端试图通过将后门数据注入本地模型并规避检测,主动损害全局模型。此类客户端的目的是在推理阶段诱使全局模型做出错误预测,从而破坏诚实利益相关方所依赖的全局模型的完整性与可信度。为缓解此类恶意行为,我们提出了FedBBA(联邦后门与行为分析)。该模型旨在削弱此类客户端对最终准确性的影响,从而构建更具韧性的联邦学习环境。我们通过以下方法的组合来设计我们的方案:(1)用于评估和追踪客户端行为的信誉系统,(2)用于奖励诚实参与并惩罚恶意行为的激励机制,以及(3)结合投影追踪分析(PPA)的博弈论模型,以动态识别并最小化恶意客户端对全局模型的影响。在德国交通标志识别基准(GTSRB)和比利时交通标志分类(BTSC)数据集上的广泛模拟表明,FedBBA在各种攻击场景下将后门攻击成功率降低至约1.1%-11%,显著优于RDFL和RoPE等最先进防御方法(其攻击成功率为23%-76%),同时保持了较高的正常任务准确率(约95%-98%)。

0
下载
关闭预览

相关内容

联邦长尾学习研究综述
专知会员服务
15+阅读 · 2025年5月1日
联邦学习中的成员推断攻击与防御:综述
专知会员服务
17+阅读 · 2024年12月15日
《联邦学习中的对抗性攻击》48页论文
专知会员服务
41+阅读 · 2023年11月1日
「联邦学习系统攻击与防御技术」最新2023研究综述
专知会员服务
41+阅读 · 2023年3月12日
「联邦学习模型安全与隐私」研究进展
专知会员服务
69+阅读 · 2022年9月24日
联邦学习攻防研究综述
专知会员服务
39+阅读 · 2022年7月22日
专知会员服务
94+阅读 · 2021年7月23日
专知会员服务
127+阅读 · 2020年8月7日
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
3+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
3+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
联邦长尾学习研究综述
专知会员服务
15+阅读 · 2025年5月1日
联邦学习中的成员推断攻击与防御:综述
专知会员服务
17+阅读 · 2024年12月15日
《联邦学习中的对抗性攻击》48页论文
专知会员服务
41+阅读 · 2023年11月1日
「联邦学习系统攻击与防御技术」最新2023研究综述
专知会员服务
41+阅读 · 2023年3月12日
「联邦学习模型安全与隐私」研究进展
专知会员服务
69+阅读 · 2022年9月24日
联邦学习攻防研究综述
专知会员服务
39+阅读 · 2022年7月22日
专知会员服务
94+阅读 · 2021年7月23日
专知会员服务
127+阅读 · 2020年8月7日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员