Predictive confidence serves as a foundational control signal in mission-critical systems, directly governing risk-aware logic such as escalation, abstention, and conservative fallback. While prior federated learning attacks predominantly target accuracy or implant backdoors, we identify confidence calibration as a distinct attack objective. We present the Temperature Scaling Attack (TSA), a training-time attack that degrades calibration while preserving accuracy. By injecting temperature scaling with learning rate-temperature coupling during local training, malicious updates maintain benign-like optimization behavior, evading accuracy-based monitoring and similarity-based detection. We provide a convergence analysis under non-IID settings, showing that this coupling preserves standard convergence bounds while systematically distorting confidence. Across three benchmarks, TSA substantially shifts calibration (e.g., 145% error increase on CIFAR-100) with <2 accuracy change, and remains effective under robust aggregation and post-hoc calibration defenses. Case studies further show that confidence manipulation can cause up to 7.2x increases in missed critical cases (healthcare) or false alarms (autonomous driving), even when accuracy is unchanged. Overall, our results establish calibration integrity as a critical attack surface in federated learning.


翻译:预测置信度在关键任务系统中作为基础控制信号,直接支配风险感知逻辑,如升级、弃权和保守回退。虽然先前的联邦学习攻击主要针对准确性或植入后门,但我们发现置信度校准是一个独特的攻击目标。我们提出了温度缩放攻击(TSA),这是一种训练时攻击,能在保持准确性的同时破坏校准效果。通过在本地训练期间注入具有学习率-温度耦合的温度缩放,恶意更新保持类似良性的优化行为,从而规避基于准确性的监控和基于相似性的检测。我们在非独立同分布设置下提供了收敛性分析,表明这种耦合在保持标准收敛界的同时,系统性地扭曲了置信度。在三个基准测试中,TSA显著改变了校准效果(例如,在CIFAR-100上误差增加145%),而准确性变化小于2%,并且在鲁棒聚合和事后校准防御下仍然有效。案例研究进一步表明,即使准确性不变,置信度操纵可能导致关键病例漏报(医疗保健)或误报(自动驾驶)增加高达7.2倍。总体而言,我们的研究结果确立了校准完整性作为联邦学习中的一个关键攻击面。

0
下载
关闭预览

相关内容

联邦学习中的成员推断攻击与防御:综述
专知会员服务
17+阅读 · 2024年12月15日
联邦学习攻防研究综述
专知会员服务
58+阅读 · 2022年7月15日
专知会员服务
67+阅读 · 2021年1月10日
模型攻击:鲁棒性联邦学习研究的最新进展
机器之心
35+阅读 · 2020年6月3日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月13日
VIP会员
相关基金
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员