When an adversary provides poison samples to a machine learning model, privacy leakage, such as membership inference attacks that infer whether a sample was included in the training of the model, becomes effective by moving the sample to an outlier. However, the attacks can be detected because inference accuracy deteriorates due to poison samples. In this paper, we discuss a \textit{backdoor-assisted membership inference attack}, a novel membership inference attack based on backdoors that return the adversary's expected output for a triggered sample. We found three crucial insights through experiments with an academic benchmark dataset. We first demonstrate that the backdoor-assisted membership inference attack is unsuccessful. Second, when we analyzed loss distributions to understand the reason for the unsuccessful results, we found that backdoors cannot separate loss distributions of training and non-training samples. In other words, backdoors cannot affect the distribution of clean samples. Third, we also show that poison and triggered samples activate neurons of different distributions. Specifically, backdoors make any clean sample an inlier, contrary to poisoning samples. As a result, we confirm that backdoors cannot assist membership inference.


翻译:当攻击者向机器学习模型提供毒化样本时,隐私泄露(例如通过将样本变为离群点来推断该样本是否属于模型训练集的成员推断攻击)会变得有效。然而,由于毒化样本导致推断精度下降,这类攻击可能被检测到。本文讨论了一种基于后门的新型成员推断攻击——后门辅助成员推断攻击,其中后门会对带有触发器的样本返回攻击者预期的输出。通过在学术基准数据集上的实验,我们发现了三个关键见解。首先,我们证明后门辅助成员推断攻击并不成功。其次,在分析损失分布以理解失败原因时,我们发现后门无法分离训练样本与非训练样本的损失分布。换言之,后门无法影响干净样本的分布。第三,我们还表明毒化样本和触发器样本会激活不同分布的神经元。具体而言,与毒化样本相反,后门会使任何干净样本成为内点。因此,我们确认后门无法辅助成员推断。

0
下载
关闭预览

相关内容

专知会员服务
23+阅读 · 2021年8月22日
近期必读的六篇 ICML 2020【因果推理】相关论文
专知会员服务
88+阅读 · 2020年9月8日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Pytorch里面多任务Loss是加起来还是分别backward?
极市平台
0+阅读 · 2022年6月29日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
提高GAN训练稳定性的9大tricks
人工智能前沿讲习班
13+阅读 · 2019年3月19日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
11+阅读 · 2018年12月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2023年5月12日
Arxiv
12+阅读 · 2020年12月10日
Arxiv
15+阅读 · 2020年10月26日
Meta-Learning to Cluster
Arxiv
18+阅读 · 2019年10月30日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
0+阅读 · 10分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
0+阅读 · 12分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
1+阅读 · 24分钟前
《特种部队在透明战场中的生存力》最新报告
专知会员服务
1+阅读 · 44分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
Top
微信扫码咨询专知VIP会员