This work investigates a privacy metric based on Chernoff information motivated by its importance in characterizing the optimal classifier's performance. Adversarial classification centers on minimizing the probability of error when deciding between two classes in the binary setting. Classical hypothesis testing treats false alarm and mis-detection probabilities separately, resulting in asymmetric optimal error exponents. Here, we instead characterize the relationship between $\varepsilon-$differential privacy (DP), the optimal error exponent of one error probability conditioned on the other, and the optimal average error exponent. Thus, we re-derive Chernoff DP in connection with $\varepsilon-$DP using the Radon-Nikodym derivative and establish its relationship with Kullback-Leibler (KL) DP to prove that Chernoff DP is sandwiched between the two. We then present numerical evaluations demonstrating that Chernoff information outperforms the KL divergence as a function of the privacy parameter, particularly in capturing the impact of adversarial attacks under Laplace mechanisms. Finally, we upper bound the adversary's advantage in membership inference attacks based on Chernoff DP and numerically compare its performance with existing bounds. We re-derive Chernoff DP in connection with $\varepsilon-$DP using the Radon-Nikodym derivative, and prove its relation with KL-DP. Subsequently, we present numerical evaluation results, which demonstrates that Chernoff information outperforms KL divergence as a function of the privacy parameter $\varepsilon$ and the impact of the adversary's attack in Laplace mechanisms. Lastly, we introduce a new upper bound on adversary's membership advantage in membership inference attacks using Chernoff DP and numerically compare its performance with existing alternatives based on $(\varepsilon,δ)-$DP in the literature.


翻译:本研究基于Chernoff信息在刻画最优分类器性能中的重要性,提出一种以此为核心的隐私度量。对抗分类的核心目标是在二元分类场景中最小化两类判别的错误概率。经典假设检验分别处理虚警和漏检概率,导致最优错误指数具有非对称性。本文则刻画了$\varepsilon$-差分隐私(DP)、一类错误概率在另一类条件下的最优错误指数以及平均最优错误指数之间的关系。我们利用Radon-Nikodym导数重新推导了Chernoff DP与$\varepsilon$-DP的关联,并建立了其与Kullback-Leibler(KL)DP的关系,证明Chernoff DP介于两者之间。数值评估表明,作为隐私参数的函数,Chernoff信息在捕捉拉普拉斯机制下对抗攻击的影响方面优于KL散度。最后,我们基于Chernoff DP给出成员推断攻击中对手优势的上界,并与现有界进行数值比较。我们通过Radon-Nikodym导数重新推导了Chernoff DP与$\varepsilon$-DP的联系,并证明其与KL-DP的关系。数值评估结果显示,作为隐私参数$\varepsilon$的函数,Chernoff信息在反映拉普拉斯机制中对手攻击的影响时优于KL散度。最终,我们利用Chernoff DP提出了成员推断攻击中对手成员优势的新上界,并与文献中基于$(\varepsilon,δ)-$DP的现有方法进行数值对比。

0
下载
关闭预览

相关内容

【AAAI2021】知识迁移的机器学习成员隐私保护,57页ppt
专知会员服务
28+阅读 · 2021年2月9日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
75+阅读 · 2020年4月24日
区块链隐私保护研究综述——祝烈煌详解
计算机研究与发展
23+阅读 · 2018年11月28日
差分隐私保护:从入门到脱坑
FreeBuf
17+阅读 · 2018年9月10日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员