Characterizing the privacy degradation over compositions, i.e., privacy accounting, is a fundamental topic in differential privacy (DP) with many applications to differentially private machine learning and federated learning. We propose a unification of recent advances (Renyi DP, privacy profiles, $f$-DP and the PLD formalism) via the \emph{characteristic function} ($\phi$-function) of a certain \emph{dominating} privacy loss random variable. We show that our approach allows \emph{natural} adaptive composition like Renyi DP, provides \emph{exactly tight} privacy accounting like PLD, and can be (often \emph{losslessly}) converted to privacy profile and $f$-DP, thus providing $(\epsilon,\delta)$-DP guarantees and interpretable tradeoff functions. Algorithmically, we propose an \emph{analytical Fourier accountant} that represents the \emph{complex} logarithm of $\phi$-functions symbolically and uses Gaussian quadrature for numerical computation. On several popular DP mechanisms and their subsampled counterparts, we demonstrate the flexibility and tightness of our approach in theory and experiments.


翻译:隐私在构成上的退化, 即隐私会计, 是不同隐私(DP)中的一个基本主题, 有很多不同的私人机器学习和联合学习的应用。 我们提议通过某种隐私损失随机变量的\ emph{ 属性函数( phim$- 函数) 来统一最近的进展( Renyi DP、 隐私剖面、 $f- DP 和 PLD 形式主义 ), 从而提供$( epsilon,\ delta) $- DP 的保证和可解释的交易功能。 我们提议使用一个 emph{ 分析性 Fourier 会计师}, 代表 Renyi DP, 提供像 PLD 那样的隐私会计, 提供\ emphy{ exactly clotive} 隐私会计会计会计, 提供像 PLD, 可以( 通常\ emph{ lossunly} ) 转换为隐私配置和 $flex- DP 格式化, 从而提供( exphyalive) $- $- preficreal) 和 DP imalationalationalationalational 和 imaltiquestationalationals 和 expalationalationals 和 imalupal- 等等的对等模型, 。

0
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2021年8月2日
专知会员服务
42+阅读 · 2021年4月2日
专知会员服务
63+阅读 · 2020年3月4日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Adam那么棒,为什么还对SGD念念不忘
人工智能头条
6+阅读 · 2018年3月25日
已删除
将门创投
5+阅读 · 2018年3月21日
Adam那么棒,为什么还对SGD念念不忘 (2)
AI研习社
3+阅读 · 2018年1月1日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年12月31日
Arxiv
7+阅读 · 2020年6月29日
VIP会员
最新内容
美空军新型反无人机部队初探
专知会员服务
1+阅读 · 16分钟前
《防空交战流程的概率建模研究》
专知会员服务
1+阅读 · 57分钟前
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
4+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
7+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
相关资讯
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Adam那么棒,为什么还对SGD念念不忘
人工智能头条
6+阅读 · 2018年3月25日
已删除
将门创投
5+阅读 · 2018年3月21日
Adam那么棒,为什么还对SGD念念不忘 (2)
AI研习社
3+阅读 · 2018年1月1日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员