We introduce a universal framework for characterizing the statistical efficiency of a statistical estimation problem with differential privacy guarantees. Our framework, which we call High-dimensional Propose-Test-Release (HPTR), builds upon three crucial components: the exponential mechanism, robust statistics, and the Propose-Test-Release mechanism. Gluing all these together is the concept of resilience, which is central to robust statistical estimation. Resilience guides the design of the algorithm, the sensitivity analysis, and the success probability analysis of the test step in Propose-Test-Release. The key insight is that if we design an exponential mechanism that accesses the data only via one-dimensional robust statistics, then the resulting local sensitivity can be dramatically reduced. Using resilience, we can provide tight local sensitivity bounds. These tight bounds readily translate into near-optimal utility guarantees in several cases. We give a general recipe for applying HPTR to a given instance of a statistical estimation problem and demonstrate it on canonical problems of mean estimation, linear regression, covariance estimation, and principal component analysis. We introduce a general utility analysis technique that proves that HPTR nearly achieves the optimal sample complexity under several scenarios studied in the literature.


翻译:我们引入了一个通用框架,用不同的隐私保障来说明统计估算问题的统计效率。我们称之为高维的演示-测试-释放(HPTR)的框架基于三个关键组成部分:指数机制、强有力的统计数据和提议-测试-释放机制。将所有这些概念结合在一起,就是弹性概念,这是稳健统计估计的核心。复原力指导算法的设计、敏感性分析以及提议-测试-发布测试步骤的成功概率分析。关键见解是,如果我们设计一个指数机制,仅通过一维的稳健统计数据获取数据,然后可以大幅降低由此产生的本地敏感度。我们利用复原力,可以提供严格的本地敏感度界限。这些紧紧的界限可以在某些情况下转化为近乎最佳的效用保障。我们给将HPTR应用于某个特定统计估计问题的例子提供了一种一般的配方,并展示了中值估计、线性回归、常数估计和主要组成部分分析等几大问题。我们引入了一种一般的实用性分析技术,证明HPTR几乎达到了文献所研究的一些情景下的最佳样本复杂性。

0
下载
关闭预览

相关内容

【硬核书】矩阵代数基础,248页pdf
专知会员服务
88+阅读 · 2021年12月9日
专知会员服务
45+阅读 · 2020年12月18日
专知会员服务
52+阅读 · 2020年12月14日
缺失数据统计分析,第三版,462页pdf
专知会员服务
112+阅读 · 2020年2月28日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
已删除
AI科技评论
4+阅读 · 2018年8月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2022年1月18日
Arxiv
0+阅读 · 2021年12月24日
Arxiv
18+阅读 · 2021年3月16日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
6+阅读 · 4月25日
多智能体协作机制
专知会员服务
4+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
8+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
7+阅读 · 4月25日
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
10+阅读 · 4月25日
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关资讯
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
已删除
AI科技评论
4+阅读 · 2018年8月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Top
微信扫码咨询专知VIP会员