We introduce a universal framework for characterizing the statistical efficiency of a statistical estimation problem with differential privacy guarantees. Our framework, which we call High-dimensional Propose-Test-Release (HPTR), builds upon three crucial components: the exponential mechanism, robust statistics, and the Propose-Test-Release mechanism. Gluing all these together is the concept of resilience, which is central to robust statistical estimation. Resilience guides the design of the algorithm, the sensitivity analysis, and the success probability analysis of the test step in Propose-Test-Release. The key insight is that if we design an exponential mechanism that accesses the data only via one-dimensional robust statistics, then the resulting local sensitivity can be dramatically reduced. Using resilience, we can provide tight local sensitivity bounds. These tight bounds readily translate into near-optimal utility guarantees in several cases. We give a general recipe for applying HPTR to a given instance of a statistical estimation problem and demonstrate it on canonical problems of mean estimation, linear regression, covariance estimation, and principal component analysis. We introduce a general utility analysis technique that proves that HPTR nearly achieves the optimal sample complexity under several scenarios studied in the literature.


翻译:我们引入了一个通用框架,用不同的隐私保障来说明统计估算问题的统计效率。我们称之为高维的演示-测试-释放(HPTR)的框架基于三个关键组成部分:指数机制、强有力的统计数据和提议-测试-释放机制。将所有这些概念结合在一起,就是弹性概念,这是稳健统计估计的核心。复原力指导算法的设计、敏感性分析以及提议-测试-发布测试步骤的成功概率分析。关键见解是,如果我们设计一个指数机制,仅通过一维的稳健统计数据获取数据,然后可以大幅降低由此产生的本地敏感度。我们利用复原力,可以提供严格的本地敏感度界限。这些紧紧的界限可以在某些情况下转化为近乎最佳的效用保障。我们给将HPTR应用于某个特定统计估计问题的例子提供了一种一般的配方,并展示了中值估计、线性回归、常数估计和主要组成部分分析等几大问题。我们引入了一种一般的实用性分析技术,证明HPTR几乎达到了文献所研究的一些情景下的最佳样本复杂性。

0
下载
关闭预览

相关内容

【硬核书】矩阵代数基础,248页pdf
专知会员服务
88+阅读 · 2021年12月9日
专知会员服务
45+阅读 · 2020年12月18日
专知会员服务
52+阅读 · 2020年12月14日
缺失数据统计分析,第三版,462页pdf
专知会员服务
113+阅读 · 2020年2月28日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
已删除
AI科技评论
4+阅读 · 2018年8月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2022年1月18日
Arxiv
0+阅读 · 2021年12月24日
Arxiv
18+阅读 · 2021年3月16日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
最新内容
2025年全球二十起重大无人机作战事件
专知会员服务
2+阅读 · 今天10:39
现代战争的隐蔽系统:伊朗战争十大启示
专知会员服务
3+阅读 · 今天3:58
ICML 2026 | 自回归Boltzmann生成器重塑分子采样
专知会员服务
4+阅读 · 6月26日
GNN跨域综述:从消息传递到图基础模型
专知会员服务
7+阅读 · 6月26日
无人机自主控制与人工智能:系统性综述
专知会员服务
14+阅读 · 6月26日
巡飞弹与反无人机系统——现代战场的两大支柱
《打造“黄金舰队”》57页报告
专知会员服务
4+阅读 · 6月26日
《北约数字教官网络发展路径》128页报告
专知会员服务
3+阅读 · 6月26日
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
9+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
相关资讯
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
已删除
AI科技评论
4+阅读 · 2018年8月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Top
微信扫码咨询专知VIP会员