We study the Approximate Nearest Neighbor (ANN) problem under a powerful adaptive adversary that controls both the dataset and a sequence of $Q$ queries. Primarily, for the high-dimensional regime of $d = ω(\sqrt{Q})$, we introduce a sequence of algorithms with progressively stronger guarantees. We first establish a novel connection between adaptive security and \textit{fairness}, leveraging fair ANN search to hide internal randomness from the adversary with information-theoretic guarantees. To achieve data-independent performance, we then reduce the search problem to a robust decision primitive, solved using a differentially private mechanism on a Locality-Sensitive Hashing (LSH) data structure. This approach, however, faces an inherent $\sqrt{n}$ query time barrier. To break the barrier, we propose a novel concentric-annuli LSH construction that synthesizes these fairness and differential privacy techniques. The analysis introduces a new method for robustly releasing timing information from the underlying algorithm instances and, as a corollary, also improves existing results for fair ANN. In addition, for the low-dimensional regime $d = O(\sqrt{Q})$, we propose specialized algorithms that provide a strong ``for-all'' guarantee: correctness on \textit{every} possible query with high probability. We introduce novel metric covering constructions that simplify and improve prior approaches for ANN in Hamming and $\ell_p$ spaces.


翻译:本文研究一种由强大自适应对手控制的近似最近邻(ANN)问题,该对手同时控制数据集和一系列 $Q$ 个查询。针对高维情形 $d = ω(\sqrt{Q})$,我们首先提出了一系列保证强度逐步提升的算法。我们首次建立了自适应安全性与\textit{公平性}之间的新联系,利用公平ANN搜索以信息论保证隐藏内部随机性使其免受对手攻击。为实现数据无关的性能,我们将搜索问题约简为鲁棒决策原语,并通过在局部敏感哈希(LSH)数据结构上应用差分隐私机制予以解决。然而该方法面临固有的 $\sqrt{n}$ 查询时间瓶颈。为突破此瓶颈,我们提出了一种新颖的同心环状LSH构造,融合了上述公平性与差分隐私技术。分析过程中引入了一种鲁棒释放底层算法实例时序信息的新方法,并作为推论改进了现有公平ANN的结果。此外,针对低维情形 $d = O(\sqrt{Q})$,我们提出了专用算法以提供强“全称”保证:以高概率保证对\textit{每个}可能查询的正确性。我们提出了新的度量覆盖构造,简化和改进了汉明空间与 $\ell_p$ 空间中ANN的现有方法。

0
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2020年10月2日
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员