We study the zeroth-order query complexity of sampling from a general logconcave distribution: given access to an evaluation oracle for a convex function $V:\mathbb{R}^{d}\rightarrow\mathbb{R}\cup\{\infty\}$, output a point from a distribution within $\varepsilon$-distance to the density proportional to $e^{-V}$. A long line of work provides efficient algorithms for this problem in TV distance, assuming a pointwise warm start (i.e., in $\infty$-Rényi divergence), and using annealing to generate such a warm start. Here, we address the natural and more general problem of using a $q$-Rényi divergence warm start to generate a sample that is $\varepsilon$-close in $q$-Rényi divergence. Our first main result is an algorithm with this end-to-end guarantee with state-of-the-art complexity for $q=\widetildeΩ(1)$. Our second result shows how to generate a $q$-Rényi divergence warm start directly via annealing, by maintaining $q$-Rényi divergence throughout, thereby obtaining a streamlined analysis and improved complexity. Such results were previously known only under the stronger assumptions of smoothness and access to first-order oracles. We also show a lower bound for Gaussian annealing by disproving a geometric conjecture about quadratic tilts of isotropic logconcave distributions. Central to our approach, we establish hypercontractivity of the heat adjoint and translate this into improved mixing time guarantees for the Proximal Sampler. The resulting analysis of both sampling and annealing follows a simplified and natural path, directly tying convergence rates to isoperimetric constants of the target distribution.


翻译:我们研究从一般对数凹分布中采样的零阶查询复杂度:给定一个凸函数 $V:\mathbb{R}^{d}\rightarrow\mathbb{R}\cup\{\infty\}$ 的求值预言机,输出一个与密度正比于 $e^{-V}$ 的分布的距离在 $\varepsilon$ 之内的点。长期以来,一系列工作以全变差距离为度量,假设逐点暖启动(即 $\infty$-Rényi 散度),并利用退火生成此类暖启动,为该问题提供了高效算法。本文研究一个更自然且更具一般性的问题:利用 $q$-Rényi 散度暖启动生成一个在 $q$-Rényi 散度下 $\varepsilon$ 接近的样本。我们的第一个主要结果是:对于 $q=\widetildeΩ(1)$,给出一个具有端到端保证且复杂度达到当前最优的算法。第二个结果展示了如何通过退火直接生成 $q$-Rényi 散度暖启动,并在整个过程中维持 $q$-Rényi 散度,从而获得简化的分析和更优的复杂度。先前这类结果仅在更强的光滑性假设和能访问一阶预言机的条件下成立。我们还通过反驳一个关于各向同性对数凹分布的二次倾斜的几何猜想,证明了高斯退火的下界。方法的核心是建立热伴随算子的超收缩性,并将其转化为近端采样器混合时间的改进保证。由此得到的采样与退火分析遵循一条简化的自然路径,将收敛速率直接关联到目标分布的等周常数。

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2021年4月2日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Zero-Shot Learning相关资源大列表
专知
52+阅读 · 2019年1月1日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月1日
Arxiv
0+阅读 · 3月27日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
3+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
3+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
3+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员