We study two log-concave sampling problems: constrained sampling and composite sampling. First, we consider sampling from a target distribution with density proportional to $\exp(-f(x))$ supported on a convex set $K \subset \mathbb{R}^d$, where $f$ is convex. The main challenge is enforcing feasibility without degrading mixing. Using an epigraph transformation, we reduce this task to sampling from a nearly uniform distribution over a lifted convex set in $\mathbb{R}^{d+1}$. We then solve the lifted problem using a proximal sampler. Assuming only a separation oracle for $K$ and a subgradient oracle for $f$, we develop an implementation of the proximal sampler based on the cutting-plane method and rejection sampling. Unlike existing constrained samplers that rely on projection, reflection, barrier functions, or mirror maps, our approach enforces feasibility using only minimal oracle access, resulting in a practical and unbiased sampler without knowing the geometry of the constraint set. Second, we study composite sampling, where the target is proportional to $\exp(-f(x)-h(x))$ with closed and convex $f$ and $h$. This composite structure is standard in Bayesian inference with $f$ modeling data fidelity and $h$ encoding prior information. We reduce composite sampling via an epigraph lifting of $h$ to constrained sampling in $\mathbb{R}^{d+1}$, which allows direct application of the constrained sampling algorithm developed in the first part. This reduction results in a double epigraph lifting formulation in $\mathbb{R}^{d+2}$, on which we apply a proximal sampler. By keeping $f$ and $h$ separate, we further demonstrate how different combinations of oracle access (such as subgradient and proximal) can be leveraged to construct separation oracles for the lifted problem. For both sampling problems, we establish mixing time bounds measured in Rényi and $χ^2$ divergences.


翻译:本文研究两个对数凹采样问题:约束采样与复合采样。首先,考虑从支撑在凸集$K \subset \mathbb{R}^d$上、密度正比于$\exp(-f(x))$的目标分布中采样,其中$f$为凸函数。主要挑战在于如何在不降低混合效率的前提下保证可行性。通过引入上镜图变换,我们将该问题转化为在$\mathbb{R}^{d+1}$空间的提升凸集上采样近似均匀分布。随后采用邻近采样器求解提升后的问题。在仅需$K$的分离预言机和$f$的次梯度预言机的假设下,我们基于割平面法与拒绝采样实现了邻近采样器。与现有依赖投影、反射、障碍函数或镜像映射的约束采样器不同,本方法仅需最小化的预言机访问即可保证可行性,从而构建出无需了解约束集几何结构的实用无偏采样器。其次,我们研究复合采样问题,其目标分布正比于$\exp(-f(x)-h(x))$,其中$f$与$h$均为闭凸函数。这种复合结构在贝叶斯推断中具有标准形式:$f$建模数据保真度,$h$编码先验信息。通过对$h$进行上镜图提升,我们将复合采样转化为$\mathbb{R}^{d+1}$空间中的约束采样问题,从而可直接应用第一部分开发的约束采样算法。该转化最终形成$\mathbb{R}^{d+2}$空间中的双重上镜图提升形式,我们在此形式上实施邻近采样器。通过保持$f$与$h$的分离性,我们进一步论证如何利用不同预言机访问组合(如次梯度与邻近算子)为提升问题构建分离预言机。针对两类采样问题,我们建立了以Rényi散度与$χ^2$散度衡量的混合时间界。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年4月12日
专知会员服务
44+阅读 · 2020年9月25日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
【收藏】机器学习的Pytorch实现资源集合【附下载链接】
机器学习算法与Python学习
10+阅读 · 2018年9月8日
机器学习的Pytorch实现资源集合
专知
11+阅读 · 2018年9月1日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
专知会员服务
31+阅读 · 2021年4月12日
专知会员服务
44+阅读 · 2020年9月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员