Estimation of parameters that obey specific constraints is crucial in statistics and machine learning; for example, when parameters are required to satisfy boundedness, monotonicity, or linear inequalities. Traditional approaches impose these constraints via constraint-specific transformations or sampling approaches, or by truncating the posterior distribution. Such methods often result in computational challenges, limited flexibility, and a lack of generality. We propose a generalized framework for constrained Bayesian inference by projecting the unconstrained posterior distribution into the space of the parameter constraints, providing a computationally efficient and easily implementable solution for a large class of problems. We rigorously establish the theoretical foundations of the projected posterior distribution, as well as providing asymptotic results for posterior consistency, posterior contraction, and optimal coverage properties. Our methodology is validated through both theoretical arguments and practical applications.


翻译:在统计学与机器学习中,对满足特定约束的参数进行估计至关重要,例如参数需满足有界性、单调性或线性不等式等条件。传统方法通过约束特定的变换、采样方法或截断后验分布来施加这些约束,但此类方法往往面临计算困难、灵活性有限且缺乏普适性等问题。本文提出一种广义约束贝叶斯推断框架,通过将无约束后验分布投影到参数约束空间中,为一大类问题提供了计算高效且易于实现的解决方案。我们严格建立了投影后验分布的理论基础,并给出了后验一致性、后验收缩及最优覆盖性质的新近结果。该方法的有效性通过理论论证和实际应用得到了双重验证。

0
下载
关闭预览

相关内容

【CMU博士论文】基于机器学习的可信科学推理
专知会员服务
16+阅读 · 2025年5月26日
基于因果推断的推荐系统去偏研究
专知会员服务
21+阅读 · 2024年11月10日
【IJCAI2022】代数和逻辑约束的混合概率推理,261页ppt
专知会员服务
26+阅读 · 2022年7月31日
专知会员服务
26+阅读 · 2021年4月21日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月20日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
2+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
9+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
11+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员