Gaussian process (GP) surrogates are the default tool for emulating expensive computer experiments, but cubic cost, stationarity assumptions, and Gaussian predictive distributions limit their reach. We propose Generative Bayesian Computation (GBC) via Implicit Quantile Networks (IQNs) as a surrogate framework that targets all three limitations. GBC learns the full conditional quantile function from input--output pairs; at test time, a single forward pass per quantile level produces draws from the predictive distribution. Across fourteen benchmarks we compare GBC to four GP-based methods. GBC improves CRPS by 11--26\% on piecewise jump-process benchmarks, by 14\% on a ten-dimensional Friedman function, and scales linearly to 90,000 training points where dense-covariance GPs are infeasible. A boundary-augmented variant matches or outperforms Modular Jump GPs on two-dimensional jump datasets (up to 46\% CRPS improvement). In active learning, a randomized-prior IQN ensemble achieves nearly three times lower RMSE than deep GP active learning on Rocket LGBB. Overall, GBC records a favorable point estimate in 12 of 14 comparisons. GPs retain an edge on smooth surfaces where their smoothness prior provides effective regularization.


翻译:高斯过程(GP)代理模型是模拟昂贵计算机实验的默认工具,但其立方计算成本、平稳性假设和高斯预测分布限制了其应用范围。我们提出通过隐式分位数网络(IQN)实现的生成式贝叶斯计算(GBC)作为针对上述三个局限性的代理模型框架。GBC从输入-输出对中学习完整的条件分位数函数;在测试阶段,每个分位数水平仅需单次前向传播即可生成预测分布的样本。通过在14个基准测试中将GBC与四种基于GP的方法进行比较,结果显示:在分段跳跃过程基准上GBC将连续分级概率评分(CRPS)提升11-26%,在十维Friedman函数上提升14%,并能线性扩展到90,000个训练点(此时稠密协方差GP已不可行)。边界增强变体在二维跳跃数据集上达到或超越模块化跳跃GP的性能(最高实现46%的CRPS提升)。在主动学习中,随机先验IQN集成在Rocket LGBB问题上取得的均方根误差(RMSE)比深度GP主动学习降低近三倍。总体而言,GBC在14项比较中有12项获得更优的点估计结果。GP在光滑表面问题上仍具优势,其光滑性先验能提供有效的正则化作用。

0
下载
关闭预览

相关内容

【2023新书】贝叶斯统计建模:使用Stan、R和Python,395页pdf
最新《高斯过程回归简明教程》,19页pdf
专知会员服务
73+阅读 · 2020年9月30日
【经典书】贝叶斯编程,378页pdf,Bayesian Programming
专知会员服务
251+阅读 · 2020年5月18日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月16日
VIP会员
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员