Deep Gaussian Processes (DGPs) compose GP layers to warp inputs, enabling improved emulation of computer models with nonstationary input-output behavior compared with ordinary GPs. In contrast to GPs, the predictive uncertainty for DGP gradients remains relatively underexplored. Quantifying DGP gradient uncertainty can support gradient-based tasks in complex, nonstationary settings where ordinary GPs may struggle. While GP gradient posteriors are analytically tractable, extending such constructions to DGPs is challenging due to their hierarchical composition. In this paper, we propose an efficient approximation to the gradient distribution of a two-layer DGP emulator. Using the chain rule with local linearization, we derive closed-form expressions for the gradient mean and covariance, enabling fast gradient evaluation with uncertainty quantification (UQ). Empirically, our approach delivers promising performance while uniquely providing UQ of gradients. We then use the gradient uncertainties to guide sequential design for models with sharp variations: we define sharp variation regions as those where the gradient norm exceeds a threshold. We subsequently introduce an entropy-based acquisition rule that selects new samples in locations where the classification of points as inside versus outside the sharp-variation region is most uncertain. Experiments on synthetic benchmarks and a real-world application show that the resulting sequential design more accurately emulates functions with sharp variations than existing design methods.


翻译:深度高斯过程通过堆叠高斯过程层对输入进行扭曲,相比普通高斯过程能更有效地模拟具有非平稳输入输出行为的计算机模型。与高斯过程不同,深度高斯过程梯度的预测不确定性仍相对未被充分探索。量化深度高斯过程梯度不确定性可支持普通高斯过程难以处理的复杂非平稳场景中的梯度相关任务。虽然高斯过程梯度后验分布可解析求解,但由于深度高斯过程的层次化组合结构,将其推广至深度高斯过程面临挑战。本文提出一种针对双层深度高斯过程仿真器梯度分布的高效近似方法。通过链式法则结合局部线性化,我们推导出梯度均值与协方差的闭式表达式,实现了带不确定性量化的快速梯度评估。实验表明,该方法在独特提供梯度不确定性的同时,展现出优异性能。随后我们利用梯度不确定性指导具有剧烈变化模型的序列设计:将梯度范数超过阈值的区域定义为剧烈变化区域,并引入基于信息熵的采集规则,在划分点是否属于剧烈变化区域表现出最大不确定性的位置选取新样本。在合成基准测试与真实应用中的实验表明,所提出的序列设计方法在仿真具有剧烈变化的函数时,比现有设计方法具有更高精度。

0
下载
关闭预览

相关内容

梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。
迈向深度基础模型:基于视觉的深度估计最新趋势
专知会员服务
23+阅读 · 2025年7月16日
最新《高斯过程回归简明教程》,19页pdf
专知会员服务
73+阅读 · 2020年9月30日
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
41+阅读 · 2020年3月9日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
解读 | 得见的高斯过程
机器学习算法与Python学习
14+阅读 · 2019年2月13日
深度强化学习简介
专知
30+阅读 · 2018年12月3日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
0+阅读 · 13分钟前
定向能反无人机系统最新发展动态
专知会员服务
3+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
2+阅读 · 今天13:33
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员