Gaussian processes are a powerful class of non-linear models, but have limited applicability for larger datasets due to their high computational complexity. In such cases, approximate methods are required, for example, the recently developed class of Hilbert space Gaussian processes. They have been shown to significantly reduce computation time while retaining most of the favorable properties of exact Gaussian processes. However, Hilbert space approximations have so far only been developed for uni-dimensional outputs and manifest (known) inputs. Thus, we generalize Hilbert space methods to multi-output and latent input settings. Through extensive simulations, we show that the developed approximate Gaussian processes are indeed not only faster, but also provide similar or even better uncertainty calibration and accuracy of latent variable estimates compared to exact Gaussian processes. While not necessarily faster than alternative Gaussian process approximations, our new models provide better calibration and estimation accuracy, thus striking an excellent balance between trustworthiness and speed. We additionally illustrate our methods on a real-world case study from single cell biology.


翻译:高斯过程是一类强大的非线性模型,但由于其较高的计算复杂度,在较大数据集上的应用受到限制。在这种情况下,需要采用近似方法,例如最近发展起来的希尔伯特空间高斯过程类。研究表明,这类方法在保留精确高斯过程大部分优良性质的同时,能显著减少计算时间。然而,迄今为止希尔伯特空间近似方法仅针对单维输出和显式(已知)输入场景而开发。因此,我们将希尔伯特空间方法推广至多输出与隐变量输入场景。通过大量仿真实验,我们证明所开发的近似高斯过程不仅速度更快,而且在隐变量估计的不确定性校准与精度方面,相较于精确高斯过程提供了相似甚至更优的性能。虽然该方法在速度上未必优于其他高斯过程近似方案,但我们提出的新模型提供了更好的校准效果与估计精度,从而在可信度与速度之间实现了卓越的平衡。我们还在单细胞生物学的实际案例研究中进一步展示了所提出方法的有效性。

0
下载
关闭预览

相关内容

高斯过程(Gaussian Process, GP)是概率论和数理统计中随机过程(stochastic process)的一种,是一系列服从正态分布的随机变量(random variable)在一指数集(index set)内的组合。 高斯过程中任意随机变量的线性组合都服从正态分布,每个有限维分布都是联合正态分布,且其本身在连续指数集上的概率密度函数即是所有随机变量的高斯测度,因此被视为联合正态分布的无限维广义延伸。高斯过程由其数学期望和协方差函数完全决定,并继承了正态分布的诸多性质
【CMU博士论文】高斯表示的可微渲染和优化,198页pdf
专知会员服务
27+阅读 · 2023年10月5日
最新《高斯过程回归简明教程》,19页pdf
专知会员服务
73+阅读 · 2020年9月30日
【经典书】机器学习高斯过程,266页pdf
专知会员服务
235+阅读 · 2020年5月2日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
解读 | 得见的高斯过程
机器学习算法与Python学习
14+阅读 · 2019年2月13日
一文看懂常用特征工程方法
AI研习社
17+阅读 · 2018年5月2日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关基金
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员