Neural networks and machine learning models for uncertainty quantification suffer from limited scalability and poor reliability compared to their deterministic counterparts. In industry-scale active learning settings, where generating a single high-fidelity simulation may require days or weeks of computation and produce data volumes on the order of gigabytes, they quickly become impractical. This paper proposes a scalable and reliable Bayesian surrogate model, termed the Bayesian Interpolating Neural Network (B-INN). The B-INN combines high-order interpolation theory with tensor decomposition and alternating direction algorithm to enable effective dimensionality reduction without compromising predictive accuracy. We theoretically show that the function space of a B-INN is a subset of that of Gaussian processes, while its Bayesian inference exhibits linear complexity, $\mathcal{O}(N)$, with respect to the number of training samples. Numerical experiments demonstrate that B-INNs can be from 20 times to 10,000 times faster with a robust uncertainty estimation compared to Bayesian neural networks and Gaussian processes. These capabilities make B-INN a practical foundation for uncertainty-driven active learning in large-scale industrial simulations, where computational efficiency and robust uncertainty calibration are paramount.


翻译:与确定性模型相比,用于不确定性量化的神经网络和机器学习模型存在可扩展性有限和可靠性不足的问题。在工业级主动学习场景中,生成单个高保真仿真可能需要数天或数周的计算时间并产生吉字节量级的数据,这使得传统方法迅速变得不可行。本文提出了一种可扩展且可靠的贝叶斯代理模型,称为贝叶斯插值神经网络(B-INN)。B-INN 将高阶插值理论与张量分解及交替方向算法相结合,在不牺牲预测精度的前提下实现有效的降维。我们从理论上证明 B-INN 的函数空间是高斯过程函数空间的子集,而其贝叶斯推断具有相对于训练样本数量的线性复杂度 $\mathcal{O}(N)$。数值实验表明,与贝叶斯神经网络和高斯过程相比,B-INN 在具备稳健不确定性估计的同时,速度可提升 20 倍至 10,000 倍。这些能力使得 B-INN 成为大规模工业仿真中不确定性驱动主动学习的实用基础,其中计算效率和稳健的不确定性校准至关重要。

0
下载
关闭预览

相关内容

【ETH博士论文】贝叶斯深度学习,241页pdf
专知会员服务
131+阅读 · 2022年1月16日
专知会员服务
36+阅读 · 2021年8月17日
【NYU-WESLEY MADDOX】贝叶斯神经网络教程,83页ppt
专知会员服务
61+阅读 · 2021年4月15日
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
180+阅读 · 2020年6月3日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月18日
Arxiv
0+阅读 · 2月3日
Arxiv
0+阅读 · 1月30日
VIP会员
相关资讯
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员