Neural Stochastic Differential Equations (NSDEs) model the drift and diffusion functions of a stochastic process as neural networks. While NSDEs are known to predict time series accurately, their uncertainty quantification properties remain unexplored. We report the empirical finding that obtaining well-calibrated uncertainty estimations from NSDEs is computationally prohibitive. As a remedy, we develop a computationally affordable deterministic scheme for expressing the likelihood of a sequence, when dynamics is governed by a NSDE, which is applicable to both training and prediction. Our method introduces a bidirectional moment matching scheme, one vertical along the neural net layers, and one horizontal along the time direction, which benefits from an original combination of effective approximations. We observe in multiple experiments that the uncertainty calibration quality of our method can be matched by Monte Carlo sampling only after introducing at least five times more computation cost. Thanks to the numerical stability of deterministic training, our method also provides improvement in prediction accuracy.


翻译:神经物理差异(NSDEs) 模型是神经网络中随机过程的漂移和扩散功能的模型。 虽然已知NSDEs准确预测时间序列,但其不确定性量化特性仍未被探索。 我们报告的经验发现,从NSDEs获得经充分校准的不确定性估计是计算上令人望而生畏的。作为一种补救措施,我们开发了一个计算上可承受的确定性计划,以表达序列的可能性,当动态由适用于培训和预测的NSDE(NSDE)管理时,动态由该NSA(NSDE)管理,同时适用于培训和预测。我们的方法引入了双向时时刻匹配方案,一个沿神经网层垂直,一个沿时间方向横向,从有效近似原始组合中受益。我们观察到,我们方法的不确定性校准质量只有在引入至少五倍的计算成本之后,才能与Monte Carlo取样相匹配。由于确定性培训的数字稳定性,我们的方法也提高了预测的准确性。

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
129+阅读 · 2020年11月20日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
已删除
将门创投
3+阅读 · 2019年4月19日
Arxiv
0+阅读 · 2021年4月6日
Arxiv
0+阅读 · 2021年4月2日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
VIP会员
最新内容
无人机已改变战场,但并未解决指挥问题
专知会员服务
5+阅读 · 8月14日
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
11+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
16+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
相关VIP内容
相关资讯
已删除
将门创投
3+阅读 · 2019年4月19日
Top
微信扫码咨询专知VIP会员