The goal of bayesian approach used in variational inference is to minimize the KL divergence between variational distribution and unknown posterior distribution. This is done by maximizing the Evidence Lower Bound (ELBO). A neural network is used to parametrize these distributions using Stochastic Gradient Descent. This work extends the work done by others by deriving the variational inference models. We show how SGD can be applied on bayesian neural networks by gradient estimation techniques. For validation, we have tested our model on 5 UCI datasets and the metrics chosen for evaluation are Root Mean Square Error (RMSE) error and negative log likelihood. Our work considerably beats the previous state of the art approaches for regression using bayesian neural networks.

翻译：在变异推断中使用的刺刀方法的目标是将差异分布和未知后部分布之间的 KL 差异最小化。 这是通过最大限度地增加证据下角分布(ELBO) 实现的。 使用神经网络使用斯托查斯梯度梯子来对分布进行对称。 这项工作通过得出变异推断模型扩展了其他人所做的工作。 我们展示了如何通过梯度估计技术将 SGD 应用于刺耳神经网络。 为了验证,我们测试了5 UCI 数据集的模型, 选择用于评估的尺度是根极平方错误( RMSE) 和负日志可能性。 我们的工作大大超过了先前使用刺耳神经网络进行回归的艺术方法的状态 。