Steerable convolutional neural networks (Steerable-CNNs) guarantee SE(3)-equivariance by parameterizing kernels as linear combinations of steerable basis functions, but their deterministic nature precludes uncertainty quantification - limiting their use in settings where confidence estimates are essential. We propose a Bayesian Steerable-CNN that places posterior distributions over the basis coefficients, yielding stochastic kernels while preserving equivariance exactly. The loss function of the model is obtained via variational inference and minimized by Bayes-by-Backpropagation. The framework admits a decomposition of predictive uncertainty into epistemic and aleatoric components. Empirically, the model attains competitive classification accuracy alongside an expected calibration error of 0.0263 and outperforms its deterministic counterpart by up to 6.17% under distributional shift induced by additive Gaussian noise. Furthermore, we leverage the model's uncertainty estimates to enhance its performance significantly, achieving a notable gain - approximately 4% higher accuracy across 84% of the test dataset. A statistically significant negative correlation between epistemic uncertainty and prediction error confirms that the learned posterior variance is semantically meaningful. The framework unifies Bayesian uncertainty quantification with the inductive bias of equivariant CNNs.


翻译:可转向卷积神经网络(Steerable-CNNs)通过将核参数化为可转向基函数的线性组合来保证SE(3)-等变性,但其确定性本质阻碍了不确定性量化——这限制了其在需要置信度估计的场景中的应用。我们提出了一种贝叶斯可转向CNN,该方法在基系数上放置后验分布,从而在严格保持等变性的同时产生随机核。该模型的损失函数通过变分推断获得,并通过贝叶斯反向传播最小化。该框架可将预测不确定性分解为认知不确定性和偶然不确定性。实验表明,该模型在达到竞争性分类准确率的同时,期望校准误差仅为0.0263,且在加性高斯噪声引起的分布偏移下,其性能比确定性对应模型高出最多6.17%。此外,我们利用模型的不确定性估计显著提升了性能——在84%的测试数据集上准确率提升了约4%。认知不确定性与预测误差之间统计显著的负相关性证实了学习到的后验方差具有语义意义。该框架将贝叶斯不确定性量化与等变CNN的归纳偏置统一起来。

0
下载
关闭预览

相关内容

【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
39+阅读 · 2020年2月21日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
太值得收藏了!秒懂各种深度CNN操作
机器学习算法与Python学习
11+阅读 · 2019年3月18日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
CNN五大经典模型:LeNet,AlexNet,GoogleNet,VGG,DRL
黑龙江大学自然语言处理实验室
14+阅读 · 2018年9月7日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
一文让你入门CNN,附3份深度学习视频资源
机器学习算法与Python学习
12+阅读 · 2018年3月10日
【深度】Deep Visualization:可视化并理解CNN
专知
12+阅读 · 2017年9月30日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 3月27日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
39+阅读 · 2020年2月21日
相关资讯
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
太值得收藏了!秒懂各种深度CNN操作
机器学习算法与Python学习
11+阅读 · 2019年3月18日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
CNN五大经典模型:LeNet,AlexNet,GoogleNet,VGG,DRL
黑龙江大学自然语言处理实验室
14+阅读 · 2018年9月7日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
一文让你入门CNN,附3份深度学习视频资源
机器学习算法与Python学习
12+阅读 · 2018年3月10日
【深度】Deep Visualization:可视化并理解CNN
专知
12+阅读 · 2017年9月30日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员